WO2020122571A1 - 움직임 예측을 사용하는 영상 복호화 및 부호화 방법 - Google Patents

움직임 예측을 사용하는 영상 복호화 및 부호화 방법 Download PDF

Info

Publication number
WO2020122571A1
WO2020122571A1 PCT/KR2019/017427 KR2019017427W WO2020122571A1 WO 2020122571 A1 WO2020122571 A1 WO 2020122571A1 KR 2019017427 W KR2019017427 W KR 2019017427W WO 2020122571 A1 WO2020122571 A1 WO 2020122571A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion information
prediction
unit
list
current block
Prior art date
Application number
PCT/KR2019/017427
Other languages
English (en)
French (fr)
Inventor
임화섭
임정윤
Original Assignee
가온미디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사 filed Critical 가온미디어 주식회사
Publication of WO2020122571A1 publication Critical patent/WO2020122571A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image encoding and decoding, and more particularly, to a method of processing image encoding and decoding by processing a tracking motion information list.
  • Digital video technologies include digital television, digital direct broadcast systems, wireless broadcast systems, personal digital assistants (PDAs), laptop or desktop computers, digital cameras, digital recording devices, video gaming devices, video game consoles, cellular or satellite radio telephones, etc. It can be integrated into a wide range of digital video devices, including.
  • Digital video devices include video compression technologies such as MPEG-2, MPEG-4, or ITU-T H.264/MPEG-4, Part 10, Advanced Video Coding (AVC), High Efficiency Video Coding (H.265/HEVC) By implementing, digital video information is transmitted and received more efficiently.
  • Video compression techniques perform spatial prediction and temporal prediction to eliminate or reduce redundancy inherent in video sequences.
  • an inter-screen prediction technique for predicting a pixel value included in a current picture from a picture before or after the current picture
  • an on-screen prediction for predicting a pixel value included in the current picture using pixel information in the current picture
  • one picture is divided into a plurality of blocks having a predetermined size, and encoding is performed.
  • inter prediction and intra prediction techniques that remove redundancy between pictures are used to increase compression efficiency.
  • a residual signal is generated using intra prediction and inter prediction, and the reason for obtaining the residual signal is that when coding with the residual signal, the amount of data is small, so that the data compression rate increases, and the better the prediction, the better the residual signal. This is because the value of.
  • the intra prediction method predicts data of the current block using pixels around the current block.
  • the difference between the actual value and the predicted value is called the residual signal block.
  • the intra prediction method increases from 9 prediction modes used in the existing H.264/AVC to 35 prediction modes to further refine the prediction.
  • the present invention is to solve the above problems, and is suitable for encoding and decoding of ultra-high resolution images, and an image processing method for tracking and efficiently processing prediction information by constructing a candidate list of motion information for this, decoding and using the image
  • the purpose is to provide a coding method.
  • a plurality of codings in which a picture of a video is a basic unit in which inter prediction or intra prediction is performed A current block for decoding a coding unit that has been step-wise divided into a picture, a split tree, or a binary tree or a ternary tree structure such that the picture or partition is split into units.
  • Determining Constructing a tracking motion information prediction list according to temporally or spatially pre-decoded neighboring block information corresponding to the current block; Constructing a motion information prediction candidate list for predicting motion information of the current block; And performing motion information prediction decoding of the current block using at least one of the tracking motion information prediction list and the motion information prediction candidate list.
  • a plurality of coding units in which a picture of an image is a basic unit in which inter prediction or intra prediction is performed is performed. Determining the current block for decoding the coding unit, which has been stepwisely divided into a quad tree, a binary tree, or a ternary tree structure such that the picture or partition is divided into ).
  • An image encoding apparatus for solving the above-described problem is such that a picture of an image is divided into a plurality of coding units, which are a basic unit in which inter prediction or intra prediction is performed.
  • a prediction encoding unit that processes the prediction coding of the coding unit in response to the current block, and the prediction encoding unit according to temporal or spatially pre-decoded neighboring block information corresponding to the current block, a tracking motion information prediction list
  • an inter prediction unit that performs motion information prediction encoding of the current block by using at least one of the tracking motion information prediction list and the motion information prediction candidate list.
  • a tracking motion information prediction list is constructed according to temporally or spatially pre-decoded neighboring block information corresponding to the current block, and among the tracking motion information prediction list and the motion information prediction candidate list.
  • FIG. 1 is a block diagram showing the configuration of an image encoding apparatus according to an embodiment of the present invention.
  • 2 to 5 are diagrams for describing a first embodiment of a method of dividing and processing an image in block units.
  • FIG. 6 is a block diagram illustrating an embodiment of a method of performing inter prediction in an image encoding apparatus.
  • FIG. 7 is a block diagram showing the configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an embodiment of a method of performing inter prediction in an image decoding apparatus.
  • FIG. 9 is a view for explaining a second embodiment of a method of dividing and processing an image in block units.
  • FIG. 11 is a diagram for describing a third embodiment of a method of dividing and processing an image in block units.
  • FIG. 12 is a diagram for explaining an embodiment of a method of constructing a transform unit by dividing a coding unit into a binary tree structure.
  • FIG. 13 is a view for explaining a fourth embodiment of a method of dividing and processing an image in block units.
  • 14 to 16 are diagrams for explaining further embodiments of a method of dividing and processing an image in units of blocks.
  • 17 and 18 are diagrams for describing embodiments of a method for determining a split structure of a transform unit by performing rate distortion optimization (RDO).
  • RDO rate distortion optimization
  • 26 is a block diagram more specifically illustrating a motion information determining unit according to an embodiment of the present invention.
  • FIG. 27 is a flowchart illustrating an inter prediction process according to an embodiment of the present invention.
  • FIG. 28 is a diagram for describing a tracking motion information prediction list and a motion information prediction candidate list according to an embodiment of the present invention.
  • 29 is a flowchart illustrating a method of constructing a composite motion information prediction candidate list according to an embodiment of the present invention.
  • 31 is an example of blocks selected to construct a tracking motion information prediction list according to an embodiment of the present invention.
  • FIGS. 33 to 35 are diagrams for explaining an initialization condition.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.
  • the components are not essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented by including only components necessary for realizing the essence of the present invention, except components used for performance improvement, and structures including only essential components excluding optional components used for performance improvement. Also included in the scope of the present invention.
  • the image encoding apparatus 10 includes a picture splitter 110, a transformation unit 120, a quantization unit 130, and scanning The unit 131, the entropy encoding unit 140, the intra prediction unit 150, the inter prediction unit 160, the inverse quantization unit 135, the inverse transform unit 125, the post-processing unit 170, the picture storage unit 180 ), a subtracting unit 190 and an adding unit 195.
  • the picture splitter 110 analyzes an input video signal and divides a picture into coding units to determine a prediction mode, and determines a size of a prediction unit for each coding unit.
  • a picture (picture) of an image is composed of a plurality of slices, and the slice may be divided into a plurality of coding tree units (CTUs), which are basic units for dividing a picture.
  • CTUs coding tree units
  • the coding tree unit may be divided into one or two or more coding units (CUs), which are basic units in which inter prediction or intra prediction is performed.
  • CUs coding units
  • the encoding apparatus 10 determines one of inter prediction and intra prediction for each of the divided coding units (CUs) as a prediction method, but differently predicts blocks for each prediction unit (PU). Can be created.
  • the coding unit CU may be divided into one or two or more transform units (TUs), which is a basic unit for performing transformation on a residual block.
  • TUs transform units
  • the picture division unit 110 may transmit the image data to the subtraction unit 190 in a block unit (eg, a prediction unit (PU) or a transformation unit (TU)) divided as described above.
  • a block unit eg, a prediction unit (PU) or a transformation unit (TU)
  • a coding tree unit (CTU) having a maximum size of 256x256 pixels is divided into a quad tree structure, and can be divided into four coding units (CUs) having a square shape.
  • Each of the four coding units (CUs) having the square shape may be re-divided into a quad tree structure, and the depth (Depth) of the coding unit (CU) divided into a quad tree structure may be 0 to 3 as described above. It can have one integer value.
  • the coding unit CU may be divided into one or two or more prediction units PU according to a prediction mode.
  • the prediction unit PU may have a size of 2Nx2N shown in FIG. 3A or NxN shown in FIG. 3B. have.
  • the prediction unit (PU) is 2Nx2N shown in FIG. 4A, 2NxN shown in FIG. 4B, and FIG. 4B Nx2N shown in (c), NxN shown in FIG. 4(d), 2NxnU shown in FIG. 4(e), 2NxnD shown in FIG. 4(f), and shown in FIG. 4(g) It may have a size of any one of nLx2N and nRx2N shown in Figure 4 (h).
  • the four transform units (TUs) having the square shape may be re-divided into quad tree structures, and the depth (Depth) of the transform units (TU) divided into quad tree structures may be 0 to 3 as described above. It can have one integer value.
  • the prediction unit PU and the transform unit TU split from the corresponding coding unit CU may have independent splitting structures.
  • the transform unit TU divided from the coding unit CU cannot be larger than the size of the prediction unit PU.
  • the conversion unit (TU) divided as described above may have a maximum size of 64x64 pixels.
  • different transformation matrices may be determined according to a prediction mode (intra or inter), and since the residual signal of intra prediction has directionality according to the intra prediction mode, the transformation matrix may be adaptively determined according to the intra prediction mode. have.
  • the transformation unit may be transformed by two (horizontal, vertical) one-dimensional transformation matrices, and for example, in the case of inter prediction, one predetermined transformation matrix may be determined.
  • a DCT-based integer matrix is applied in the vertical direction, and DST-based or in the horizontal direction.
  • KLT-based integer matrix When the intra prediction mode is vertical, a DST-based or KLT-based integer matrix may be applied in the vertical direction, and a DCT-based integer matrix may be applied in the horizontal direction.
  • a DCT-based integer matrix can be applied to both directions.
  • the quantization unit 130 determines a quantization step size for quantizing the coefficients of the residual block transformed by the transform matrix, and the quantization step size may be determined for each quantization unit having a predetermined size or more.
  • the size of the quantization unit may be 8x8 or 16x16, and the quantization unit 130 quantizes coefficients of a transform block using a quantization matrix determined according to a quantization step size and a prediction mode.
  • the quantization unit 130 may search the left quantization unit, the upper quantization unit, and the upper left quantization unit of the current quantization unit to generate a quantization step size predictor of the current quantization unit using one or two valid quantization step sizes. have.
  • the quantization unit 130 may determine a valid first quantization step size retrieved in the order as a quantization step size predictor, or determine an average value of two valid quantization step sizes retrieved in the order as a quantization step size predictor, or If only one quantization step size is valid, it can be determined as a quantization step size predictor.
  • the quantization unit 130 transmits the difference between the quantization step size of the current quantization unit and the quantization step size predictor to the entropy encoding unit 140.
  • all of the left coding unit, the upper coding unit, and the upper left coding unit of the current coding unit do not exist.
  • quantization units adjacent to the current coding unit and the quantization step size of the previous quantization unit in the coding order may be candidates in the largest coding unit.
  • priority is set in order of 1) the left quantization unit of the current coding unit, 2) the upper quantization unit of the current coding unit, 3) the upper left quantization unit of the current coding unit, and 4) the order of the previous quantization unit in the coding order.
  • the quantized transform block as described above is transferred to the inverse quantization unit 135 and the scanning unit 131.
  • the scanning unit 131 scans the coefficients of the quantized transform block and converts them into one-dimensional quantized coefficients.
  • the scanning method is based on the intra prediction mode. It can be decided accordingly.
  • the coefficient scanning method may be differently determined according to the size of the transform unit, and the scan pattern may be changed according to the directional intra prediction mode, in which case the scan order of the quantization coefficients may be scanned in the reverse direction.
  • the same scan pattern may be applied to quantization coefficients in each subset, and a zigzag scan or diagonal scan may be applied to the scan pattern between subsets.
  • the scan pattern is preferably scanned from the main subset including DC to the remaining subsets in the forward direction, but the reverse direction is also possible.
  • the scan pattern between subsets may be set in the same manner as the scan pattern of quantized coefficients in the subset, and the scan pattern between subsets may be determined according to the intra prediction mode.
  • the encoding apparatus 10 includes the information that can indicate the position of the last non-zero quantization coefficient and the position of the last non-zero quantization coefficient in each subset in the transform unit (PU) decoding device ( 20).
  • the inverse quantization unit 135 inversely quantizes the quantized quantized coefficients as described above, and the inverse transform unit 125 performs inverse transformation in units of transform units (TU) to restore the inverse quantized transform coefficients to a residual block in a spatial domain. can do.
  • TU transform units
  • the adder 195 may generate a reconstructed block by combining the residual block reconstructed by the inverse transform unit 125 with the predicted block received from the intra predictor 150 or the inter predictor 160.
  • the post-processing unit 170 deblocking filtering process to remove the blocking effect occurring in the reconstructed picture, sample adaptive offset (Sample Adaptive Offset: to compensate for the difference value from the original image in units of pixels) SAO) application process and a coding unit may perform post-processing such as an adaptive loop filtering (ALF) process to compensate for a difference value from the original image.
  • ALF adaptive loop filtering
  • the deblocking filtering process may be applied to a boundary of a prediction unit (PU) or a transform unit (TU) having a size equal to or greater than a predetermined size.
  • PU prediction unit
  • TU transform unit
  • the deblocking filtering process includes: determining a boundary to be filtered, determining a boundary filtering strength to be applied to the boundary, determining whether to apply a deblocking filter, If it is determined to apply the deblocking filter, it may include selecting a filter to be applied to the boundary.
  • whether or not the deblocking filter is applied includes i) whether the boundary filtering intensity is greater than 0, and ii) the degree of change of pixel values at the boundary of two blocks (P block, Q block) adjacent to the boundary to be filtered. It may be determined by whether the value indicated is smaller than the first reference value determined by the quantization parameter.
  • At least two said filters are preferable.
  • a filter that performs relatively weak filtering is selected.
  • the second reference value is determined by the quantization parameter and the boundary filtering intensity.
  • sample adaptive offset (SAO) application process is to reduce a difference between a pixel and an original pixel in an image to which a deblocking filter is applied, and applies a sample adaptive offset (SAO) process in picture or slice units. It can be decided whether or not to perform.
  • the picture or slice may be divided into a plurality of offset areas, and an offset type may be determined for each offset area, wherein the offset type is a predetermined number (eg, 4) edge offset types and 2 band offsets. Type.
  • the offset type is an edge offset type
  • an edge type to which each pixel belongs is determined and a corresponding offset is applied
  • the edge type may be determined based on a distribution of two pixel values adjacent to the current pixel. have.
  • the adaptive loop filtering (ALF) process may perform filtering based on a value obtained by comparing a reconstructed image and an original image that have undergone a deblocking filtering process or an adaptive offset application process.
  • the picture storage unit 180 receives the post-processed image data from the post-processing unit 170 and restores and stores the image in picture units, and the picture may be a frame unit image or a field unit image.
  • the inter prediction unit 160 may perform motion estimation using at least one reference picture stored in the picture storage unit 180 and determine a reference picture index and a motion vector representing the reference picture.
  • a prediction block corresponding to a prediction unit to be encoded may be extracted from a reference picture used for motion estimation among a plurality of reference pictures stored in the picture storage unit 180 according to the determined reference picture index and motion vector. have.
  • the intra prediction unit 150 may perform intra prediction encoding using reconstructed pixel values inside a picture in which the current prediction unit is included.
  • the intra prediction unit 150 may receive the current prediction unit to be predictively encoded and select one of a preset number of intra prediction modes according to the size of the current block to perform intra prediction.
  • the intra prediction unit 150 adaptively filters the reference pixel to generate the intra prediction block, and when the reference pixel is not available, the reference pixels may be generated using the available reference pixels.
  • the entropy encoding unit 140 may entropy encode quantization coefficients quantized by the quantization unit 130, intra prediction information received from the intra prediction unit 150, and motion information received from the inter prediction unit 160. .
  • FIG. 6 is a block diagram showing an embodiment of a configuration in which the encoding apparatus 10 performs inter prediction, and the illustrated inter prediction encoder is a motion information determination unit 161 and a motion information encoding mode determination unit 162.
  • the motion information determination unit 161 determines motion information of a current block, motion information includes a reference picture index and a motion vector, and the reference picture index is any one of pictures that have been previously encoded and reconstructed. Can represent.
  • the current block When the current block is unidirectional inter-prediction coded, it represents one of the reference pictures belonging to list 0(L0), and when the current block is bidirectionally predictively coded, it represents one of the reference pictures of list 0(L0).
  • An index and a reference picture index indicating one of the reference pictures of list 1 (L1) may be included.
  • an index indicating one or two pictures of reference pictures of the composite list LC generated by combining list 0 and list 1 may be included.
  • the motion vector may have a precision of 1/2, 1/4, 1/8, or 1/16 pixels, and if the motion vector is not an integer unit, a prediction block is generated from pixels of the integer unit. Can be.
  • the motion information encoding mode determiner 162 may determine an encoding mode for motion information of a current block, and the encoding mode may be exemplified as one of a skip mode, a merge mode, and an AMVP mode.
  • the skip mode is applied when there is a skip candidate having the same motion information as the motion information of the current block, and the residual signal is 0.
  • the current block which is the prediction unit (PU)
  • the merge mode is applied when there is a merge candidate having the same motion information as the motion information of the current block, and the merge mode has a residual signal when the size of the current block is different from the coding unit (CU) or the same size. In case it applies. Meanwhile, the merge candidate and the skip candidate may be the same.
  • the AMVP mode is applied when the skip mode and the merge mode are not applied, and an AMVP candidate having a motion vector most similar to the motion vector of the current block can be selected as the AMVP predictor.
  • the encoding mode is a process other than the above-described method, and may include a more fine-grained motion compensation prediction encoding mode.
  • the adaptively determined motion compensation prediction mode includes the above-described AMVP mode, merge mode, and skip mode, as well as FRUC (FRAME RATE UP-CONVERSION) mode, BIO (BI-DIRECTIONAL OPTICAL FLOW), which is currently proposed as a new motion compensation prediction mode.
  • AMP AFFINE MOTION PREDICTION
  • OBMC OverLAPPED BLOCK MOTION COMPENSATION
  • DMVR DECODER-SIDE MOTION VECTOR REFINEMENT
  • ATMVP Alternative temporal motion vector prediction
  • STMVP Sepatial-temporal motion vector prediction
  • LIC Local Illumination Compensation
  • the motion information encoding unit 163 may encode motion information according to a method determined by the motion information encoding mode determination unit 162.
  • the motion information encoding unit 163 may perform a merge motion vector encoding process when the motion information encoding mode is a skip mode or a merge mode, and may perform an AMVP encoding process in the AMVP mode.
  • the prediction block generation unit 164 generates a prediction block using motion information of the current block, and when the motion vector is an integer unit, copies a block corresponding to a position indicated by the motion vector in the picture indicated by the reference picture index and copies the current block. To generate a predictive block.
  • the prediction block generator 164 may generate pixels of the prediction block from integer unit pixels in the picture indicated by the reference picture index.
  • a prediction pixel may be generated using an 8-tap interpolation filter for a luminance pixel, and a prediction pixel may be generated using a 4-tap interpolation filter for a color difference pixel.
  • the residual block generation unit 165 generates a residual block using the current block and the prediction block of the current block.
  • the residual block is generated using the 2Nx2N prediction block corresponding to the current block and the current block. You can create blocks.
  • the size of the current block used for prediction is 2NxN or Nx2N
  • a final prediction block of 2Nx2N size is obtained by using the 2 2NxN prediction blocks. Can be created.
  • a 2Nx2N size residual block may be generated using the 2Nx2N sized prediction block, and overlap smoothing may be applied to pixels in the boundary part to resolve discontinuities in the boundary part of the 2 prediction blocks having 2NxN size. You can.
  • the residual block encoder 166 divides the residual block into one or more transform units (TUs), so that each transform unit (TU) can be transform-encoded, quantized, and entropy-encoded.
  • the residual block encoder 166 may transform the residual block generated by the inter prediction method using an integer-based transform matrix, and the transform matrix may be an integer-based DCT matrix.
  • the residual block encoder 166 uses a quantization matrix to quantize the coefficients of the residual block transformed by the transform matrix, and the quantization matrix can be determined by a quantization parameter.
  • the quantization parameter is determined for each coding unit (CU) having a predetermined size or more, and if the current coding unit (CU) is smaller than the predetermined size, the first coding unit (in coding order) among coding units (CU) within the predetermined size ( CU), and only the quantization parameter of the remaining coding unit (CU) is the same as the above parameter, so it may not be encoded.
  • coefficients of the transform block may be quantized using a quantization matrix determined according to the quantization parameter and a prediction mode.
  • the quantization parameter determined for each coding unit CU having a predetermined size or more may be predictively coded using the quantization parameter of the coding unit CU adjacent to the current coding unit CU.
  • the left coding unit (CU) of the current coding unit (CU) and the upper coding unit (CU) may be searched to generate quantization parameter predictors of the current coding unit (CU) using one or two valid quantization parameters. have.
  • a valid first quantization parameter retrieved in the above order may be determined as a quantization parameter predictor, and a valid first quantization parameter may be quantized by searching in the order of the left coding unit (CU) and the previous coding unit (CU) in the coding order. It can be determined as a parameter predictor.
  • the coefficients of the quantized transform block are scanned and converted into one-dimensional quantized coefficients, and the scanning method may be set differently according to the entropy coding mode.
  • the inter-prediction-encoded quantization coefficients can be scanned in one predetermined method (zigzag, or raster scan in a diagonal direction), and when encoded with CAVLC, scanning in a different way from the above method Can be.
  • the scanning method may be determined according to a zigzag in the case of inter, or the intra prediction mode in the case of intra, and the coefficient scanning method may be differently determined according to the size of a transform unit.
  • the scan pattern may vary depending on the directional intra prediction mode, and the scan order of quantization coefficients may be scanned in the reverse direction.
  • the multiplexer 167 multiplexes the motion information encoded by the motion information encoding unit 163 and the residual signals encoded by the residual block encoding unit 166.
  • the motion information may vary according to an encoding mode, and for example, in the case of skip or merge, only the index indicating the predictor may be included, and in the case of AMVP, the reference picture index, the differential motion vector, and the AMVP index of the current block may be included. .
  • the intra prediction unit 150 receives the prediction mode information and the size of the prediction unit PU from the picture division unit 110, and the picture storage unit determines a reference pixel to determine the intra prediction mode of the prediction unit PU It can be read from 180.
  • the intra prediction unit 150 determines whether a reference pixel is generated by examining whether there is an unavailable reference pixel, and the reference pixels can be used to determine an intra prediction mode of the current block.
  • pixels adjacent to the upper side of the current block are not defined, and when the current block is located at the left boundary of the current picture, pixels adjacent to the left of the current block are not defined, It may be determined that the pixels are not available pixels.
  • the current block is located at the slice boundary and pixels adjacent to the upper or left side of the slice are not available pixels even if the pixels are not encoded and reconstructed first.
  • the intra prediction mode of the current block may be determined using only available pixels.
  • a reference pixel at a location that is not available may be generated using available reference pixels of the current block. For example, when pixels in the upper block are not available, upper pixels may be used using some or all of the left pixels. You can create them, and vice versa.
  • a reference pixel is generated by copying an available reference pixel at a location closest to a predetermined direction from a reference pixel at a location that is not available, or when no reference pixel is available in a predetermined direction, the closest in the opposite direction
  • a reference pixel may be generated by copying the available reference pixel of the position.
  • the upper or left pixels of the current block may be determined as a reference pixel that is not available according to an encoding mode of a block to which the pixels belong.
  • the pixels may be determined as unavailable pixels.
  • available reference pixels may be generated using pixels belonging to a reconstructed block in which a block adjacent to the current block is intra-coded, and information indicating that the encoding apparatus 10 determines available reference pixels according to an encoding mode. It is transmitted to the decoding device 20.
  • the intra prediction unit 150 determines the intra prediction mode of the current block using the reference pixels, and the number of intra prediction modes allowable for the current block may vary according to the size of the block.
  • 34 intra prediction modes may exist when the size of the current block is 8x8, 16x16, and 32x32, and 17 intra prediction modes may exist when the size of the current block is 4x4.
  • the 34 or 17 intra prediction modes may be composed of at least one non-directional mode (non-directional mode) and a plurality of directional modes (directional modes).
  • the one or more non-directional modes may be DC mode and/or planar mode.
  • 35 intra prediction modes may exist regardless of the size of the current block.
  • DC mode and planner mode two non-directional modes (DC mode and planner mode) and 33 directional modes may be included.
  • the prediction block of the current block using at least one pixel value (or a prediction value of the pixel value, hereinafter referred to as a first reference value) and reference pixels located at a bottom-right of the current block Is generated.
  • the configuration of the video decoding apparatus may be derived from the configuration of the video encoding apparatus 10 described with reference to FIGS. 1 to 6, for example, as described with reference to FIGS. 1 to 6.
  • An image can be decoded by inversely performing the processes of the same image encoding method.
  • the decoding apparatus 20 includes an entropy decoding unit 210, an inverse quantization/inverse transformation unit 220, an adder 270, It has a post-processing unit 250, a picture storage unit 260, an intra prediction unit 230, a motion compensation prediction unit 240, and an intra/inter switch 280.
  • the entropy decoding unit 210 receives and decodes the encoded bit stream from the image encoding apparatus 10 and separates it into intra prediction mode indexes, motion information, and quantization coefficient sequences, and decodes the decoded motion information into a motion compensation prediction unit ( 240).
  • the entropy decoding unit 210 transmits the intra prediction mode index to the intra prediction unit 230 and the inverse quantization/inverse transformation unit 220 to transmit the inverse quantization coefficient sequence to the inverse quantization/inverse transformation unit 220.
  • the inverse quantization/inverse transform unit 220 converts the quantization coefficient sequence into an inverse quantization coefficient in a two-dimensional array, and can select one of a plurality of scanning patterns for the conversion, for example, a prediction mode (ie, a current block) (Intra prediction or inter prediction) and an intra prediction mode.
  • a prediction mode ie, a current block
  • Intra prediction or inter prediction Intra prediction mode
  • the inverse quantization/inverse transform unit 220 restores a quantization coefficient by applying a quantization matrix selected from a plurality of quantization matrices to an inverse quantization coefficient of a two-dimensional array.
  • a quantization matrix may be selected for a block having the same size based on at least one of the prediction mode and the intra prediction mode of the current block.
  • the inverse quantization/inverse transform unit 220 inversely transforms the reconstructed quantization coefficient to restore a residual block, and the inverse transform process may be performed using a transform unit (TU) as a basic unit.
  • TU transform unit
  • the adder 270 reconstructs the image block by combining the residual block restored by the inverse quantization/inverse transform unit 220 and the prediction block generated by the intra prediction unit 230 or the motion compensation prediction unit 240.
  • the post-processing unit 250 may perform post-processing on the reconstructed image generated by the adder 270 to reduce deblocking artifacts due to image loss due to quantization by filtering or the like.
  • the picture storage unit 260 is a frame memory for storing a local decoded image in which filter post-processing is performed by the post-processing unit 250.
  • the intra prediction unit 230 restores the intra prediction mode of the current block based on the intra prediction mode index received from the entropy decoding unit 210, and generates a prediction block according to the restored intra prediction mode.
  • the motion compensation prediction unit 240 generates a prediction block for the current block from the picture stored in the picture storage unit 260 based on the motion vector information, and applies a selected interpolation filter to apply the selected interpolation filter when motion compensation with a decimal precision is applied. Can generate
  • the intra/inter switch 280 may provide the adder 270 with a prediction block generated by any one of the intra prediction unit 230 and the motion compensation prediction unit 240 based on the encoding mode.
  • FIG. 8 is a block diagram showing an embodiment of a configuration in which the video decoding apparatus 20 performs inter prediction, and the inter prediction decoder includes a demultiplexer 241, a motion information encoding mode determiner 242, and merge mode motion.
  • the information decoding unit 243, the AMVP mode motion information decoding unit 244, the selection mode motion information decoding unit 248, the prediction block generation unit 245, the residual block decoding unit 246 and the reconstructed block generation unit 247 It includes.
  • the de-multiplexer 241 demultiplexes the currently encoded motion information and the encoded residual signals from the received bitstream, and transmits the demultiplexed motion information to the motion information encoding mode determiner 242 Then, the demultiplexed residual signal may be transmitted to the residual block decoder 246.
  • the motion information encoding mode determination unit 242 determines the motion information encoding mode of the current block, and when the skip_flag of the received bitstream has a value of 1, the motion information encoding mode of the current block is determined to be encoded in the skip encoding mode can do.
  • the motion information encoding mode determining unit 242 is a motion information encoding mode of the current block It can be determined that is encoded in the merge mode.
  • the motion information encoding mode determining unit 242 has a value of 0 for skip_flag of the received bitstream, and motion information received from the demultiplexer 241 has a reference picture index, a differential motion vector, and an AMVP index. In this case, it may be determined that the motion information encoding mode of the current block is encoded in the AMVP mode.
  • the merge mode motion information decoding unit 243 is activated when the motion information encoding mode determining unit 242 determines the current block motion information encoding mode as skip or merge mode, and the AMVP mode motion information decoding unit 244 moves It may be activated when the information encoding mode determining unit 242 determines the current block motion information encoding mode as the AMVP mode.
  • the selection mode motion information decoding unit 248 may decode the motion information in a prediction mode selected from among other motion compensation prediction modes except for the above-described AMVP mode, merge mode, and skip mode.
  • the selective prediction mode may include a more precise motion prediction mode compared to the AMVP mode, and may be determined block-adaptively according to predetermined conditions (eg, block size and block segmentation information, signaling information existence, block position, etc.). .
  • Selective prediction mode is, for example, FRUC (FRAME RATE UP-CONVERSION) mode, BIO (BI-DIRECTIONAL OPTICAL FLOW) mode, AMP (AFFINE MOTION PREDICTION) mode, OBMC (OVERLAPPED BLOCK MOTION COMPENSATION) mode, DMVR (DECODER-SIDE) It may include at least one of a MOTION VECTOR REFINEMENT mode, an ATMVP (Alternative temporal motion vector prediction) mode, a STMVP (Spatial-temporal motion vector prediction) mode, and a LIC (Local Illumination Compensation) mode.
  • FRUC FRAME RATE UP-CONVERSION
  • BIO BIO
  • AMP AFFINE MOTION PREDICTION
  • OBMC OverLAPPED BLOCK MOTION COMPENSATION
  • DMVR DECODER-SIDE
  • the prediction block generator 245 generates a prediction block of the current block by using the motion information restored by the merge mode motion information decoder 243 or the AMVP mode motion information decoder 244.
  • a block corresponding to a position indicated by the motion vector in the picture indicated by the reference picture index may be copied to generate a prediction block of the current block.
  • pixels of a prediction block are generated from integer unit pixels in a picture indicated by the reference picture index.
  • an interpolation filter of 8 taps is used for a luminance pixel, and a color difference pixel is used.
  • Prediction pixels may be generated using a 4-tap interpolation filter.
  • the residual block decoder 246 entropy-decodes the residual signal and inversely scans the entropy-decoded coefficients to generate a two-dimensional quantized coefficient block, and the inverse scanning method may vary according to the entropy decoding method.
  • the inverse scanning method may be applied in a diagonal raster inverse scanning method when decoded based on CABAC or in a zigzag inverse scan method when decoded based on CAVLC.
  • the inverse scanning method may be differently determined according to the size of the prediction block.
  • the residual block decoding unit 246 may inverse quantize the coefficient block generated as described above using an inverse quantization matrix, and reconstruct a quantization parameter to derive the quantization matrix.
  • the quantization step size may be restored for each coding unit having a predetermined size or more.
  • the residual block decoding unit 260 reconstructs the residual block by inversely transforming the inverse-quantized coefficient block.
  • the reconstructed block generator 270 generates a reconstructed block by adding the predicted block generated by the predicted block generator 250 and the residual block generated by the residual block decoder 260.
  • any one table selected according to the distribution of intra prediction modes for multiple blocks adjacent to the current block may be applied.
  • the first intra prediction mode table is applied to restore the index of the first intra prediction mode of the current block, and is not the same. Otherwise, the first intra prediction mode index of the current block may be restored by applying the second intra prediction mode table.
  • the intra prediction mode of the upper block and the left block of the current block are both directional intra prediction modes
  • the direction of the intra prediction mode of the upper block and the intra prediction mode of the left block If it is within a predetermined angle, the first intra prediction mode index of the current block is restored by applying the first intra prediction mode table, and if it is outside the predetermined angle, the second intra prediction mode table is applied to the first intra prediction mode index of the current block Can also be restored.
  • the entropy decoding unit 210 transmits the first intra prediction mode index of the restored current block to the intra prediction unit 230.
  • the intra prediction unit 230 receiving the index of the first intra prediction mode may determine the maximum possible mode of the current block as the intra prediction mode of the current block. .
  • the intra prediction unit 230 compares the index indicated by the maximum possible mode of the current block with the index of the first intra prediction mode, and as a result of the comparison, the first intra prediction mode If the index is not smaller than the index indicated by the maximum possible mode of the current block, the intra prediction mode corresponding to the second intra prediction mode index obtained by adding 1 to the first intra prediction mode index is determined as the intra prediction mode of the current block. Otherwise, the intra prediction mode corresponding to the first intra prediction mode index may be determined as the intra prediction mode of the current block.
  • the intra prediction mode allowable for the current block may include at least one non-directional mode (non-directional mode) and a plurality of directional modes (directional modes).
  • the one or more non-directional modes may be DC mode and/or planar mode.
  • either the DC mode or the planner mode may be adaptively included in the allowable intra prediction mode set.
  • information specifying a non-directional mode included in the allowable intra prediction mode set may be included in a picture header or a slice header.
  • the intra prediction unit 230 reads the reference pixels from the picture storage unit 260 to generate an intra prediction block, and determines whether there is an unavailable reference pixel.
  • the determination may be made according to the presence or absence of reference pixels used to generate an intra prediction block by applying the decoded intra prediction mode of the current block.
  • the intra prediction unit 230 may generate reference pixels at a location that is not available using previously reconstructed available reference pixels.
  • the definition of a reference pixel that is not available and the method of generating the reference pixel may be the same as the operation of the intra prediction unit 150 according to FIG. 1, but an intra prediction block is generated according to the decoded intra prediction mode of the current block.
  • the reference pixels used for this may be selectively restored.
  • the intra prediction unit 230 determines whether to apply a filter to reference pixels to generate a prediction block, that is, whether to apply filtering to reference pixels to generate an intra prediction block of the current block. It can be determined based on the decoded intra prediction mode and the size of the current prediction block.
  • the problem of blocking artifacts increases as the size of the block increases, so as the size of the block increases, the number of prediction modes for filtering the reference pixel can be increased, but if the block becomes larger than a predetermined size, it can be viewed as a flat area, reducing complexity.
  • the reference pixel may not be filtered.
  • the intra prediction unit 230 filters the reference pixels using a filter.
  • At least two or more filters may be adaptively applied according to the difference in the level difference between the reference pixels.
  • the filter coefficient of the filter is preferably symmetrical.
  • the above two or more filters may be adaptively applied according to the size of the current block.
  • a filter having a narrow bandwidth for a small block and a filter having a wide bandwidth for a large block May be applied.
  • the reference pixel can be adaptively filtered based on the intra prediction mode of the current block and the size of the prediction block.
  • the intra prediction unit 230 generates a prediction block using reference pixels or filtered reference pixels according to the restored intra prediction mode, and generation of the prediction block is the same as that of the operation of the encoding apparatus 10. Since it can be, a detailed description thereof will be omitted.
  • the intra prediction unit 230 determines whether to filter the generated prediction block, and whether the filtering is performed may be determined using information included in a slice header or a coding unit header or according to an intra prediction mode of the current block.
  • the intra prediction unit 230 may generate a new pixel by filtering a pixel at a specific location of the generated prediction block using available reference pixels adjacent to the current block. .
  • a prediction pixel contacting the reference pixels among the prediction pixels may be filtered using a reference pixel contacting the prediction pixel.
  • a prediction pixel is filtered using one or two reference pixels according to the location of the prediction pixel, and filtering of the prediction pixel in DC mode can be applied to prediction blocks of all sizes.
  • prediction pixels in contact with the left reference pixel among the prediction pixels of the prediction block may be changed using reference pixels other than the upper pixel used to generate the prediction block.
  • prediction pixels that come into contact with the upper reference pixel among the generated prediction pixels may be changed using reference pixels other than the left pixel used to generate the prediction block.
  • the current block may be reconstructed using the prediction block of the current block reconstructed and the residual block of the decoded current block.
  • FIG. 9 is a view for explaining a second embodiment of a method of dividing and processing an image in block units.
  • a coding tree unit (CTU) having a maximum size of 256x256 pixels is first divided into a quad tree structure, and can be divided into four coding units (CUs) having a square shape.
  • At least one of the coding units divided into the quad tree structure is divided into a binary tree structure, and may be re-divided into two coding units (CUs) having a rectangular shape.
  • At least one of the coding units divided into the quad tree structure may be divided into a quad tree structure and re-divided into four coding units (CUs) having a square shape.
  • CUs coding units
  • At least one of the coding units re-divided into the binary tree structure may be divided into a binary tree structure and divided into two coding units (CUs) having a square or rectangular shape.
  • At least one of the coding units re-divided into the quad tree structure may be divided into a quad tree structure or a binary cree structure, and may be divided into coding units (CUs) having a square or rectangular shape.
  • CUs coding units
  • FIG. 10 illustrates an embodiment of a syntax structure used to process an image by dividing it into blocks.
  • a block structure according to an embodiment of the present invention may be determined through split_cu_flag indicating whether to split a quad tree and binary_split_flag indicating whether to split a binary tree.
  • whether the coding unit (CU) is split as described above may be indicated using split_cu_flag.
  • binary_split_flag indicating whether to perform binary partitioning and syntax indicating a split direction may be determined in correspondence to a binary partitioned CU after quad tree partitioning.
  • a method of indicating the directionality of binary splitting a method of determining a splitting direction based on this by decoding a plurality of syntaxes such as binary_split_hor and binary_split_ver, or decoding a single syntax and signal values according to it, such as binary_split_mode, and Horizontal(0)
  • a method of processing division in the vertical (1) direction may be exemplified.
  • the depth of a coding unit (CU) split using a binary tree may be represented using binary_depth.
  • coding unit e.g, coding unit (CU), prediction unit (PU), and transform unit (TU)
  • PU prediction unit
  • TU transform unit
  • the coding unit is divided into a binary tree structure and can be divided into transform units (TUs), which are basic units for transforming residual blocks.
  • TUs transform units
  • At least one of rectangular coding blocks CU0 and Cu1 divided into a binary tree structure and having a size of Nx2N or 2NxN is divided into a binary tree structure, and having a size of NxN It can be divided into square conversion units (TU0, TU1).
  • the block-based image encoding method may perform prediction, transform, quantization, and entropy encoding steps.
  • a prediction signal is generated by referring to a block performing current encoding and an existing coded image or a surrounding image, and through this, a differential signal from the current block can be calculated.
  • the difference signal is used as input to perform conversion using various conversion functions, and the converted signal is classified into DC coefficients and AC coefficients to be energy compacted to improve encoding efficiency. Can be.
  • quantization is performed with transform coefficients as an input, and then entropy encoding is performed on the quantized signal, thereby encoding an image.
  • the image decoding method proceeds in the reverse order of the encoding process as described above, and an image quality distortion phenomenon may occur in the quantization step.
  • the size or shape of the transform unit (TU) and the type of transform function applied can be varied according to the distribution of the difference signal input to the input in the transform step and the characteristics of the image. have.
  • a difference is measured using a cost measurement method such as SAD (Sum of Absolute Difference) or MSE (Mean Square error).
  • SAD Sum of Absolute Difference
  • MSE Mel Square error
  • efficient encoding can be performed by selectively performing the transformation by determining the size or shape of the transformation unit CU based on the distribution of various difference signals.
  • the DC value generally represents the average value of the input signal
  • two coding units CUx
  • TUs conversion units
  • a square coding unit (CU0) having a size of 2Nx2N is divided into a binary tree structure, and can be divided into rectangular transform units (TU0, TU1) having a size of Nx2N or 2NxN.
  • the step of dividing the coding unit (CU) into a binary tree structure may be performed repeatedly two or more times, and divided into a plurality of transform units (TUs).
  • a rectangular coding block (CB1) having a size of Nx2N is divided into a binary tree structure, and a block having the size of the divided NxN is further divided into a binary tree structure to N/2xN or NxN/2
  • the blocks having the size of N/2xN or NxN/2 are divided into a binary tree structure, and square transform units (TU1, TU2) having a size of N/2xN/2 , TU4, TU5).
  • a square coding unit (CU0) having a size of 2Nx2N is divided into a binary tree structure, and a block having the size of the divided Nx2N is further divided into a binary tree structure to form a square having a size of NxN.
  • the block having the size of NxN may be further divided into a binary tree structure and divided into rectangular transform units TU1 and TU2 having the size of N/2xN.
  • a rectangular coding unit (CU0) having a size of 2NxN is divided into a binary tree structure, and a block having the size of the divided NxN is further divided into a quad tree structure to size N/2xN/2 It can be divided into square transform units (TU1, TU2, TU3, TU4).
  • blocks eg, coding unit (CU), prediction unit (PU), and transform unit (TU)
  • CU coding unit
  • PU prediction unit
  • TU transform unit
  • the picture dividing unit 110 provided in the image encoding apparatus 10 performs rate distortion optimization (RDO) according to a preset order, and as described above, the dividable coding unit (CU), prediction unit (PU), and transform
  • RDO rate distortion optimization
  • CU dividable coding unit
  • PU prediction unit
  • transform The division structure of the unit TU can be determined.
  • the picture division unit 110 determines an optimal block division structure in terms of bitrate and distortion while performing rate distortion optimization-quantization (RDO-Q). Can be.
  • RDO-Q rate distortion optimization-quantization
  • RD may be performed in the order of 2NxN pixel sized conversion unit (PU) split structure shown in (d) to determine the optimal split structure of the transform unit (PU).
  • PU 2NxN pixel sized conversion unit
  • the coding unit CU has an Nx2N or 2NxN pixel size form
  • the pixel size of NxN shown in (b)
  • N/2xN/2, N/2xN and pixel size of NxN shown in (d)
  • N shown in (e) It is possible to determine the optimal division structure of the conversion unit PU by performing RDO in the order of the division structure of the conversion unit (PU) having a pixel size of /2xN.
  • the block division method of the present invention has been described as an example in which the block division structure is determined by performing RDO (Rate Distortion Optimization), but the picture division unit 110 has a Sum of Absolute Difference (SAD) or Mean Square Error (MSE). ), it is possible to maintain the appropriate efficiency while reducing the complexity by determining the block division structure.
  • SAD Sum of Absolute Difference
  • MSE Mean Square Error
  • ALF adaptive loop filtering
  • whether to apply the adaptive loop filter (ALF) may be determined on a coding unit (CU) basis, and the size or coefficient of a loop filter to be applied may vary according to the coding unit (CU).
  • information indicating whether to apply the adaptive loop filter (ALF) for each coding unit (CU) may be included in each slice header.
  • a chrominance signal it may be determined whether to apply an adaptive loop filter (ALF) on a picture-by-picture basis, and the shape of the loop filter may have a rectangular shape unlike luminance.
  • ALF adaptive loop filter
  • adaptive loop filtering may determine whether to apply for each slice. Accordingly, information indicating whether adaptive loop filtering (ALF) is applied to the current slice may be included in a slice header or a picture header.
  • the slice header or picture header may additionally include information indicating the horizontal and/or vertical filter lengths of luminance components used in the adaptive loop filtering process.
  • the slice header or picture header may include information indicating the number of filter sets, and when the number of filter sets is 2 or more, filter coefficients may be encoded using a prediction method.
  • the slice header or the picture header may include information indicating whether filter coefficients are encoded by a prediction method, and when the prediction method is used, may include predicted filter coefficients.
  • information indicating whether each chrominance component is filtered may be included in a slice header or a picture header, and for Cr and Cb to reduce the number of bits.
  • Joint coding ie, multiplexing coding
  • information indicating whether to filter may be included in a slice header or a picture header, and for Cr and Cb to reduce the number of bits.
  • Joint coding ie, multiplexing coding
  • entropy coding may be performed by assigning the largest index.
  • 19 to 29 are diagrams for explaining a composite partition structure according to another embodiment of the present invention.
  • the horizontal W as in FIG. 19(A) is rectangular with a shape longer than the vertical H
  • FIG. 19(B) As described above, a form of the coding unit CU in which the vertical length H is divided into a rectangle having a shape longer than the horizontal length W may appear.
  • a coding unit having a long length in a specific direction as described above it is highly likely that encoding information is concentrated in the left and right edges or the upper and lower boundary regions compared to the middle region.
  • the encoding apparatus 10 can easily perform an edge region of a coding unit, which is long-divided in a specific direction length, by splitting a quad tree and a binary tree.
  • the coding unit can be split into a ternary tree or triple tree structure that can be split.
  • FIG. 19(A) shows the first area of the left edge having a horizontal W/8, a vertical H/4 length, and a horizontal W/8*6, vertical when the coding unit to be divided is a horizontally divided coding unit.
  • H/4 length it is shown that the second region, which is the middle region, and the third region at the right edge of the horizontal W/8 and the vertical H/4 length, can be struck.
  • the first region of the upper edge having a horizontal W/4 and a vertical H/8 length, and a horizontal W/4 and a vertical H/8* It is shown that the length can be divided into a second region, which is an intermediate region, and a third region of the lower edge of the horizontal W/4 and the vertical H/8 length.
  • the encoding apparatus 10 may process division of the ternary tree structure through the picture division unit 110.
  • the picture splitter 110 may not only determine the division into the above-described quad-tree and binary-tree structures according to encoding efficiency, but also may finely determine the segmentation scheme by considering the ternary tree structure together.
  • the splitting of the ternary tree structure may be processed for all coding units without limitation. However, considering the encoding and decoding efficiency as described above, it may be desirable to allow a ternary tree structure only for coding units having specific conditions.
  • the ternary tree structure may require ternary division of various methods for the coding tree unit, but it may be desirable to allow only an optimized predetermined form in consideration of encoding and decoding complexity and transmission bandwidth by signaling.
  • the picture division unit 110 may determine and determine whether to divide the current coding unit into a ternary tree structure of a specific type only when the current coding unit is in response to a preset condition.
  • the split ratio of the binary tree can be extended and varied to 3:1, 1:3, etc., not only 1:1.
  • the splitting structure of the coding unit according to an embodiment of the present invention may include a composite tree structure that is subdivided into quad trees, binary trees, or ternary trees according to ratios.
  • the picture division unit 110 may determine a complex division structure of a coding unit to be divided based on the above-described division table.
  • the picture dividing unit 110 processes a quad tree split and corresponds to a maximum size of a block (eg, pixel-based 128 x 128, 256 x 256, etc.) It is possible to perform a complex partitioning process that processes at least one of a double tree structure and a triple tree structure partition corresponding to the terminal node.
  • a quad tree split corresponds to a maximum size of a block (eg, pixel-based 128 x 128, 256 x 256, etc.) It is possible to perform a complex partitioning process that processes at least one of a double tree structure and a triple tree structure partition corresponding to the terminal node.
  • the picture partitioning unit 110 may perform first binary partitioning (BINARY 1) and second binary partitioning (BINARY 2), which are binary tree partitions corresponding to characteristics and sizes of a current block according to a partitioning table. ) And a first ternary partition (TRI 1) or a second ternary partition (TRI 2), which is a ternary tree partition, may be determined.
  • the first binary division may correspond to a vertical or horizontal division having a ratio of N:N
  • the second binary division may correspond to a vertical or horizontal division having a ratio of 3N:N or N:3N
  • each The binary partitioned root CU may be divided into CU0 and CU1 of each size specified in the partition table.
  • the first ternary division may correspond to a vertical or horizontal division having a ratio of N:2N:N
  • the second ternary division may correspond to a vertical or horizontal division having a ratio of N:6N:N
  • each The ternary partitioned root CU may be divided into CU0, CU1, and CU2 of each size specified in the partition table.
  • the picture division unit 110 according to an embodiment of the present invention, the maximum coding unit size and the minimum coding unit size for applying the first binary division, the second binary division, the first ternary division or the second ternary division Can be set respectively.
  • the allowable division structure for each size of each coding unit may be predefined.
  • the picture dividing unit 110 may prevent a case in which the horizontal or vertical pixel size is divided into 2 as a minimum size, for example, a size of less than 4, and for this purpose, the size of the target block to be divided Determine whether the first binary partition, the second binary partition, the first ternary partition or the second ternary partition is allowed, and compare the RDO performance operation corresponding to the allowable partitioning structure to determine the optimal partitioning structure. Can be.
  • the binary dividing structure may be divided into CU0 and CU1 constituting any one of 1:1, 3:1, or 1:3 vertical partitioning.
  • the ternary division structure may be divided into CU0, CU1 and CU2 constituting either one of 1:2:1 or 1:6:1 vertical division.
  • an allowable vertical division structure may be limitedly determined.
  • the vertical division structure of the 64X64 coding unit and the 32X32 coding unit may allow all of the first binary division, the second binary division, the first ternary division and the second ternary division, but among the vertical division structures of the 16X16 coding unit.
  • the second strikeout division may be limited to impossible.
  • only the first binary division may be limitedly allowed. Thus, the division into blocks of less than the minimum size that causes complexity can be prevented in advance.
  • the binary dividing structure may be divided into CU0 and CU1 constituting any one of 1:1, 3:1, or 1:3 horizontal partitioning structures
  • the ternary division structure may be divided into CU0, CU1 and CU2 constituting either one of 1:2:1 or 1:6:1 horizontal division.
  • an allowable horizontal division structure may be limitedly determined.
  • the horizontal division structure of the 64X64 coding unit and the 32X32 coding unit may allow all of the first binary division, the second binary division, the first ternary division and the second ternary division, but among the horizontal division structures of the 16X16 coding unit
  • the second strikeout division may be limited to impossible.
  • only the first binary division may be limitedly permitted.
  • the picture division unit 110 may horizontally process a coding unit vertically divided into a first binary division or a second binary division, or horizontally divide the coding unit into a first ternary division or a second ternary division according to a division table. have.
  • the picture division unit 110 divides into CU0 and CU1 of 32X32 according to the first binary division, or 32x48, C0 and CU1 of 32X16 according to the second binary division.
  • the first ternary division 32X32, 32X16, 32X16 CU0, CU1, CU2, or according to the second ternary division 32X8, 64X48, 32X8 CU0, CU1, CU2.
  • the picture splitter 110 may vertically process the horizontally divided coding unit as the first binary split or the second binary split, or vertically split the first split or the second ternary split.
  • the picture dividing unit 110 is divided into CU0 and CU1 of 16X16 according to the first binary division, or C0 and CU1 of 24X16 8X16 according to the second binary division.
  • the first ternary division it may be divided into CU0, CU1, CU2 of 8X16, 16X16, 8X16, or divided into CU0, CU1, CU2 of 4X16, 24X16, 4X16 according to the second ternary division.
  • the partitioning allowance structure may be conditionally determined differently for each CTU size, CTU group unit, and slice unit, and vertical and horizontal directions, such that the first binary division, the second binary division, the first ternary division, and the second ternary division
  • each CU partition ratio and decision size information may be defined by a partition table, or condition information may be set in advance.
  • FIGS. 20 to 21 illustrate that horizontal and vertical divisions corresponding to the division target coding unit are performed with symmetric division and asymmetric division.
  • the coding unit to be divided can be divided into equal horizontal or vertical divisions.
  • uniform division may be a very inefficient prediction method in a situation in which a region in which a high prediction value is concentrated exists only in some boundary regions.
  • the picture dividing unit 110 according to the embodiment of the present invention may conditionally allow the non-uniformly divided non-uniformly divided according to a certain ratio as shown in FIG. 20(C).
  • the binary even division is Binary: 1:1
  • the non-uniform division is Asymmetric Binary: (1/3, 2/3), (1/4, 3/4), (2/5, 3/ 5), (3/8, 5/8), (1/5, 4/5) the ratio can be determined.
  • FIG. 21 illustrates an equal ternary division determined according to each division ratio.
  • FIG. 21(A) shows horizontal even ternary division
  • FIG. 21(B) shows horizontal non-uniform ternary division
  • FIG. 21(C) shows vertical even ternary division
  • FIG. 21(D) shows vertical non-uniform ternary division Can be.
  • the ratio of the non-uniform division can be variably determined as 1:6:1.
  • a partition table illustrating different partition ratios in the size of the target block at the time of equal division of binary, equal division of binary, equal division of ternary, and equal division of ternary may be designated.
  • the partition table corresponding to the block size corresponding to each root node block, binary vertical division, non-uniform binary vertical division, binary horizontal division, non-uniform binary horizontal division, ternary vertical division, non-uniform ternary vertical division, and ternary
  • the split ratio or split size at the time of horizontal split, non-uniform striking horizontal split may be adaptively determined.
  • the encoding apparatus 10 may process equal and non-uniform division of the binary and ternary tree structures through the picture division unit 110.
  • the picture dividing unit 110 can not only determine the division into the above-described quad tree and binary tree structures according to encoding efficiency, but also consider the ternary tree structure, and perform equal or non-uniform division corresponding thereto.
  • the subdivided segmentation scheme to be included can be determined in detail.
  • the uniform or non-uniform splitting structure may require various types of splitting structures for the coding tree unit, but it may be desirable to allow only an optimized predetermined form in consideration of coding and decoding complexity and transmission bandwidth by signaling. have.
  • the picture division unit 110 determines whether to divide into a uniform or non-uniform binary/ternary tree structure of a specific type only when the current coding unit corresponds to a preset condition in determining the division of the current coding unit. Can decide.
  • the split ratio in each direction may be expanded and varied based on a ratio corresponding to length N as well as 1:1.
  • the splitting structure of the coding unit according to an embodiment of the present invention includes quad trees, equal (horizontal/vertical) binary trees, non-uniform (horizontal/vertical) binary trees, and even (horizontal/vertical) ternary trees or ratios depending on the ratio. It can include a complex tree structure that is subdivided into even (horizontal/vertical) ternary trees.
  • FIGS. 22 to 25 are diagrams for explaining a division structure when a triangular division for binary or ternary division is processed in the composite division processing process according to an embodiment of the present invention.
  • 22(A) and 22(B) may represent binary triangulation
  • FIGS. 22(C) and 22(D) may represent ternary triangulation.
  • FIGS. 23 and 24 in the case of each of the binary triangular and triangular triangular divisions, the above-described non-uniform division or even division processing may be possible.
  • FIG. 23(A) shows horizontal non-uniform binary triangulation of blocks
  • FIG. 23(B) shows horizontal uniform binary triangulation of blocks
  • FIG. 24(A) shows vertical non-uniform binary triangulation of blocks
  • Fig. 24(B) shows the vertical even binary triangulation of blocks.
  • the triangulation of blocks according to FIGS. 22 to 25 is a block for performing motion compensation according to inter-screen prediction of the motion compensation prediction unit 240 independently of the block division process of the coding unit (CU). It can also be used as a unit.
  • the motion compensation prediction unit 240 is within the determined CU block.
  • the block-based motion compensation may be performed using the triangular split block form according to FIGS. 22 to 25 described above.
  • the encoding apparatus 10 performs binary/striking for the current coding target coding unit (CU).
  • the vertical/horizontal triangular block segmentation may be performed, and the motion compensation method for each divided block and the shape of the motion compensation block may be subdivided and determined.
  • the decoding apparatus 20 may determine the shape and size of a motion compensation block for each coding unit block that currently performs decoding.
  • the motion compensation prediction unit 240 may perform motion compensation in the same shape and size as the block of the current coding unit, or motion compensation according to the above-described binary/triangular vertical/horizontal triangular block segmented block unit. You can decide whether to do it.
  • motion compensation block signaling information indicating a motion compensation block shape and form may be generated in the encoding device 10, and the decoding device 20 ) Obtains motion compensation block signaling information, and may determine a motion compensation block shape and form according to a block unit divided into binary/triangular vertical/horizontal triangular blocks from the motion compensation block signaling information.
  • the motion compensation block signaling information may be included in a specific header syntax of a bitstream, for example, and may include one or more flag information indicating a shape, shape, or size of each block unit.
  • the picture splitter 110 may further improve its efficiency by applying a complex tree structure capable of triangular splitting in response to the above-described binary and ternary tree methods in consideration of the above-described encoding and decoding efficiency.
  • the division ratio for each triangulation method may also be defined conditionally in a separate division table.
  • a motion information determination and prediction process described below may be provided so that motion information determination complicated by subdivided segmentation and equal or non-uniform segmentation using such binary and ternary trees can be selectively and efficiently processed.
  • 26 is a block diagram more specifically illustrating a motion information determining unit according to an embodiment of the present invention.
  • the inter prediction unit 160 of the encoding apparatus 10 includes a tracking motion information prediction list construction unit 1611 for determining motion information in the motion information determination unit 161 And, includes a motion information prediction candidate list configuration unit 1613, the tracking motion information prediction list configuration unit 1611 may be connected to the list initialization unit 1615.
  • a module for performing the same processing is also included in the motion compensation prediction unit 240 of the corresponding decoding apparatus 20 to process the motion compensation based inter prediction decoding.
  • the motion information determiner 161 includes one or more motion vector predictors (MVPs) for deriving a motion vector used for inter-prediction of the inter predictor 160. It can be obtained from a block, and the motion vector can be derived by a motion vector predictor and a difference vector (Motion Vector Difference).
  • MVPs motion vector predictors
  • one or more motion information prediction candidate lists for determining the motion vector predictor may be configured.
  • the motion information determination unit 161 configures the tracking motion information prediction list
  • the tracking motion information prediction list of the unit 1611 and the motion information prediction candidate list configured in the motion information prediction candidate list construction unit 1613 may be used.
  • configuration may refer to a process of generating a data set including components using a computer processor and memory.
  • the configuration process may include various computing processes, including the process of extracting, structuring, parameter setting, and creating a list of element data.
  • the tracking motion information prediction list construction unit 1611 may construct a tracking motion information prediction list according to temporal or spatially pre-decoded neighboring block information corresponding to the current block.
  • the tracking motion information prediction list may be referred to as a tracking history-based motion information prediction list that accumulates and tracks pre-decoded motion information.
  • the motion information prediction candidate list construction unit 1613 may configure a motion information prediction candidate list for motion information prediction of the current block.
  • the motion information determination unit 161 may determine motion information using at least one of the tracking motion information prediction list and the motion information prediction candidate list, and the inter prediction unit 160 of the encoding apparatus 10 ) May perform motion information prediction encoding of the current block based on the determined motion information.
  • the motion compensation prediction unit 260 of the decoding apparatus 20 also uses the at least one of the tracking motion information prediction list and the motion information prediction candidate list to perform motion information prediction encoding of the current block based on motion information. It can be done.
  • the tracking motion information prediction list constructing unit 1611 constructs a motion vector prediction candidate of a previously coded block as a list temporally or spatially, as a list, and tracks It can be updated and stored and managed.
  • the tracking motion information prediction list construction unit 1611 may acquire motion information of spatially adjacent blocks and motion information to be tracked from temporally coded blocks according to a preset condition, and prioritize Accordingly, the selected motion information of one or more blocks may be mapped to a preset order index to be sequentially stored and managed in the tracking motion information prediction list.
  • the motion information prediction candidate list constructing unit 1613 separately constructs a motion information prediction candidate list corresponding to the current block, or composites it using the tracking motion information prediction list constructed from the tracking motion information prediction list constructing unit 1611 A motion information prediction candidate list can be constructed.
  • the motion information determination unit 161 may determine a motion information predictor corresponding to the current block by using a composite motion information prediction candidate list or selectively using one or more individually generated lists. Since the configuration range of the candidate list can be efficiently increased, and prediction accuracy according to the increased range is increased, it is possible to increase the compression efficiency and improve the image quality.
  • FIG. 27 is a flowchart illustrating an inter prediction process according to an embodiment of the present invention
  • FIG. 28 is a diagram illustrating a tracking motion information prediction list and a motion information prediction candidate list according to an embodiment of the present invention.
  • the inter prediction unit 160 of the encoding apparatus 10 or the motion compensation prediction unit 260 of the decoding apparatus 20 includes a tracking motion information prediction list construction unit 1611 ), the motion information of the pre-encoded or decoded block temporally or spatially is sequentially obtained (S101 ).
  • the tracking motion information prediction list constructing unit 1611 configures a tracking motion information prediction list using the motion information obtained according to a predetermined priority (S103).
  • a composite motion information prediction candidate list is constructed using the motion information of the block (S105).
  • the inter prediction unit 160 or the motion compensation prediction unit 260 performs motion information prediction encoding or decoding of the current block using the constructed motion information prediction candidate list (S107).
  • the tracking motion information prediction list or the motion information prediction candidate list may be individually configured according to a prediction encoding mode processed in a block.
  • a merge candidate list corresponding to each mode includes a tracking motion information prediction list and a motion information prediction candidate It can consist of a list.
  • a motion vector prediction value candidate list includes the tracking motion information prediction list and motion information. It may be composed of a prediction candidate list.
  • the motion vector of the current block may be generated by summing the motion vector predictor and the motion vector difference value, or the motion vector predictor may be used as the motion vector of the current block.
  • the tracking motion information prediction list 1603 is a sequence index (Order idx) in which motion information predictors of a block decoded in time series or spatially are first set. Can be mapped and stored.
  • the motion information prediction candidate list 1601 may be configured by referring to motion information matching a specific order index from the tracking motion information prediction list.
  • the motion information prediction candidate list construction unit 1613 may track the Motion information matching a specific order index may be acquired from a motion information prediction list and added to the motion information prediction candidate list.
  • whether to add or not may be determined according to a preset priority condition, and the motion information prediction candidate list construction unit 1613 includes motion information obtained from the tracking motion information prediction list and motion information stored in the motion information prediction candidate list.
  • the motion information prediction candidate list constructing unit 1613 may add motion information obtained from the tracking motion information prediction list or delete one or more of motion information stored in the motion information prediction candidate list according to the comparison result.
  • motion predictor information obtained from a tracking motion information prediction list when added to a motion information prediction candidate list, it may be referred to as a composite motion information prediction candidate list, and a motion information determination unit ( 161 may determine motion information (or a motion vector) for predicting motion information of a current block using a composite motion information prediction candidate list.
  • the motion information of the decoded current block is sequentially a new item of the tracking motion information prediction list (MPV NEW [N-1] ).
  • a candidate of index 3 may be selected from the motion information prediction candidate list 1601.
  • whether or not the motion vector of the current block coded according to the selected candidate is added to the tracking motion information prediction list 1603 can be determined, and when added, is used as a reference motion vector predictor in a subsequent coded or decoded block. Can be.
  • the tracking motion information prediction list constructing unit 1611 may configure a queue type list that follows a FIFO (First-In-First-Out) rule for storing a motion vector coded for a current block. have. Accordingly, the tracking motion information prediction list constructing unit 1611 may remove the motion vector candidate predictor having the lowest sequence index value from the list from the list and add new motion information corresponding to the current block. Accordingly, the motion information of the coded block at the oldest time point based on the current coded block may be stored in the order index 0 (Order 0) of the tracking motion information prediction list 1603.
  • FIFO First-In-First-Out
  • the tracking motion information prediction list constructing unit 1611 excludes the existing motion information from the list and removes the new motion information when it includes the same information as the motion information stored in the existing list. Can be added. Also, the tracking motion information prediction list constructing unit 1611 may not add the new motion information for processing efficiency.
  • 29 is a flowchart illustrating a method of constructing a composite motion information prediction candidate list according to an embodiment of the present invention.
  • the motion information prediction candidate list construction unit 1613 in constructing a motion information prediction candidate list, reconstructs a motion information prediction candidate list based on a tracking motion information prediction list A composite motion information prediction candidate list can be constructed and thus efficient motion information prediction decoding processing can be provided.
  • the motion information prediction candidate list constructing unit 1613 constructs a motion information prediction candidate list (S201), and determines whether duplicate motion information predictors exist in the configured motion information prediction candidate list (S203).
  • motion information referring to the position of the same block in the list motion information referring to the same block group exists, or referring to an adjacent position within a certain distance. It may mean that there is motion information, motion information included in the same tile, or motion information having the same zero value.
  • the motion information prediction candidate list constructing unit 1613 obtains one or more tracking motion information predictors from the tracking motion information prediction list (S205).
  • the motion information prediction candidate list construction unit 1613 constructs a composite motion information prediction candidate list reconstructed by adding the derived motion information predictor to the motion information prediction candidate list (S207).
  • the motion information prediction candidate list constructing unit 1613 may exclude the existing duplicate motion information predictor from the motion information prediction candidate list.
  • the inter prediction unit 160 or the motion compensation prediction unit 260 may perform inter prediction encoding or decoding processing based on the composite motion information prediction candidate list (S209).
  • the inter prediction unit 160 or the motion compensation prediction unit 260 may perform inter prediction decoding or encoding processing based on a normal motion information prediction candidate list (S211). ).
  • the motion information prediction candidate list constructing unit 1613 can more effectively construct the current motion information prediction candidate list by using the tracking motion information prediction list, and thus the motion prediction efficiency can be improved.
  • FIG. 30 is a flowchart illustrating a list selective motion information prediction decoding method according to an embodiment of the present invention.
  • the tracking motion information prediction list and the motion information prediction candidate list can be individually generated, stored, and managed.
  • the motion information determination unit 161 may A motion information predictor for decoding motion information prediction of the current block may be determined by selectively using a tracking motion information prediction list and a motion information prediction candidate list.
  • the tracking motion information prediction list construction unit 1611 sequentially acquires motion information of temporally or spatially pre-decoded neighboring blocks (S301), and individually configures the tracking motion information prediction list according to a predetermined priority. (S303).
  • the motion information prediction candidate list constructing unit 1613 individually configures a motion information prediction candidate list using motion information of a neighboring block (S305).
  • the motion information determiner 161 may selectively use the tracking motion information prediction list and the motion information prediction candidate list to determine a motion information predictor for decoding motion information prediction of the current block, and inter prediction
  • the unit 160 or the motion compensation prediction unit 260 may process motion information prediction encoding or decoding of the current block using the determined motion information predictor (S307).
  • selection information of the tracking motion information prediction list or the motion information prediction candidate list corresponding to the current block may be signaled, which may be included in a bitstream and transmitted.
  • the selection information may include a flag or identification information indicating a tracking motion information prediction list or a motion information prediction candidate list, and index information in the list, and the motion compensation prediction unit 260 of the decoding device 20 may A list to be used for motion information determination may be selectively determined based on the flag or identification information.
  • 31 is an example of blocks selected to construct a tracking motion information prediction list according to an embodiment of the present invention.
  • motion information of neighboring blocks adjacent to the boundary of the current block 400 may be obtained as a spatial motion information predictor for a tracking motion information prediction list.
  • the priority for constructing the tracking motion information prediction list may be spatially set in advance.
  • blocks corresponding to the spatial motion information predictor are left (L), upper (A), upper right (AR), lower left (BL), and upper left (AL) blocks 401 of a block adjacent to the left side.
  • 402, 403, 404, 405 may be sequentially included in the list, and a series of blocks 406, 407, such as upper middle (AM), left middle (LM), etc., determined according to the partition information of the current block.
  • a tracking motion information prediction list may be constructed through the order.
  • the partition information of the current block may include at least one of a partition type (SHAPE), a size, a partition depth (DEPTH), or a prediction mode.
  • the split form may be, for example, any of horizontal (HORIZONTAL), vertical (VERTICAL), uniform, non-uniform, binary, ternary, and quadtree splits.
  • motion information of neighboring blocks within a spatially adjacent range from the current block may also be included in a tracking motion information prediction list according to an embodiment of the present invention.
  • FIGS. 33 to 35 are diagrams for explaining an initialization condition.
  • the initialization unit 1615 It is possible to determine whether the block information of the currently decoded block satisfies the initialization condition (S403), initialize the tracking motion information prediction list according to the determination result (S405), or update the tracking motion information prediction list (S407). have.
  • the initialization unit 1615 may determine initialization in the direction of resolving it.
  • the initialization unit 1615 can prevent inefficient tracking motion information prediction list construction in advance by determining initialization on the basis of a change in reference position or a change in group identification information for parallel processing.
  • dependency between previously coded and decoded blocks is generated according to a coding order, and when motion information of blocks having low dependency is stored and managed in a list, inefficient motion information prediction is processed.
  • the initialization unit 1615 can resolve the dependency of encoding and decoding on a periodic or conditional basis, thereby improving the efficiency of the motion information prediction process and facilitating parallel processing. Can be.
  • the initialization of the tracking motion information prediction list may include a process of removing all or part of the motion information included in the list and setting it as an initial value.
  • the initialization condition may be exemplified when the line position information of the coding tree unit including the current block is changed, or when the identification information of the tile group including the current block is changed. It will be described with reference to FIG. 35.
  • a tracking motion information prediction list may be initialized in units of one coding tree unit (CTU) line. This can improve the process of predicting motion information within a line and prevent the occurrence of dependency between lines.
  • CTU coding tree unit
  • FIG. 34 shows a case in which tile position information change of a current coded or decoded block is applied as an initialization condition according to an embodiment of the present invention.
  • a tracking motion information prediction list may be initialized for each tile unit to which the current block belongs. This can improve a process of predicting motion information in a tile and prevent occurrence of inter-tile dependency.
  • tile position group information change of a currently encoded or decoded block may be applied.
  • One tile may be merged into a tile group in which a plurality of tiles are grouped, and a tracking motion information prediction list may be initialized for each tile group unit. This can improve the motion information prediction process in the tile group, and prevent the occurrence of dependency between tile groups.
  • FIG. 35 illustrates a complex conditional initialization of line and tile changes
  • the initialization unit 1615 tracks movement based on at least one of a line position change or a tile position change of the current block.
  • the information prediction list can be initialized, which can prevent the above-described interline and tile dependencies, respectively.
  • the initialization unit 1615 not only initializes the tracking motion information prediction list configured in the tracking motion information prediction list constructing unit 1611, but also moves the motion information prediction candidate list constructing unit 1613 according to the above-described conditions. It is also possible to selectively determine the initialization of the information prediction candidate list.
  • the method according to the present invention described above is produced as a program to be executed on a computer and can be stored in a computer-readable recording medium.
  • the computer-readable recording medium include ROM, RAM, CD-ROM, and magnetic tape. , Floppy disks, optical data storage devices, and the like, and also implemented in the form of a carrier wave (for example, transmission via the Internet).
  • the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the technical field to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시 예에 따른 영상 복호화 방법은, 영상 복호화 장치의 영상 복호화 방법에 있어서, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 단계; 상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 단계; 및 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계를 포함한다.

Description

움직임 예측을 사용하는 영상 복호화 및 부호화 방법
본 발명은 영상 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 추적 움직임 정보 리스트를 처리하여 영상 부호화 및 복호화를 처리하는 방법에 관한 것이다.
디지털 비디오 기술은 디지털 텔레비전, 디지털 직접 방송 시스템, 무선 방송 시스템, 개인 휴대 정보 단말기 (PDA), 랩탑 또는 데스크탑 컴퓨터, 디지털 카메라, 디지털 레코딩 디바이스, 비디오 게이밍 디바이스, 비디오 게임 콘솔, 셀룰러 또는 위성 라디오 텔레폰 등을 포함하는 광범위의 디지털 비디오 디바이스에 통합적으로 적용될 수 있다. 디지털 비디오 디바이스는 MPEG-2, MPEG-4, 또는 ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding), H.265/HEVC (High Efficiency Video Coding) 와 같은 비디오 압축 기술을 구현하여, 디지털 비디오 정보를 보다 효율적으로 송수신한다. 비디오 압축 기술은 공간 예측 및 시간 예측을 수행하여 비디오 시퀀스에 고유한 리던던시를 제거 또는 감소시킨다.
이러한 영상 압축 기술로서, 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 엔코딩 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
이와 같은 응용에 따라 다양한 해상도, 프레임율 등에 cost-effective하게 대응하기 위해서는, 응용에서 요구되는 성능, 기능에 따라 쉽게 처리 가능한 동영상 복호화 장치를 가지고 있어야 한다.
예를 들어, 영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들 사이의 중복도를 제거하는 인터 예측(inter prediction) 및 인트라 예측(intra prediction) 기술을 이용한다.
이 경우, 인트라 예측과 인터 예측을 이용하여 잔차 신호(residual signal)를 만들며, 잔차 신호를 구하는 이유는 잔차 신호를 가지고 코딩을 했을 때 데이터의 양이 작아서 데이터 압축률이 높아지고, 예측이 좋을수록 잔차 신호의 값이 작게 되기 때문이다.
인트라 예측 방법은 현재 블록의 주변의 픽셀을 이용하여 현재 블록의 데이터를 예측한다. 실제 값과 예측 값의 차이를 잔차 신호 블록이라고 한다. HEVC의 경우는 인트라 예측 방법이 기존 H.264/AVC에서 사용되던 9개의 예측모드에서 35개의 예측모드로 증가하여 더욱 세분화하여 예측을 한다.
인터 예측 방법의 경우는 현재 블록을 주변의 픽쳐들 내의 블록들과 비교하여 가장 비슷한 블록을 찾는다. 이때 찾은 블록에 대한 위치정보(Vx, Vy)를 모션 벡터라고 한다. 현재블록과 모션 벡터에 의하여 예측된 예측블록간의 블록내 화소 값들의 차이를 잔차 신호(residual signal) 블록이라고 한다 (motion-compensated residual block).
이와 같이 인트라 예측과 인터 예측이 더 세분화 되어 잔차 신호의 데이터 양이 줄어들고 있으나, 동영상의 처리를 위한 연산량은 크게 증가하였다.
특히, 영상 부호화 및 복호화를 위한 인트라 및 인터 예측 과정에서, 분할 구조 다분화에 따른 복잡도 증가량으로 인해, 부호화 효율 저하 뿐만 아니라 디코더 구현 및 병렬 처리 등에 있어서의 어려움이 존재하며, 기존의 예측 방법은 고해상도 영상의 부호화에는 적합하지 않을 수 있다.
또한, 최근에는 360 VR 영상 등, 가상현실을 지원하기 위하여, 복수의 고해상도 영상을 전처리하여 투영 병합한 초고해상도 영상의 처리가 실시간적으로 요구되고 있으며, 현재의 인트라 및 인터 예측, 변환 및 양자화 처리 프로세스는 이러한 초고해상도 영상 처리에 비효율적일 수 있다.
본 발명은 상기와 같은 과제를 해결하기 위한 것으로, 초고해상도 영상의 부호화 및 복호화에 적합하며, 이를 위한 움직임 정보 후보 리스트를 추적 구성하여 효율적으로 예측 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법을 제공하는데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 영상 복호화 방법은, 영상 복호화 장치의 영상 복호화 방법에 있어서, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 단계; 상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 단계; 및 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계를 포함한다.
상기한 바와 같은 과제를 해결하기 위한 영상 부호화 방법은, 영상 부호화 방법에 있어서, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 단계; 상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 단계; 및 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 부호화를 수행하는 단계를 포함한다.
상기한 바와 같은 과제를 해결하기 위한 영상 부호화 장치는 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 픽쳐 분할부; 상기 현재 블록에 대응하여 상기 코딩 유닛의 예측 부호화를 처리하는 예측 부호화부를 포함하고, 상기 예측 부호화부는, 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 추적 움직임 정보 예측 리스트 구성부; 상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 움직임 정보 예측 후보 리스트 구성부; 및 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 부호화를 수행하는 인터 예측부를 포함한다.
본 발명의 실시예에 따르면, 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하고, 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 부호화를 수행하게 함으로써, 인터 예측 복호화시의 예측 정확도 및 효율을 향상시킬 수 있으며, 따라서 고해상도 영상에 대한 코딩 및 전송 효율을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 6은 영상 부호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 8은 영상 복호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도면이다.
도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 도면이다.
도 11은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제3 실시예를 설명하기 위한 도면이다.
도 12는 코딩 유닛을 이진 트리 구조로 분할하여 변환 유닛을 구성하는 방법에 대한 일실시예를 설명하기 위한 도면이다.
도 13은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제4 실시예를 설명하기 위한 도면이다.
도 14 내지 도 16은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 또 다른 실시예들을 설명하기 위한 도면들이다.
도 17 및 도 18은 RDO(Rate distortion Optimization)를 수행하여 변환 유닛의 분할 구조를 결정하는 방법에 대한 실시예들을 설명하기 위한 도면들이다.
도 19 내지 도 25는 본 발명의 다른 일 실시 예에 따른 복합 분할 구조를 설명하기 위한 도면들이다.
도 26은 본 발명의 실시 예에 따른 움직임 정보 결정부를 보다 구체적으로 도시한 블록도이다.
도 27은 본 발명의 실시 예에 따른 인터 예측 프로세스를 설명하기 위한 흐름도이다.
도 28은 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트를 설명하기 위한 도면이다.
도 29는 본 발명의 실시 예에 따른 복합 움직임 정보 예측 후보 리스트 구성방법을 설명하기 위한 흐름도이다.
도 30은 본 발명의 실시 예에 따른 리스트 선택적 움직임 정보 예측 복호화 방법을 설명하기 위한 흐름도이다.
도 31은 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트를 구성하기 위해 선택되는 블록들의 일 예이다.
도 32는 본 발명의 실시 예에 따른 추적 움직임 정보 예측 후보 리스트의 초기화 방법을 설명하는 흐름도이며, 도 33 내지 도 35는 초기화 조건을 설명하기 위한 도면들이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 블록도로 도시한 것으로, 영상 부호화 장치(10)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.
도 1을 참조하면, 픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다.
또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드(또는 예측 방법)에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.
여기서, 영상의 픽쳐(picture)는 복수의 슬라이스로 구성되고, 슬라이스는 픽쳐를 분할하는 기본 단위인 복수의 코딩 트리 유닛(Coding Tree Unit: CTU)들로 분할될 수 있다.
상기 코딩 트리 유닛은 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 하나 또는 2 이상의 코딩 유닛(Coding Unit: CU)들로 분할될 수 있다.
코딩 유닛(CU)은 예측이 수행되는 기본 단위인 하나 또는 그 이상의 예측 유닛(Prediction unit: PU)들로 분할될 수 있다.
이 경우, 부호화 장치(10)는 상기 분할된 코딩 유닛(CU)들 각각에 대해 인터 예측과 인트라 예측 중 어느 하나를 예측 방법으로 결정하나, 각각의 예측 유닛(PU)에 대해 서로 다르게 예측 블록을 생성할 수 있다.
한편, 코딩 유닛(CU)은 잔차 블록(residual block)에 대한 변환이 수행되는 기본 단위인 하나 또는 2 이상의 변환 유닛(Transform Unit: TU)들로 분할될 수 있다.
이 경우, 픽쳐 분할부(110)는 상기와 같이 분할된 블록 단위(예를 들어, 예측 유닛(PU) 또는 변환 유닛(TU))로 영상 데이터를 감산부(190)에 전달할 수 있다.
도 2를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
상기 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 코딩 유닛(CU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.
코딩 유닛(CU)은 예측 모드에 따라 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.
인트라 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 3의 (a)에 도시된 2Nx2N 또는 도 3의 (b)에 도시된 NxN의 크기를 가질 수 있다.
한편, 인터 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 4의 (a)에 도시된 2Nx2N, 도 4의 (b)에 도시된 2NxN, 도 4의 (c)에 도시된 Nx2N, 도 4의 (d)에 도시된 NxN, 도 4의 (e)에 도시된 2NxnU, 도 4의 (f)에 도시된 2NxnD, 도 4의 (g)에 도시된 nLx2N 및 도 4의 (h)에 도시된 nRx2N 중 어느 하나의 크기를 가질 수 있다.
도 5를 참조하면, 코딩 유닛(CU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들로 분할될 수 있다.
상기 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 변환 유닛(TU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.
여기서, 코딩 유닛(CU)이 인터 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 예측 유닛(PU)와 변환 유닛(TU)은 서로 독립적인 분할 구조를 가질 수 있다.
코딩 유닛(CU)이 인트라 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 변환 유닛(TU)은 예측 유닛(PU)의 크기보다 클 수 없다.
또한, 상기와 같이 분할되는 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.
변환부(120)는 입력된 예측 유닛(PU)의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록 사이의 잔차 신호인 잔차 블록을 변환하며, 상기 변환은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.
상기 변환 과정에서 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있으며, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다.
변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있으며, 예를 들어 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정될 수 있다.
한편, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용할 수 있다.
또한, DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용할 수 있다.
그리고, 인트라 예측의 경우, 변환 유닛(TU)의 크기에 기초하여 변환 매트릭스가 적응적으로 결정될 수도 있다.
양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정하며, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 양자화 유닛별로 결정될 수 있다.
양자화 유닛의 크기는 8x8 또는 16x16일 수 있으며, 양자화부(130)는 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 변환 블록의 계수들을 양자화한다.
또한, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈 예측자로서 현재 양자화 유닛에 인접한 양자화 유닛의 양자화 스텝 사이즈를 이용할 수 있다.
양자화부(130)는 현재 양자화 유닛의 좌측 양자화 유닛, 상측 양자화 유닛, 좌상측 양자화 유닛 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 양자화 유닛의 양자화 스텝 사이즈 예측자를 생성할 수 있다.
예를 들어, 양자화부(130)는 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정하거나, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정하거나, 또는 1개의 양자화 스텝 사이즈만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다.
상기 양자화 스텝 사이즈 예측자가 결정되면, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈와 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부(140)로 전송한다.
한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않거나. 또는 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다.
따라서, 현재 코딩 유닛에 인접한 양자화 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 양자화 유닛의 양자화 스텝 사이즈가 후보자가 될 수 있다.
이 경우, 1) 현재 코딩 유닛의 좌측 양자화 유닛, 2) 현재 코딩 유닛의 상측 양자화 유닛, 3) 현재 코딩 유닛의 좌상측 양자화 유닛, 4) 부호화 순서상 바로 이전의 양자화 유닛 순서로 우선순위가 설정될 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 양자화 유닛은 생략될 수도 있다.
한편, 상기와 같이 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 전달된다.
스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환하며, 이 경우 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로 스캐닝 방식은 인트라 예측 모드에 따라 결정될 수 있다.
또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있고, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 이 경우 양자화 계수들의 스캔 순서는 역방향으로 스캔될 수 있다.
상기 양자화된 계수들이 복수의 서브셋(sub-set)들로 분할된 경우, 각각의 서브셋 내의 양자화 계수들에 동일한 스캔 패턴이 적용될 수 있으며, 서브셋 간의 스캔 패턴은 지그재그 스캔 또는 대각선 스캔이 적용될 수 있다.
한편, 상기 스캔 패턴은 DC를 포함하는 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다.
또한, 서브셋 내의 양자화된 계수들의 스캔 패턴과 동일하게 서브셋 간의 스캔 패턴을 설정할 수도 있으며, 서브셋 간의 스캔 패턴은 인트라 예측 모드에 따라 결정될 수 있다.
한편, 부호화 장치(10)는 상기 변환 유닛(PU) 내에서 0이 아닌 마지막 양자화 계수의 위치 및 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 비트스트림에 포함시켜 복호화 장치(20)로 전송할 수 있다.
역양자화부(135)는 상기와 같이 양자화된 양자화 계수를 역양자화하며, 역변환부(125)는 변환 유닛(TU) 단위로 역변환을 수행하여 상기 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원할 수 있다.
가산기(195)는 상기 역변환부(125)에 의해 복원된 잔차 블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 수신된 예측 블록을 합하여 복원 블록을 생성할 수 있다.
또한, 후처리부(170)는 복원된 픽쳐에 발생하는 블록킹 효과를 제거하기 위한 디블록킹(deblocking) 필터링 과정, 화소 단위로 원본 영상과의 차이 값을 보완하기 위한 샘플 적응적 오프셋(Sample Adaptive Offset : SAO) 적용 과정 및 코딩 유닛으로 원본 영상과의 차이 값을 보완하기 위한 적응적 루프 필터링(Adaptive Loof Filtering : ALF) 과정 등의 후처리를 수행할 수 있다.
디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛(PU) 또는 변환 유닛(TU)의 경계에 적용될 수 있다.
예를 들어, 디블록킹 필터링 과정은, 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함할 수 있다.
한편, 상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정될 수 있다.
상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다.
상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.
또한, 샘플 적응적 오프셋(SAO) 적용 과정은 디블록킹 필터가 적용된 영상 내의 화소와 원본 화소 간의 차이값(distortion)을 감소시키기 위한 것으로, 픽쳐 또는 슬라이스 단위로 샘플 적응적 오프셋(SAO) 적용 과정을 수행할지 여부가 결정될 수 있다.
픽쳐 또는 슬라이스는 복수의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있으며, 상기 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다.
예를 들어, 오프셋 타입이 에지 오프셋 타입일 경우, 각 화소가 속하는 에지 타입을 결정하여 이에 대응하는 오프셋을 적용하며, 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정될 수 있다.
적응적 루프 필터링(ALF) 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다.
픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(170)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장하며, 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다.
인터 예측부(160)는 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정할 수 있다.
이 경우, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록이 추출될 수 있다.
인트라 예측부(150)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행할 수 있다.
인트라 예측부(150)는 예측 부호화할 현재 예측 유닛을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행할 수 있다.
인트라 예측부(150)는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링하며, 참조 화소가 이용 가능하지 않은 경우 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.
엔트로피 부호화부(140)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(150)로부터 수신된 인트라 예측 정보, 인터 예측부(160)로부터 수신된 움직임 정보 등을 엔트로피 부호화할 수 있다.
도 6은 부호화 장치(10)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 인터 예측 부호화기는 움직임 정보 결정부(161), 움직임 정보 부호화 모드 결정부(162), 움직임 정보 부호화부(163), 예측 블록 생성부(164), 잔차 블록 생성부(165), 잔차 블록 부호화부(166) 및 멀티플렉서(167)를 포함하여 구성될 수 있다.
도 6을 참조하면, 움직임 정보 결정부(161)는 현재 블록의 움직임 정보를 결정하며, 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함하고, 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낼 수 있다.
현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타내며, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조 픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조 픽쳐 인덱스를 포함할 수 있다.
또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.
움직임 벡터는 각각의 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타내며, 상기 움직임 벡터는 화소 단위(정수 단위) 또는 서브 화소 단위일 수 있다.
예를 들어, 상기 움직임 벡터는 1/2, 1/4, 1/8 또는 1/16 화소의 정밀도를 가질 수 있으며, 움직임 벡터가 정수단위가 아닐 경우 예측 블록은 정수 단위의 화소들로부터 생성될 수 있다.
움직임 정보 부호화 모드 결정부(162)는 현재 블록의 움직임 정보에 대한 부호화 모드를 결정할 수 있으며, 부호화 모드는 스킵 모드, 머지 모드 및 AMVP 모드 중 어느 하나로 예시될 수 있다.
스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차 신호가 0인 경우에 적용되며, 상기 스킵 모드는 예측 유닛(PU)인 현재 블록이 코딩 유닛(CU)과 크기가 같을 때 적용될 수 있다.
머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용되며, 상기 머지 모드는 현재 블록이 코딩 유닛(CU)과 크기가 다르거나, 크기가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 한편, 머지 후보자와 스킵 후보자는 동일할 수 있다.
AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용되며, 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택할 수 있다.
다만, 상기 부호화 모드는 상기 예시된 방법 이외의 프로세스로서, 보다 세분화된 움직임 보상 예측 부호화 모드를 적응적으로 포함할 수 있다. 적응적으로 결정되는 움직임 보상 예측 모드는 전술한 AMVP 모드 및 머지 모드, 스킵 모드 뿐만 아니라, 현재 새로운 움직임 보상 예측 모드로 제안되고 있는 FRUC(FRAME RATE UP-CONVERSION) 모드, BIO(BI-DIRECTIONAL OPTICAL FLOW) 모드, AMP(AFFINE MOTION PREDICTION)모드, OBMC(OVERLAPPED BLOCK MOTION COMPENSATION) 모드, DMVR(DECODER-SIDE MOTION VECTOR REFINEMENT) 모드, ATMVP(Alternative temporal motion vector prediction) 모드, STMVP(Spatial-temporal motion vector prediction) 모드, LIC(Local Illumination Compensation) 모드 중 적어도 하나를 더 포함할 수 있으며, 사전 결정된 조건에 따라 블록 적응적으로 결정될 수 있다.
움직임 정보 부호화부(163)는 움직임 정보 부호화 모드 결정부(162)에 의해 결정된 방식에 따라 움직임 정보를 부호화할 수 있다.
예를 들어, 움직임 정보 부호화부(163)는 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행하며, AMVP 모드일 경우에는 AMVP 부호화 과정을 수행할 수 있다.
예측 블록 생성부(164)는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성하며, 움직임 벡터가 정수 단위일 경우 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.
한편, 움직임 벡터가 정수 단위가 아닌 경우, 예측 블록 생성부(164)는 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성할 수 있다.
이 경우, 휘도 화소에 대해 8탭의 보간 필터를 사용하여 예측 화소가 생성되며, 색차 화소에 대해서는 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.
잔차 블록 생성부(165)는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성하며, 현재 블록의 크기가 2Nx2N인 경우 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성할 수 있다.
한편, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우, 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록이 생성될 수 있다.
또한, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 크기의 잔차 블록이 생성될 수도 있으며, 2NxN 크기를 가지는 2개의 예측 블록들의 경계 부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들에 대해 오버랩 스무딩이 적용될 수 있다.
잔차 블록 부호화부(166)는 상기 잔차 블록을 하나 이상의 변환 유닛(TU)들로 분할하여, 각각의 변환 유닛(TU)이 변환 부호화, 양자화 및 엔트로피 부호화될 수 있다.
잔차 블록 부호화부(166)는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환할 수 있으며, 상기 변환 매트릭스는 정수기반 DCT 매트릭스일 수 있다.
한편, 잔차 블록 부호화부(166)는 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용하며, 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정될 수 있다.
상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되며, 현재 코딩 유닛(CU)이 상기 미리 정해진 크기보다 작은 경우 상기 미리 정해진 크기 내의 코딩 유닛(CU)들 중 부호화 순서상 첫번째 코딩 유닛(CU)의 양자화 파라미터만을 부호화하고 나머지 코딩 유닛(CU)의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화하지 않을 수 있다.
또한, 상기 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들이 양자화될 수 있다.
상기 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되는 양자화 파라미터는 현재 코딩 유닛(CU)에 인접한 코딩 유닛(CU)의 양자화 파라미터를 이용하여 예측 부호화될 수 있다.
현재 코딩 유닛(CU)의 좌측 코딩 유닛(CU), 상측 코딩 유닛(CU) 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛(CU)의 양자화 파라미터 예측자를 생성할 수 있다.
예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있으며, 또한 좌측 코딩 유닛(CU), 부호화 순서상 바로 이전의 코딩 유닛(CU) 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.
양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환되며, 스캐닝 방식은 엔트로피 부호화 모드에 따라 다르게 설정될 수 있다.
예를 들어, CABAC으로 부호화될 경우 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있으며, CAVLC으로 부호화될 경우 상기 방식과 다른 방식으로 스캐닝될 수 있다.
예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있으며, 계수 스캐닝 방식은 변환 단위의 크기에 따라 상이하게 결정될 수도 있다.
한편, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 양자화 계수들의 스캔 순서는 역방향으로 스캔 될 수 있다.
멀티플렉서(167)는 상기 움직임 정보 부호화부(163)에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부(166)에 의해 부호화된 잔차 신호들을 다중한다.
상기 움직임 정보는 부호화 모드에 따라 달라질 수 있으며, 예를 들어 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함하고, AMVP일 경우 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함할 수 있다.
이하, 도 1에 도시된 인트라 예측부(150)의 동작에 대한 일실시예를 상세히 설명하기로 한다.
먼저, 인트라 예측부(150)는 픽쳐 분할부(110)로부터 예측 모드 정보 및 예측 유닛(PU)의 크기를 수신하며, 예측 유닛(PU)의 인트라 예측 모드를 결정하기 위해 참조 화소를 픽쳐 저장부(180)로부터 읽어들일 수 있다.
인트라 예측부(150)는 이용 가능하지 않은 참조 화소가 존재하는지 여부를 검토하여 참조 화소 생성 여부를 판단하며, 상기 참조 화소들은 현재 블록의 인트라 예측 모드를 결정하는데 사용될 수 있다.
현재 블록이 현재 픽쳐의 상측 경계에 위치하는 경우에는 현재 블록의 상측에 인접한 화소들이 정의되지 않고, 현재 블록이 현재 픽쳐의 좌측 경계에 위치하는 경우에는 현재 블록의 좌측에 인접한 화소들이 정의되지 않으며, 상기 화소들은 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.
또한, 현재 블록이 슬라이스 경계에 위치하여 슬라이스의 상측 또는 좌측에 인접하는 화소들이 먼저 부호화되어 복원되는 화소들이 아닌 경우에도 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.
상기와 같이 현재 블록의 좌측 또는 상측에 인접한 화소들이 존재하지 않거나, 미리 부호화되어 복원된 화소들이 존재하지 않는 경우, 이용 가능한 화소들만을 이용하여 현재 블록의 인트라 예측 모드가 결정될 수도 있다.
한편, 현재 블록의 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소가 생성될 수도 있으며, 예를 들어 상측 블록의 화소들이 이용 가능하지 않은 경우 좌측 화소들의 일부 또는 전부를 이용하여 상측 화소들을 생성할 수 있고, 그 역으로도 가능하다.
즉, 이용 가능하지 않은 위치의 참조 화소로부터 미리 정해진 방향으로 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성되거나, 미리 정해진 방향에 이용 가능한 참조 화소가 존재하지 않는 경우 반대 방향의 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성될 수 있다.
한편, 현재 블록의 상측 또는 좌측 화소들이 존재하는 경우에도 상기 화소들이 속하는 블록의 부호화 모드에 따라 이용 가능하지 않은 참조 화소로 결정될 수 있다.
예를 들어, 현재 블록의 상측에 인접한 참조 화소가 속하는 블록이 인터 부호화되어 복원된 블록일 경우, 상기 화소들을 이용 가능하지 않은 화소들로 판단할 수 있다.
이 경우, 현재 블록에 인접한 블록이 인트라 부호화되어 복원된 블록에 속하는 화소들을 이용하여 이용 가능한 참조 화소들이 생성될 수 있으며, 부호화 장치(10)가 부호화 모드에 따라 이용 가능한 참조 화소를 판단한다는 정보를 복호화 장치(20)로 전송한다.
인트라 예측부(150)는 상기 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정하며, 현재 블록에 허용 가능한 인트라 예측 모드의 수는 블록의 크기에 따라 달라질 수 있다.
예를 들어, 현재 블록의 크기가 8x8, 16x16, 32x32인 경우에는 34개의 인트라 예측 모드가 존재할 수 있고, 현재 블록의 크기가 4x4인 경우에는 17개의 인트라 예측 모드가 존재할 수 있다.
상기 34개 또는 17개의 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수개의 방향성 모드들(directional 모드s)로 구성될 수 있다.
하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. DC 모드 및 플래너모드가 비방향성 모드로 포함되는 경우에는, 현재 블록의 크기에 관계없이 35개의 인트라 예측 모드가 존재할 수도 있다.
이 경우, 2개의 비방향성 모드(DC 모드 및 플래너 모드)와 33개의 방향성 모드가 포함될 수 있다.
플래너 모드의 경우, 현재 블록의 우하측(bottom-right)에 위치하는 적어도 하나의 화소값(또는 상기 화소값의 예측값, 이하 제1 참조값이라 함)과 참조 화소들을 이용하여 현재 블록의 예측 블록이 생성된다.
본 발명의 일실시예에 따른 영상 복호화 장치의 구성은 도 1 내지 도 6을 참조하여 설명한 영상 부호화 장치(10)의 구성으로부터 도출될 수 있으며, 예를 들어 도 1 내지 도 6을 참조하여 설명한 바와 같은 영상 부호화 방법의 과정들을 역으로 수행함으로써 영상을 복호화할 수 있다.
도 7은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것으로, 복호화 장치(20)는 엔트로피 복호화부(210), 역양자화/역변환부(220), 가산기(270), 후처리부(250), 픽쳐 저장부(260), 인트라 예측부(230), 움직임 보상 예측부(240) 및 인트라/인터전환 스위치(280)를 구비한다.
엔트로피 복호화부(210)는, 영상 부호화 장치(10)에서 부호화된 비트 스트림을 입력받아 복호화하여 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리하며, 복호화된 움직임 정보를 움직임 보상 예측부(240)로 전달한다.
엔트로피 복호화부(210)는 인트라 예측 모드 인덱스를 인트라 예측부(230)와 역양자화/역변환부(220)로 전달하여, 역양자화 계수 시퀀스를 역양자화/역변환부(220)로 전달한다.
역양자화/역변환부(220)는 상기 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환하며, 상기 변환을 위해 복수의 스캐닝 패턴들 중 하나를 선택할 수 있으며 예를 들어 현재 블록의 예측 모드(즉, 인트라 예측 또는 인터 예측)와 인트라 예측 모드에 기초하여 스캐닝 패턴을 선택할 수 있다.
역양자화/역변환부(220)는 2차원 배열의 역양자화 계수에 대해 복수의 양자화 매트릭스들 중에서 선택된 양자화 매트릭스를 적용하여 양자화 계수를 복원한다.
한편, 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스가 선택될 수 있다.
역양자화/역변환부(220)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원하며, 상기 역변환 과정은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.
가산기(270)는 역양자화/역변환부(220)에 의해 복원된 잔차 블록과 인트라 예측부(230) 또는 움직임 보상 예측부(240)에 의해 생성되는 예측 블록을 합하여 영상 블록을 복원한다.
후처리부(250)는 가산기(270)에 의해 생성된 복원 영상에 후처리를 수행하여, 필터링 등에 의해 양자화 과정에 따른 영상 손실에 기인하는 디블록킹 아티펙트 등을 감소시킬 수 있다.
픽쳐 저장부(260)는 후처리부(250)에 의해 필터 후처리가 수행된 로컬 복호 영상을 저장하기 위한 프레임 메모리이다.
인트라 예측부(230)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원하고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
움직임 보상 예측부(240)는 움직임 벡터 정보에 기초하여 픽쳐 저장부(260)에 저장된 픽쳐로부터 현재 블록에 대한 예측 블록을 생성하며, 소수 정밀도의 움직임 보상이 적용될 경우 선택된 보간 필터를 적용하여 예측 블록을 생성할 수 있다.
인트라/인터 전환 스위치(280)는 부호화 모드에 기초하여 인트라 예측부(230)와 움직임 보상 예측부(240)의 어느 하나에서 생성된 예측 블록을 가산기(270)에 제공할 수 있다.
도 8는 영상 복호화 장치(20)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 인터 예측 복호화기는 디멀티플렉서(241), 움직임 정보 부호화 모드 판단부(242), 머지 모드 움직임 정보 복호화부(243), AMVP 모드 움직임 정보 복호화부(244), 선택 모드 움직임 정보 복호화부(248), 예측블록 생성부(245), 잔차 블록 복호화부(246) 및 복원블록 생성부(247)를 포함한다.
도 8을 참조하면, 디-멀티플렉서(241)는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화하여, 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부(242)로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부(246)로 전송할 수 있다.
움직임 정보 부호화 모드 판단부(242)는 현재 블록의 움직임 정보 부호화 모드를 판단하며, 수신된 비트스트림의 skip_flag가 1의 값을 갖는 경우 현재 블록의 움직임 정보 부호화 모드가 스킵 부호화 모드로 부호화된 것으로 판단할 수 있다.
움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디-멀티블렉서(241)로부터 수신된 움직임 정보가 머지 인덱스만을 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 머지 모드로 부호화된 것으로 판단할 수 있다.
또한, 움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(241)로부터 수신된 움직임 정보가 참조 픽쳐 인덱스와 차분 움직임 벡터와 AMVP인덱스를 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 AMVP 모드로 부호화된 것으로 판단할 수 있다.
머지 모드 움직임 정보 복호화부(243)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 스킵 또는 머지 모드로 판단한 경우에 활성화되며, AMVP 모드 움직임 정보 복호화부(244)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 AMVP 모드로 판단한 경우에 활성화될 수 있다.
선택 모드 움직임 정보 복호화부(248)는 전술한 AMVP 모드, 머지 모드, 스킵 모드를 제외한 다른 움직임 보상 예측 모드 중 선택된 예측 모드로 움직임 정보를 복호화 처리할 수 있다. 선택 예측 모드는 AMVP 모드 대비 더 정밀한 움직임 예측 모드를 포함할 수 있으며, 미리 결정된 조건(예를 들어, 블록 크기 및 블록 분할 정보, 시그널링 정보 존재, 블록 위치 등)에 따라 블록 적응적으로 결정될 수 있다. 선택 예측 모드는 예를 들어, FRUC(FRAME RATE UP-CONVERSION) 모드, BIO(BI-DIRECTIONAL OPTICAL FLOW) 모드, AMP(AFFINE MOTION PREDICTION)모드, OBMC(OVERLAPPED BLOCK MOTION COMPENSATION) 모드, DMVR(DECODER-SIDE MOTION VECTOR REFINEMENT) 모드, ATMVP(Alternative temporal motion vector prediction) 모드, STMVP(Spatial-temporal motion vector prediction) 모드, LIC(Local Illumination Compensation) 모드 중 적어도 하나를 포함할 수 있다.
예측블록 생성부(245)는 머지 모드 움직임 정보 복호화부(243) 또는 AMVP 모드 움직임 정보 복호화부(244)에 의해 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다.
움직임 벡터가 정수 단위일 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록이 생성될 수 있다.
한편, 움직임 벡터가 정수 단위가 아닐 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들이 생성되며, 이 경우 휘도 화소의 경우에는 8탭의 보간 필터를 사용하고 색차 화소의 경우 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.
잔차 블록 복호화부(246)는 잔차 신호를 엔트로피 복호화하고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성하며, 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.
예를 들어, CABAC 기반으로 복호화된 경우 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식으로 상기 역스캐닝 방식이 적용될 수 있다. 또한, 예측 블록의 크기에 따라 상기 역스캐닝 방식이 상이하게 결정될 수도 있다.
잔차블록 복호화부(246)는 상기와 같이 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화하며, 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원할 수 있다. 여기서, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원될 수 있다.
잔차블록 복호화부(260)는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원한다.
복원블록 생성부(270)는 상기 예측블록 생성부(250)에 의해 생성된 예측 블록과 상기 잔차블록 복호화부(260)에 의하여 생성된 잔차 블록을 더하여 복원 블록을 생성한다.
이하, 현재 블록을 인트라 예측을 통해 복원하는 과정에 대한 일실시예를 도 7을 다시 참조하여 설명한다.
먼저, 수신된 비트스트림으로부터 현재 블록의 인트라 예측 모드가 복호화되며, 그를 위해 엔트로피 복호화부(210)는 복수의 인트라 예측 모드 테이블들 중 하나를 참조하여 현재 블록의 제1 인트라 예측 모드 인덱스를 복원할 수 있다.
상기 복수의 인트라 예측 모드 테이블들 부호화 장치(10)와 복호화 장치(20)가 공유하는 테이블로서, 현재 블록에 인접한 복수 블록들에 대한 인트라 예측 모드의 분포에 따라 선택된 어느 하나의 테이블이 적용될 수 있다.
예를 들어, 현재 블록의 좌측 블록의 인트라 예측 모드와 현재 블록의 상측 블록의 인트라 예측 모드가 동일하면 제1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 동일하지 않으면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수 있다.
또 다른 예로써, 현재 블록의 상측 블록과 좌측 블록의 인트라 예측 모드가 모두 방향성 예측 모드(directional intra prediction 모드)일 경우, 상기 상측 블록의 인트라 예측 모드의 방향과 상기 좌측 블록의 인트라 예측 모드의 방향이 소정 각도 이내이면 제 1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 소정 각도를 벗어나면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수도 있다.
엔트로피 복호화부(210)는 복원된 현재 블록의 제1 인트라 예측 모드 인덱스를 인트라 예측부(230)로 전송한다.
제1 인트라 예측 모드를 인덱스를 수신한 인트라 예측부(230)는, 상기 인덱스가 최소값을 가질 경우(즉, 0일 경우), 현재 블록의 최대 가능 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.
한편, 인트라 예측부(230)는, 상기 인덱스가 0 이외의 값을 가질 경우, 현재 블록의 최대 가능 모드가 나타내는 인덱스와 상기 제1 인트라 예측 모드 인덱스를 비교하고, 비교 결과 상기 제1 인트라 예측 모드 인덱스가 상기 현재 블록의 최대 가능 모드가 나타내는 인덱스보다 작지 않으면 상기 제1 인트라 예측 모드 인덱스에 1을 더한 제2 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정하고, 그렇지 않으면 상기 제1 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.
현재 블록에 허용 가능한 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수 개의 방향성 모드들(directional 모드s)로 구성될 수 있다.
하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. 또한, DC 모드와 플래너 모드 중 어느 하나가 적응적으로 상기 허용 가능한 인트라 예측 모드 셋에 포함될 수 있다.
이를 위해, 픽쳐 헤더 또는 슬라이스 헤더에 상기 허용 가능한 인트라 예측 모드 셋에 포함되는 비방향성 모드를 특정하는 정보가 포함될 수 있다.
다음으로, 인트라 예측부(230)는 인트라 예측 블록을 생성하기 위해, 참조 화소들을 픽쳐 저장부(260)로터 읽어들이고, 이용 가능하지 않은 참조 화소가 존재하는지 여부를 판단한다.
상기 판단은 현재 블록의 복호된 인트라 예측 모드를 적용하여 인트라 예측 블록을 생성하는데 이용되는 참조 화소들의 존재 여부에 따라 행해질 수도 있다.
다음으로, 인트라 예측부(230)는 참조 화소를 생성할 필요가 있을 경우에는 미리 복원된 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소들을 생성할 수 있다.
이용 가능하지 않은 참조 화소에 대한 정의 및 참조 화소의 생성 방법은 도 1에 따른 인트라 예측부(150)에서의 동작과 동일할 수 있으나, 현재 블록의 복호화된 인트라 예측 모드에 따라 인트라 예측 블록을 생성하는데 이용되는 참조 화소들이 선택적으로 복원될 수도 있다.
또한, 인트라 예측부(230)는 예측 블록을 생성하기 위해 참조 화소들에 필터를 적용할지 여부를 판단하며, 즉 현재 블록의 인트라 예측 블록을 생성하기 위하여 참조 화소들에 대해 필터링을 적용할지 여부를 상기 복호된 인트라 예측 모드 및 현재 예측 블록의 크기에 기초하여 결정할 수 있다.
블록킹 아티펙트의 문제는 블록의 크기가 커질수록 커지므로, 블록의 크기가 커질수록 참조 화소를 필터링하는 예측모드의 수를 증가시킬 수 있으나, 블록이 소정 크기보다 커지는 경우 평탄한 영역으로 볼 수 있으므로 복잡도 감소를 위해 참조 화소를 필터링하지 않을 수도 있다.
상기 참조 화소에 필터 적용이 필요하다고 판단된 경우, 인트라 예측부(230)는 필터를 이용하여 상기 참조 화소들을 필터링한다.
상기한 참조 화소들 간의 단차의 차이 정도에 따라 적어도 2개 이상의 필터를 적응적으로 적용할 수도 있다. 상기 필터의 필터계수는 대칭적인 것이 바람직하다.
또한, 상기한 2개 이상의 필터가 현재 블록의 크기에 따라 적응적으로 적용될 수도 있으며, 필터를 적용할 경우 크기가 작은 블록에 대해서는 대역폭이 좁은 필터가, 크기가 큰 블록들에 대해서는 대역폭이 넓은 필터가 적용될 수도 있다.
DC 모드의 경우에는 참조 화소들의 평균값으로 예측 블록이 생성되므로 필터를 적용할 필요가 없으며, 상이 수직 방향으로 연관성(correlation)이 있는 수직 모드에서는 참조 화소에 필터를 적용할 필요가 없고, 영상이 수평 방향으로 연관성이 있는 수평 모드에서도 참조 화소에 필터를 적용할 필요가 없을 수 있다.
이와 같이, 필터링의 적용 여부는 현재 블록의 인트라 예측 모드와도 연관성이 있으므로, 현재 블록의 인트라 예측 모드 및 예측 블록의 크기에 기초하여 참조 화소를 적응적으로 필터링할 수 있다.
다음으로, 인트라 예측부(230)는 상기 복원된 인트라 예측 모드에 따라 참조 화소 또는 필터링된 참조 화소들을 이용하여 예측 블록을 생성하며, 상기 예측 블록의 생성은 부호화 장치(10)에서의 동작과 동일할 수 있으므로, 그에 대한 상세한 설명은 생략하기로 한다.
인트라 예측부(230)는 상기 생성된 예측 블록을 필터링할지 여부를 판단하며, 상기 필터링 여부는 슬라이스 헤더 또는 부호화 유닛 헤더에 포함된 정보를 이용하거나 또는 현재 블록의 인트라 예측 모드에 따라 결정될 수 있다.
상기 생성된 예측 블록을 필터링할 것으로 판단할 경우, 인트라 예측부(230)는 현재 블록에 인접한 이용 가능한 참조 화소들을 이용하여 생성된 예측 블록의 특정 위치의 화소를 필터링하여 새로운 화소를 생성할 수 있다.
예를 들어, DC 모드에서는 예측 화소들 중 참조 화소들과 접하는 예측 화소는 상기 예측 화소와 접하는 참조 화소를 이용하여 필터링 될 수 있다.
따라서, 예측 화소의 위치에 따라 1개 또는 2개의 참조 화소를 이용하여 예측 화소가 필터링되며, DC 모드에서의 예측 화소의 필터링은 모든 크기의 예측 블록에 적용할 수 있다.
한편, 수직 모드에서는 예측 블록의 예측 화소들 중 좌측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 상측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.
마찬가지로, 수평 모드에서는 생성된 예측 화소들 중 상측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 좌측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.
이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원될 수 있다.
도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도시한 것이다.
도 9를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)은 먼저 쿼드 트리(quad tree) 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
여기서, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 이진 트리(binary tree) 구조로 나뉘어, 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 재 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 재 분할될 수도 있다.
그리고 상기 이진 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 이진 트리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조 또는 이진 크리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 코딩 유닛(CU)들로 분할될 수도 있다.
상기와 같이 이진 트리 구조로 분할되어 구성된 CU들은 들은, 더 이상 분할되지 않고, 예측 및 변환에 이용될 수 있다. 이때, 이진 분할된 CU는 실제 부/복호화를 수행하는 블록 단위인 코딩 블록(Coding block: CB)과 해당 코딩 블록에 해당되는 신택스를 포함할 수 있다. 즉, 도 9에 도시된 바와 같은 코딩 블록(CB)에 속하는 예측 유닛(PU)과 변환 유닛(TU)의 크기는, 해당 코딩 블록(CB)의 크기와 동일할 수 있다.
상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 3 및 도 4를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.
또한, 상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 5를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 변환 유닛(TU)들로 분할될 수 있으며, 상기 분할된 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.
도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 것이다.
도 10 및 도 9를 참조하면, 본 발명의 실시 예에 따른 블록 구조(block structure)는 쿼드 트리 분할 여부를 나타내는 split_cu_flag와 이진 트리 분할 여부를 나타내는 binary_split_flag를 통해 결정될 수 있다.
예를 들어, 앞서 설명한 바와 같은 코딩 유닛(CU)의 분할 여부는 split_cu_flag를 이용하여 나타낼 수 있다. 그리고, 쿼드 트리 분할 이후 이진 분할된 CU에 대응하여, 이진 분할 여부를 나타내는 binary_split_flag 및 분할된 방향을 나타내는 신택스가 결정될 수 있다. 이 때, 이진 분할의 방향성을 나타내는 방법으로서, binary_split_hor과 binary_split_ver과 같이 복수개의 신택스를 복호화하여 이에 기초한 분할 방향을 결정하는 방법 또는 binary_split_mode와 같이 하나의 신택스와 이에 따른 신호 값을 복호화하여 Horizontal(0) 또는 Vertical(1) 방향으로의 분할을 처리하는 방법이 예시될 수 있다.
본 발명에 따른 또 다른 실시예로써, 이진 트리를 이용하여 분할되는 코딩 유닛(CU)의 깊이는 binary_depth를 이용하여 나타내어질 수 있다.
도 9 및 도 10을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.
이하에서는, 도 11 내지 도 16을 참조하여, 코딩 유닛(CU)을 하나 또는 2 이상의 변환 유닛(TU)들로 분할하는 방법에 대한 또 다른 실시예들을 설명하기로 한다.
본 발명의 실시예에 따르면, 코딩 유닛(CU)은 이진 트리 구조로 나뉘어 잔차 블록에 대한 변환이 수행되는 기본 단위인 변환 유닛(TU)들로 분할될 수 있다.
예를 들어, 도 11을 참조하면, 이진 트리 구조로 분할되어 Nx2N 또는 2NxN의 크기를 가지는 직사각형의 코딩 블록들(CU0, Cu1) 중 적어도 하나는, 다시 이진 트리 구조로 나뉘어, NxN의 크기를 가지는 정사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.
상기한 바와 같이, 블록 기반의 영상 부호화 방법은, 예측, 변환, 양자화 및 엔트로피 부호화 단계들을 수행할 수 있다.
상기 예측 단계에서는, 현재 부호화를 수행하는 블록과 기존의 부호화된 영상 또는 주변 영상을 참조하여 예측 신호를 생성하며, 이를 통해 현재 블록과의 차분 신호를 계산할 수 있다.
한편, 변환 단계에서는, 상기 차분 신호를 입력으로 하여 다양한 변환 함수를 이용하여 변환을 수행하며, 상기 변환된 신호는 DC 계수와 AC 계수들로 분류되 에너지 집중(Energy compaction)되어 부호화 효율이 향상될 수 있다.
또한, 양자화 단계에서는 변환 계수(Transform coefficient)들을 입력으로 양자화가 수행하며, 이후 양자화된 신호에 대해 엔트로피 부호화가 수행됨으로써 영상이 부호화될 수 있다.
한편, 영상 복호화 방법은 상기와 같은 부호화 과정의 역순으로 진행되며, 영상의 화질 왜곡 현상이 양자화 단계에서 발생할 수 있다.
부호화 효율을 향상시키면서 화질 왜곡 현상을 줄이기 위한 방법으로서, 변환 단계에서 입력으로 들어오는 차분 신호의 분포 및 영상의 특징에 따라 변환 유닛(TU)의 크기 또는 모양과 적용되는 변환 함수 종류를 다양하게 할 수 있다.
예를 들어, 예측 단계에서 블록 기반 움직임 추정 과정을 통해 현재 블록과 유사한 블록을 찾는 경우, SAD(Sum of Absolute Difference) 또는 MSE(Mean Square error) 등과 같은 코스트(cost) 측정 방법을 이용하여, 차분 신호의 분포는 영상의 특성에 따라 다양한 형태로 생길 수 있다.
그에 따라, 다양한 차분 신호의 분포에 기초해 선택적으로 변환 유닛(CU)의 크기 또는 모양을 결정하여 변환을 수행함으로써, 효과적인 부호화가 수행될 수 있다.
도 12를 참조하면, 임의의 코딩 유닛(CUx) 에서 (a)에 도시된 바와 같이 차분 신호가 발생하는 경우, (b)에 도시된 바와 같이 해당 코딩 유닛(CUx)을 이진 트리 구조로 나누어 2개의 변환 유닛(TU)들로 분할함으로써 효과적인 변환이 수행되도록 할 수 있다.
예를 들어, DC 값은 일반적으로 입력 신호의 평균값을 나타낸다고 말할 수 있으므로, 도 12의 (a)에 도시된 바와 같은 차분 신호가 변환 과정의 입력으로 수신되는 경우, 코딩 유닛(CUx)을 2개의 변환 유닛(TU)들로 분할함으로써 효과적으로 DC 값을 나타낼 수 있다.
도 13을 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 유닛(CU0)이 이진 트리 구조로 나뉘어, Nx2N 또는 2NxN의 크기를 가지는 직사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기한 바와 같이 코딩 유닛(CU)을 이진 트리 구조로 분할하는 단계를 2회 이상 반복해 수행하여, 복수의 변환 유닛(TU)들로 분할할 수 있다.
도 14를 참조하면, Nx2N의 크기를 가지는 직사각형의 코딩 블록(CB1)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN 또는 NxN/2의 크기를 가지는 직사각형의 블록을 구성한 후, 상기 N/2xN 또는 NxN/2의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU4, TU5)로 분할할 수 있다.
도 15를 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 유닛(CU0)을 이진 트리 구조로 분할하고, 상기 분할된 Nx2N의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 NxN의 크기를 가지는 정사각형의 블록을 구성한 후, 상기 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN의 크기를 가지는 직사각형의 변환 유닛들(TU1, TU2)로 분할할 수 있다.
도 16을 참조하면, 2NxN의 크기를 가지는 직사각형의 코딩 유닛(CU0)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 쿼드 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU3, TU4)로 분할할 수 있다.
도 11 내지 도 16을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.
이하에서는, 본 발명에 따른 부호화 장치(10)가 블록 분할 구조를 결정하는 방법에 대한 실시예들에 대해 설명한다.
영상 부호화 장치(10)에 구비된 픽쳐 분할부(110)는 미리 설정된 순서에 따라 RDO(Rate distortion Optimization)를 수행하여, 상기한 바와 같이 분할 가능한 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU)의 분할 구조를 결정할 수 있다.
예를 들어, 블록 분할 구조를 결정하기 위해, 픽쳐 분할부(110)는 RDO-Q(Rate distortion Optimization- Quantization)를 수행하면서 비트율(bitrate)와 왜곡(distortion) 측면에서 최적의 블록 분할 구조를 결정할 수 있다.
도 17을 참조하면, 코딩 유닛(CU)이 2Nx2N 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 2Nx2N 픽셀 크기, (b)에 도시된 NxN 픽셀 크기, (c)에 도시된 Nx2N 픽셀 크기, (d)에 도시된 2NxN 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.
도 18을 참조하면, 코딩 유닛(CU)이 Nx2N 또는 2NxN 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 Nx2N(또는, 2NxN)의 픽셀 크기, (b)에 도시된 NxN의 픽셀 크기, (c)에 도시된 N/2xN(또는, NxN/2)와 NxN의 픽셀 크기, (d)에 도시된 N/2xN/2, N/2xN 및 NxN의 픽셀 크기, (e)에 도시된 N/2xN의 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.
상기에서는 RDO(Rate distortion Optimization)를 수행하여 블록 분할 구조가 결정되는 것을 예로 들어 본 발명의 블록 분할 방법을 설명하였으나, 픽쳐 분할부(110)는 SAD(Sum of Absolute difference) 또는 MSE(Mean Square Error)를 이용하여 블록 분할 구조를 결정함으로써 복잡도를 감소시키면서도 적절한 효율을 유지할 수 있다.
본 발명의 일실시예에 따르면, 상기한 바와 같이 분할된 코딩 유닛(CU), 예측 유닛(PU) 또는 변환 유닛(TU) 단위로 적응적 루프 필터링(Adaptive Loof Filtering: ALF)의 적용 여부가 결정될 수 있다.
예를 들어, 적응적 루프 필터(ALF)의 적용 여부는 코딩 유닛(CU) 단위로 결정될 수 있으며, 코딩 유닛(CU)에 따라 적용될 루프 필터의 크기 또는 계수는 달라질 수 있다.
이 경우, 코딩 유닛(CU) 별 상기 적응적 루프 필터(ALF)의 적용 여부를 나타내는 정보가 각 슬라이스 헤더에 포함될 수 있다.
색차 신호의 경우, 픽쳐 단위로 적응적 루프 필터(ALF)의 적용 여부를 결정할 수도 있으며, 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.
또한, 상기 적응적 루프 필터링(ALF)은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링(ALF)이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있다.
현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함할 수 있다.
슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있으며, 필터 세트의 수가 2 이상인 경우 필터 계수들이 예측 방법을 사용하여 부호화 될 수 있다.
따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화 되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함할 수 있다.
한편, 휘도 뿐만 아니라, 색차 성분들도 적응적으로 필터링 될 수 있으며, 이 경우 색차 성분 각각이 필터링 되는지 여부를 나타내는 정보가 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있으며 비트 수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보와 함께 조인트 코딩(즉, 다중화 코딩)될 수 있다.
이 때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.
그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.
도 19내지 도 29는 본 발명의 다른 일 실시 예에 따른 복합 분할 구조를 설명하기 위한 도면들이다.
예를 들어, 도 19를 참조하면, 코딩 유닛(CU)이 이진 트리 구조로 분할됨에 따라, 도 19(A)와 같은 가로 길이 W가 세로 길이 H보다 긴 형태의 직사각형과, 도 19(B)와 같이 세로 길이 H가 가로 길이 W보다 긴 형태의 직사각형으로 분할된 코딩 유닛(CU)의 형태가 나타날 수 있다. 이와 같이 특정 방향의 길이가 긴 코딩 유닛의 경우, 중간 영역에 비하여 가장자리 좌우 또는 상하 경계 영역이 상대적으로 부호화 정보가 집중될 가능성이 높다.
따라서, 보다 정밀하고 효율적인 부호화 및 복호화를 위하여, 본 발명의 실시 예에 따른 부호화 장치(10)는 쿼드 트리 및 이진 트리 분할에 의해, 특정 방향 길이가 길게 분할된 코딩 유닛의 가장자리 영역 등을 용이하게 분할하게 할 수 있는 삼진 트리(ternary tree) 또는 삼중 트리(triple tree) 구조로 코딩 유닛을 분할할 수 있다.
예를 들어, 도 19(A)는 분할 대상 코딩 유닛이 수평 분할된 코딩 유닛인 경우, 가로 W/8, 세로 H/4 길이인 좌측 가장자리의 제1 영역과, 가로 W/8*6, 세로 H/4 길이로서, 중간 영역인 제2 영역과, 가로 W/8, 세로 H/4 길이의 우측 가장자리의 제3 영역으로 삼진 분할될 수 있음을 나타내고 있다.
또한, 도 19(B)는 분할 대상 코딩 유닛이 수직 분할된 코딩 유닛인 경우, 가로 W/4, 세로 H/8 길이인 상단 가장자리의 제1 영역과, 가로 W/4, 세로 H/8*6 길이로서, 중간 영역인 제2 영역과, 가로 W/4, 세로 H/8 길이의 하단 가장자리의 제3 영역으로 분할될 수 있음을 나타내고 있다.
그리고, 본 발명의 실시 예에 따른 부호화 장치(10)는, 픽쳐 분할부(110)를 통해 이와 같은 삼진 트리 구조의 분할을 처리할 수 있다. 이를 위해, 픽쳐 분할부(110)는 전술한 쿼드 트리 및 이진 트리 구조로의 분할을 부호화 효율에 따라 결정할 수 있을 뿐만 아니라, 삼진 트리 구조를 함께 고려하여 세분화된 분할 방식을 세부적으로 결정할 수 있다.
여기서, 삼진 트리 구조의 분할은 별도 제한 없이 모든 코딩 유닛에 대해 처리될 수 있다. 그러나, 전술한 바와 같이 부호화 및 복호화 효율을 고려하면, 특정 조건의 코딩 유닛에 대하여만 삼진 트리 구조를 허용하는 것이 바람직할 수 있다.
또한, 삼진 트리 구조는 코딩 트리 유닛에 대한 다양한 방식의 삼진 분할이 필요할 수 있으나, 부호화 및 복호화 복잡도 및 시그널링에 의한 전송 대역폭을 고려하여, 최적화된 소정 형태만이 허용되는 것이 바람직할 수 있다.
따라서, 픽쳐 분할부(110)는 현재 코딩 유닛의 분할을 결정함에 있어서, 현재 코딩 유닛이 미리 설정된 조건에 대항하는 경우에만 특정 형태의 삼진 트리 구조로의 분할여부를 판단 및 결정할 수 있다. 또한, 이와 같은 삼진 트리의 허용에 따라, 바이너리 트리의 분할 비율도 1:1만이 아닌 3:1, 1:3 등으로 확장 및 가변될 수 있다. 따라서, 본 발명의 실시 예에 따른 코딩 유닛의 분할 구조는 비율에 따라 쿼드 트리, 이진 트리 또는 삼진 트리로 세분화 분할되는 복합 트리 구조를 포함할 수 있다.
예를 들어, 픽쳐 분할부(110)는 상기한 분할 테이블에 기초하여, 분할 대상 코딩 유닛의 복합 분할 구조를 결정할 수 있다.
본 발명의 실시 예에 따르면, 픽쳐 분할부(110)는 블록의 최대 사이즈(예를 들어, 픽셀 기반 128 x 128, 256 x 256 등)에 대응하여, 쿼드 트리 분할을 처리하고, 쿼드 트리 분할된 단말 노드에 대응하는 이중 트리 구조 및 삼중 트리 구조 분할 중 적어도 하나를 처리하는 복합 분할 처리를 수행할 수 잇다.
특히, 본 발명의 실시 예에 따르면 픽쳐 분할부(110)는 분할 테이블에 따라, 현재 블록의 특성 및 사이즈에 대응하는 이진 트리 분할인 제1 이진 분할(BINARY 1), 제2 이진 분할(BINARY 2)과, 삼진 트리 분할인 제1 삼진 분할(TRI 1) 또는 제2 삼진 분할(TRI 2) 중 어느 하나의 분할 구조를 결정할 수 있다.
여기서, 제1 이진 분할은 N:N의 비율을 갖는 수직 또는 수평 분할에 대응할 수 있으며, 제2 이진 분할은 3N:N 또는 N:3N의 비율을 갖는 수직 또는 수평 분할에 대응될 수 있고, 각 이진 분할된 root CU는 분할 테이블에 명시된 각 사이즈의 CU0 및 CU1으로 분할될 수 있다.
한편, 제1 삼진 분할은 N:2N:N의 비율을 갖는 수직 또는 수평 분할에 대응할 수 있으며, 제2 삼진 분할은 N:6N:N의 비율을 갖는 수직 또는 수평 분할에 대응될 수 있고, 각 삼진 분할된 root CU는 분할 테이블에 명시된 각 사이즈의 CU0, CU1 및 CU2로 분할될 수 있다.
다만, 본 발명의 실시 예에 따른 픽쳐 분할부(110)는, 상기 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 또는 제2 삼진 분할을 적용하기 위한 최대 코딩 유닛 크기 및 최소 코딩 유닛 크기를 각각 설정할 수 있다.
이는, 최소 크기, 예를 들어 2 이하의 가로 또는 세로 픽셀을 갖는 블록에 대응하는 부호화 및 복호화 처리를 수행하는 것은 복잡도 측면에서 비효율적일 수 있게 때문이며, 따라서, 본 발명의 실시 예에 따른 분할 테이블은 각 코딩 유닛의 사이즈별 허용 가능한 분할 구조를 사전 정의할 수 있다.
이에 따라, 픽쳐 분할부(110)는 최소 크기, 예를 들어 4 미만의 사이즈로서 가로 또는 세로 픽셀 사이즈가 2인 경우로 분할되는 경우등을 사전 방지할 수 있으며, 이를 위해, 분할 대상 블록의 사이즈로부터 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 또는 제2 삼진 분할에 대응하는 허용 여부를 미리 판단하고, 허용 가능한 분할 구조에 대응하는 RDO 성능 연산을 처리 비교하여 최적의 분할 구조를 결정할 수 있다.
예를 들어, 최대 크기의 루트 코딩 유닛 CU 0가 이진 분할된 경우, 이진 분할 구조는 1:1, 3:1 또는 1:3 수직 분할 중 어느 하나의 구조를 구성하는 CU0, CU1으로 분할될 수 있고, 삼진 분할 구조는 1:2:1 또는 1:6:1 수직 분할 중 어느 하나의 구조를 구성하는 CU0, CU1 및 CU2로 분할 될 수 있다.
분할 대상 코딩 유닛의 사이즈에 따라, 허용 가능한 수직 분할 구조가 제한적으로 결정될 수 있다. 예를 들어, 64X64 코딩 유닛 및 32X32 코딩 유닛의 수직 분할구조는 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할이 모두 허용될 수 있으나, 16X16 코딩 유닛의 수직 분할 구조 중 제2 삼진 분할은 불가능한 것으로 제한될 수 있다. 또한, 8X8 코딩 유닛의 수직 분할 구조는 제1 이진 분할만이 제한적으로 허용될 수도 있다. 이에 따라 복잡성을 야기시키는 최소 크기 미만의 블록으로의 분할은 사전에 방지될 수 있다.
마찬가지로, 최대 크기의 루트 코딩 유닛 CU 0가 이진 분할된 경우, 이진 분할 구조는 1:1, 3:1 또는 1:3 수평 분할 중 어느 하나의 구조를 구성하는 CU0, CU1으로 분할될 수 있고, 삼진 분할 구조는 1:2:1 또는 1:6:1 수평 분할 중 어느 하나의 구조를 구성하는 CU0, CU1 및 CU2로 분할 될 수 있다.
분할 대상 코딩 유닛의 사이즈에 따라, 허용 가능한 수평 분할 구조가 제한적으로 결정될 수 있다. 예를 들어, 64X64 코딩 유닛 및 32X32 코딩 유닛의 수평 분할구조는 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할이 모두 허용될 수 있으나, 16X16 코딩 유닛의 수평 분할 구조 중 제2 삼진 분할은 불가능한 것으로 제한될 수 있다. 또한, 8X8 코딩 유닛의 수평 분할 구조는 제1 이진 분할만이 제한적으로 허용될 수도 있다. 이에 따라 복잡성을 야기시키는 최소 크기 미만의 블록으로의 분할은 사전에 방지될 수 있다.
한편, 픽쳐 분할부(110)는 분할 테이블에 따라, 수직 분할된 코딩 유닛을 제1 이진 분할 또는 제2 이진 분할로 수평 분할 처리하거나, 제1 삼진 분할 또는 제2 삼진 분할로 수평 분할 처리할 수 있다.
예를 들어, 32X64 로 수직 분할된 코딩 유닛에 대응하여, 픽쳐 분할부(110)는 제1 이진 분할에 따라 32X32의 CU0, CU1으로 분할하거나, 제2 이진 분할에 따라 32X48, 32X16의 C0, CU1으로 분할하거나, 제1 삼진 분할에 따라, 32X32, 32X16, 32X16의 CU0, CU1, CU2로 분할하거나, 제2 삼진 분할에 따라 32X8, 64X48, 32X8의 CU0, CU1, CU2로 분할할 수 있다.
또한, 픽쳐 분할부(110)는 수평 분할된 코딩 유닛을 제1 이진 분할 또는 제2 이진 분할로 수직 분할 처리하거나, 제1 삼진 분할 또는 제2 삼진 분할로 수직 분할 처리할 수 있다.
예를 들어, 32X16 으로 수평 분할된 코딩 유닛에 대응하여, 픽쳐 분할부(110)는 제1 이진 분할에 따라 16X16의 CU0, CU1으로 분할하거나, 제2 이진 분할에 따라 24X16 8X16의 C0, CU1으로 분할하거나, 제1 삼진 분할에 따라, 8X16, 16X16, 8X16의 CU0, CU1, CU2로 분할하거나, 제2 삼진 분할에 따라 4X16, 24X16, 4X16의 CU0, CU1, CU2로 분할할 수 있다.
이러한 분할 허용 구조는 CTU의 크기, CTU 그룹 단위 및 슬라이스 단위와, 수직 및 수평 방향별로 상이하게 조건부로 결정될 수 있는 바, 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할 처리되는 경우의 각 CU 분할 비율 및 결정 크기 정보가 분할 테이블에 의해 정의되거나, 조건 정보가 미리 설정될 수 있다.
한편, 도 20 내지 도 21은 분할 대상 코딩 유닛에 대응하는 수평 및 수직 분할에 대해, 균등(symmetric) 분할 및 비균등(asymmetric) 분할이 수행되는 것을 나타낸다.
먼저, 도 20(A) 및 도 20(B)에 도시된 바와 같이, 분할 대상 코딩 유닛은 균등한 수평 또는 수직 분할로서 분할될 수 있다. 그러나, 균등분할은 높은 예측 값이 집중되는 영역이 일부 경계영역에만 존재하는 등의 상황에 있어서 매우 비효율적인 예측 방법일 수 있다. 이에 따라, 본 발명의 실시 예에 다른 픽쳐 분할부(110)는, 도 20(C)에 도시된 바와 같은 일정 비율에 따라 비균등하게 분할된 비균등 분할을 조건부로 허용할 수 있다.
예를 들어, 이진 균등 분할이 Binary: 1:1 인 경우, 비균등 분할은 Asymmetric Binary: (1/3, 2/3), (1/4, 3/4), (2/5, 3/5), (3/8, 5/8), (1/5, 4/5)과 같이 그 비율이 결정될 수 있다.
이는 삼진 분할의 경우에도 마찬가지로서, 도 21은 각 분할 비율에 따라 결정되는 균등 삼진 분할을 예시한다. 예를 들어, 도 21(A)은 수평 균등 삼진 분할, 도 21(B)는 수평 비균등 삼진 분할, 도 21(C)는 수직 균등 삼진 분할, 도 21(D)는 수직 비균등 삼진 분할일 수 있다.
예를 들어, 삼진 균등 분할이 1:2:1 인 경우, 비균등 분할은 1:6:1과 같이 그 비율이 가변적으로 결정될 수 있다.
이에 따라, 각 케이스별로, 이진 균등 분할, 이진 비균등 분할, 삼진 균등 분할, 삼진 비균등 분할시의 대상 블록의 사이즈에 다른 분할 비율을 예시하는 분할 테이블이 지정될 수 있다. 분할 테이블에 따라, 각 루트 노드인 블록에 대응하는 블록 크기에 대응하여, 이진 수직 분할, 비균등 이진 수직 분할, 이진 수평 분할, 비균등 이진 수평 분할, 삼진 수직 분할, 비균등 삼진 수직 분할, 삼진 수평 분할, 비균등 삼진 수평 분할시의 분할 비율 또는 분할 크기가 적응적으로 결정될 수 있다.
이에 따라, 본 발명의 실시 예에 따른 부호화 장치(10)는, 픽쳐 분할부(110)를 통해 이와 같은 이진 트리 및 삼진 트리 구조의 균등 분할 및 비균등 분할을 처리할 수 있다. 이를 위해, 픽쳐 분할부(110)는 전술한 쿼드 트리 및 이진 트리 구조로의 분할을 부호화 효율에 따라 결정할 수 있을 뿐만 아니라, 삼진 트리 구조를 함께 고려할 수 있으며, 이에 대응한 균등 또는 비균등 분할을 포함하는 세분화된 분할 방식을 상세하게 결정할 수 있다.
여기서, 균등 또는 비균등의 분할은 부호화 및 복호화 효율을 고려하면, 특정 조건의 코딩 유닛에 대하여 명시적 또는 묵시적으로 허용하는 것이 바람직할 수 있다.
또한, 균등 또는 비균등 분할 구조는 코딩 트리 유닛에 대한 다양한 방식의 분할 구조가 필요할 수 있으나, 부호화 및 복호화 복잡도 및 시그널링에 의한 전송 대역폭을 고려하여, 최적화된 소정 형태만이 허용되는 것이 바람직할 수 있다.
따라서, 픽쳐 분할부(110)는 현재 코딩 유닛의 분할을 결정함에 있어서, 현재 코딩 유닛이 미리 설정된 조건에 대응하는 경우에만 특정 형태의 균등 또는 비균등 이진/삼진 트리 구조로의 분할여부를 판단 및 결정할 수 있다. 또한, 이와 같은 균등 또는 비균등 이진/삼진 트리의 허용에 따라, 각 방향별 분할 비율도 1:1만이 아니라, 길이N에 대응한 비율 기반으로 확장 및 가변될 수 있다. 따라서, 본 발명의 실시 예에 따른 코딩 유닛의 분할 구조는 비율에 따라 쿼드 트리, 균등 (수평/수직) 이진 트리, 비균등 (수평/수직) 이진 트리, 균등 (수평/수직) 삼진 트리 또는 비균등 (수평/수직) 삼진 트리로 세분화 분할되는 복합 트리 구조를 포함할 수 있다.
한편, 도 22 내지 도 25는 본 발명의 실시 예에 따른 복합 분할 처리 프로세스에 있어서, 이진 또는 삼진분할에 대한 삼각 분할이 처리되는 경우의 분할 구조를 설명하기 위한 도면들이다.
도 22 내지 도 25를 참조하면, 수평 또는 수직 분할과 달리, 삼각 분할의 경우 전체 블록을 대각선으로 분할하는 분할 구조를 포함할 수 있다. 도 22(A)과 도22 (B)의 경우 이진 삼각 분할을 나타내며, 도 22(C)과 도22 (D)의 경우 삼진 삼각 분할을 나타낼 수 있다.
또한, 도 23 및 도 24에 도시된 바와 같이, 각 이진 삼각 및 삼진 삼각 분할의 경우에도 전술한 비균등 분할 또는 균등 분할 처리가 가능할 수 있다. 도 23(A)는 블록의 수평 비균등 이진 삼각 분할을 나타내며, 도 23(B)는 블록의 수평 균등 이진 삼각 분할을 나타내고, 도 24(A)는 블록의 수직 비균등 이진 삼각 분할을 나타내고, 도 24(B)는 블록의 수직 균등 이진 삼각 분할을 나타낸다.
또한, 도 25(A)내지(D)에 도시된 바와 같이, 각 제1 방향 또는 제2 방향으로의 수평 또는 수직 삼각 분할이 가능할 수 있다.
한편, 상기 도 22 내지 25에 따른 블록의 삼각 분할 방식은 상기 코딩 유닛(CU)의 블록 분할 프로세스와는 독립적으로, 움직임 보상 예측부(240)의 화면 간 예측에 따른 움직임 보상을 수행하기 위한 블록 단위로도 이용될 수 있다.
보다 상세하게는, 코딩 유닛(CU)의 블록 분할 형태가 쿼드 트리, 이진 트리, 삼진 트리(Ternary Tree)등으로 다양하게 결정될 수 있는 상태에서, 움직임 보상 예측부(240)는 상기 결정된 CU 블록 내에서의 화면 간 예측에 따른 움직임 보상을 수행할 때, 전술한 도 22 내지 도 25에 따른 삼각 분할 블록 형태를 이용한 블록 단위 움직임 보상을 수행할 수 있다.
이를 위해, 부호화 장치(10)에서는 직사각형 또는 정사각형의 형태로 분할된 코딩 유닛(CU) 블록에 대한 화면 간 예측에 따른 움직임 보상을 수행하는 경우, 현재 부호화 대상 코딩 유닛(CU)에 대한 이진/삼진 형태의 수직/수평 삼각 블록 분할을 수행하고, 각 분할된 블록별 움직임 보상 방법 및 움직임 보상 블록의 모양을 세분화하여 결정할 수 있다.
따라서, 복호화 장치(20)에서는 현재 복호화를 수행하는 코딩 유닛 블록에 대한 움직임 보상 블록의 모양 및 크기를 각각 결정할 수 있다. 예를 들어, 움직임 보상 예측부(240)는 현재 코딩 유닛의 블록과 동일한 형태 및 크기로 움직임 보상을 수행할지, 또는 전술한 이진/삼진 형태의 수직/수평 삼각 블록 분할된 블록 단위에 따라 움직임 보상을 수행할지를 결정할 수 있다.
또한, 이와 같은 이진/삼진 형태의 수직/수평 삼각 블록 분할된 블록 단위에 따라, 움직임 보상 블록 모양 및 형태를 나타내는 움직임 보상 블록 시그널링 정보가 부호화 장치(10)에서 생성될 수 있으며, 복호화 장치(20)는 움직임 보상 블록 시그널링 정보를 획득하고, 상기 움직임 보상 블록 시그널링 정보로부터 이진/삼진 형태의 수직/수평 삼각 블록 분할된 블록 단위에 따라, 움직임 보상 블록 모양 및 형태를 결정할 수 있다.
이와 같은 움직임 보상 블록 시그널링 정보는 예를 들어, 비트스트림의 특정 헤더 신택스 내에 포함될 수 있으며, 각 블록 단위의 모양, 형태 또는 크기를 나타내는 하나 이상의 플래그 정보를 포함할 수 있다.
픽쳐 분할부(110)는 전술한 부호화 및 복호화 효율을 고려하여, 전술한 이진 트리 및 삼진 트리 방식에 대응하여, 삼각 분할이 가능한 복합 트리 구조를 적용함으로써 그 효율을 더욱 향상시킬 수 있다. 삼각 분할 방식별 분할 비율 또한 별도의 분할 테이블에 조건부로 정의될 수 있다.
이와 같은 분할 처리에 따라, 이진 트리 및 삼진 트리를 이용한 세분화된 분할 및 균등 또는 비균등 분할을 조건부로 허용함으로써, 그 코딩 유닛에 특성에 맞는 적절한 비율의 분할이 가능하게 되며 이에 따른 부호화 효율은 향상될 수 있다
또한, 이러한 이진 트리 및 삼진 트리를 이용한 세분화된 분할 및 균등 또는 비균등 분할에 의해 복잡화되는 움직임 정보 결정이 선택적이고 효율적으로 처리될 수 있도록, 후술하는 움직임 정보 결정 및 예측 프로세스가 제공될 수 있다.
도 26은 본 발명의 실시 예에 따른 움직임 정보 결정부를 보다 구체적으로 도시한 블록도이다.
도 26을 참조하면, 본 발명의 실시 예에 따른 부호화 장치(10)의 인터 예측부(160)는 움직임 정보 결정부(161)에서의 움직임 정보 결정을 위한 추적 움직임 정보 예측 리스트 구성부(1611)와, 움직임 정보 예측 후보 리스트 구성부(1613)를 포함하며, 추적 움직임 정보 예측 리스트 구성부(1611)는 리스트 초기화부(1615)와 연결될 수 있다. 또한, 이에 대응하는 복호화 장치(20)의 움직임 보상 예측부(240)에도 동일 처리를 수행하는 모듈이 포함되어 움직임 보상 기반의 인터 예측 복호화를 처리할 수 있다.
전술한 인터 예측 부호화에 있어서, 움직임 정보 결정부(161)는, 인터 예측부(160)의 인터 예측에 이용되는 움직임 벡터를 유도하기 위한 움직임 벡터 예측자(Motion Vector Predictor, MVP)를 하나 이상의 주변 블록으로부터 획득할 수 있으며, 움직임 벡터는 움직임 벡터 예측자 및 차분 값(Motion Vector Difference)에 의해 유도될 수 있다.
여기서, 본 발명의 실시 예에 따르면, 상기 움직임 벡터 예측자를 결정하기 위한 하나 이상의 움직임 정보 예측 후보 리스트가 구성될 수 있으며, 이를 위해, 움직임 정보 결정부(161)는, 상기 추적 움직임 정보 예측 리스트 구성부(1611)의 추적 움직임 정보 예측 리스트와, 상기 움직임 정보 예측 후보 리스트 구성부(1613)에서 구성되는 움직임 정보 예측 후보 리스트를 이용할 수 있다.
본 발명의 실시 예에서 '구성'이라 함은 컴퓨터 프로세서 및 메모리를 이용하여, 구성요소들을 포함하는 데이터 세트를 생성하는 프로세스를 의미할 수 있다. 구성 프로세스는 요소 데이터의 추출, 구조화, 파라미터 설정 및 리스트 생성 프로세스를 포함하는 다양한 컴퓨팅 프로세스들을 포함할 수 있다.
여기서, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트 구성부(1611)는, 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성할 수 있다. 여기서 상기 추적 움직임 정보 예측 리스트는, 기 복호화된 움직임 정보를 누적하여 추적하는 추적 히스토리(history) 기반의 움직임 정보 예측 리스트라고 할 수 있다.
그리고, 본 발명의 실시 예에 따른 움직임 정보 예측 후보 리스트 구성부(1613)는, 상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성할 수 있다.
이에 따라, 움직임 정보 결정부(161)는, 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 움직임 정보를 결정할 수 있으며, 부호화 장치(10)의 인터 예측부(160)는 결정된 움직임 정보에 기초하여 상기 현재 블록의 움직임 정보 예측 부호화를 수행할 수 있다.
마찬가지로, 복호화 장치(20)의 움직임 보상 예측부(260) 또한 상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 움직임 정보에 기초하여 상기 현재 블록의 움직임 정보 예측 부호화를 수행할 수 있다.
이와 같은 구성에 있어서, 특히 추적 움직임 정보 예측 리스트 구성부(1611)는, 시간적(Temporally) 또는 공간적(spatially)으로, 현재 블록 대비 이전에 부호화된 블록의 움직임 벡터 예측 후보를 리스트로 구성하고, 추적 갱신하여 저장 및 관리할 수 있다.
이를 위해, 추적 움직임 정보 예측 리스트 구성부(1611)는, 미리 설정된 조건에 따라, 공간적으로 인접한 블록의 움직임 정보 및 시간적으로 이전에 부호화된 블록으로부터 추적되는 움직임 정보를 획득할 수 있으며, 우선 순위에 따라 선택된 하나 이상의 블록의 움직임 정보를, 기 설정된 순서 인덱스에 매핑하여 상기 추적 움직임 정보 예측 리스트에 순차적으로 저장 및 관리할 수 있다.
그리고, 움직임 정보 예측 후보 리스트 구성부(1613)는 현재 블록에 대응하는 움직임 정보 예측 후보 리스트를 별도로 구성하거나, 상기 추적 움직임 정보 예측 리스트 구성부(1611)로부터 구성된 추적 움직임 정보 예측 리스트를 이용하여 복합 움직임 정보 예측 후보 리스트를 구성할 수 있다.
그리고, 움직임 정보 결정부(161)는, 복합 움직임 정보 예측 후보 리스트를 이용하거나, 개별적으로 생성된 하나 이상의 리스트들을 선택적으로 이용하여 현재 블록에 대응하는 움직임 정보 예측자를 결정할 수 있는 바, 이에 따른 예측 후보 리스트의 구성 범위가 효율적으로 증가될 수 있으며, 증가된 범위에 따른 예측 정확도가 높아지므로, 압축 효율을 높이면서 화질 향상을 가져올 수 있다.
도 27은 본 발명의 실시 예에 따른 인터 예측 프로세스를 설명하기 위한 흐름도이며, 도 28은 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트를 설명하기 위한 도면이다.
도 27을 참조하면, 본 발명의 실시 예에 따른 부호화 장치(10)의 인터 예측부(160) 또는 복호화 장치(20)의 움직임 보상 예측부(260)는, 추적 움직임 정보 예측 리스트 구성부(1611)를 통해, 시간적 또는 공간적으로 기 부호화 또는 복호화된 블록의 움직임 정보를 순차적으로 획득한다(S101).
그리고, 추적 움직임 정보 예측 리스트 구성부(1611)는, 기 설정된 우선 순위에 따라 획득된 움직임 정보를 이용한 추적 움직임 정보 예측 리스트를 구성한다(S103).
이후, 부호화 장치(10)의 인터 예측부(160) 또는 복호화 장치(20)의 움직임 보상 예측부(260)는, 움직임 정보 예측 후보 리스트 구성부(1613)를 통해, 추적 움직임 정보 예측 리스트 및 주변 블록의 움직임 정보를 이용하여, 복합 움직임 정보 예측 후보 리스트를 구성한다(S105).
그리고, 인터 예측부(160) 또는 움직임 보상 예측부(260)는 구성된 움직임 정보 예측 후보 리스트를 이용하여, 현재 블록의 움직임 정보 예측 부호화 또는 복호화를 수행한다(S107).
여기서, 추적 움직임 정보 예측 리스트 또는 움직임 정보 예측 후보 리스트는, 블록에서 처리되는 예측 부호화 모드에 따라 개별적으로 구성될 수 있다.
예를 들어, 그리고, 부호화된 블록이 스킵 (SKIP) 혹은 병합 (MERGE) 모드로 처리된 경우에는, 각 모드에 대응하는 병합 후보 리스트 (Merge candidate list)가 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트로 구성될 수 있다.
또한, 부호화된 블록이 움직임 벡터 차이(MVD: Motion vector difference) 정보를 시그널링하는 움직임 벡터 예측(MVP) 모드인 경우에는, 움직임 벡터 예측치 후보 리스트 (MVP list)가 상기 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트로 구성될 수 있다.
이에 따라, 현재 블록의 움직임 벡터는 움직임 벡터 예측자와 움직임 벡터 차이 값을 합산하여 생성되거나, 움직임 벡터 예측자가 그대로 현재 블록의 움직임 벡터로 이용될 수도 있다.
그리고, 도 28에 도시된 바와 같이, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트(1603)는 시계열적 또는 공간적으로 먼저 복호화된 블록의 움직임 정보 예측자들이 기 설정된 순서 인덱스(Order idx)에 매핑되어 저장될 수 있다.
그리고, 움직임 정보 예측 후보 리스트(1601)는 상기 추적 움직임 정보 예측 리스트로부터 특정 순서 인덱스에 매칭되는 움직임 정보를 참조하여 구성될 수 있으며, 이를 위해, 움직임 정보 예측 후보 리스트 구성부(1613)는 상기 추적 움직임 정보 예측 리스트로부터 특정 순서 인덱스에 매칭되는 움직임 정보를 획득하여 상기 움직임 정보 예측 후보 리스트에 추가할 수 있다.
여기서, 추가 여부는 미리 설정된 우선 순위 조건에 따라 결정될 수 있으며, 움직임 정보 예측 후보 리스트 구성부(1613)는, 상기 추적 움직임 정보 예측 리스트로부터 획득된 움직임 정보와 상기 움직임 정보 예측 후보 리스트에 저장된 움직임 정보를 비교할 수 있다.
움직임 정보 예측 후보 리스트 구성부(1613)는, 상기 비교 결과에 따라 상기 추적 움직임 정보 예측 리스트로부터 획득된 움직임 정보를 추가하거나, 상기 움직임 정보 예측 후보 리스트에 저장된 움직임 정보 중 하나 이상을 삭제할 수 있다.
또한, 본 발명의 실시 예에 따르면, 추적 움직임 정보 예측 리스트로부터 획득된 움직임 예측자 정보가 움직임 정보 예측 후보 리스트에 추가되는 경우, 이를 복합 움직임 정보 예측 후보 리스트라고 할 수 있으며, 움직임 정보 결정부(161)는 복합 움직임 정보 예측 후보 리스트를 이용하여 현재 블록의 움직임 정보 예측을 위한 움직임 정보(또는 움직임 벡터)를 결정할 수 있다.
한편, 움직임 정보를 나타내는 움직임 벡터 예측자(MVP)와 차분 값(MVD)이 연산됨에 따라, 복호화된 현재 블록의 움직임 정보는 순차적으로 추적 움직임 정보 예측 리스트의 신규 항목(MPV NEW[N-1])으로 삽입됨으로써 형성될 수 있다.
보다 구체적으로, 도 28을 참조하면, 현재 블록의 움직임 벡터 예측자(MVP: motion vector predictor)로서, 움직임 정보 예측 후보 리스트(1601) 중 인덱스 3번의 후보가 선택될 수 있다. 그리고, 선택된 후보에 따라 부호화된 현재 블록의 움직임 벡터는 추적 움직임 정보 예측 리스트(1603)에 대한 추가여부가 결정될 수 있으며, 추가되는 경우, 이후의 부호화 또는 복호화 되는 블록에서의 참조 움직임 벡터 예측자로 사용될 수 있다.
여기서, 추적 움직임 정보 예측 리스트 구성부(1611)는, 현재 블록에 대해 부호화된 움직임 벡터를 저장하기 위한 FIFO (First-In-First-Out) 규칙을 따르는 큐(Queue) 형태의 리스트를 구성할 수 있다. 이에 따라, 추적 움직임 정보 예측 리스트 구성부(1611)는, 기 저장되어 있는 리스트 중 순서 인덱스 값이 가장 낮은 움직임 벡터 후보 예측자를 리스트에서 제외하고 현재 블록에 대응하는 새로운 움직임 정보를 추가할 수 있다. 이에 따라, 추적 움직임 정보 예측 리스트(1603)의 순서 인덱스 0번(Order 0)에는 현재 부호화 블록을 기준으로 가장 오래된 시점에 부호화 된 블록의 움직임 정보가 저장될 수 있다.
또한, 추적 움직임 정보 예측 리스트 구성부(1611)는 새로운 움직임 정보를 리스트에 추가함에 있어서, 기존 리스트에 저장된 움직임 정보와 동일한 정보를 포함하는 경우, 기존의 움직임 정보를 리스트에서 제외시키고 새로운 움직임 정보를 추가할 수 있다. 또한, 추적 움직임 정보 예측 리스트 구성부(1611)는 처리 효율을 위해 상기 새로운 움직임 정보를 추가하지 않을 수도 있다.
도 29는 본 발명의 실시 예에 따른 복합 움직임 정보 예측 후보 리스트 구성방법을 설명하기 위한 흐름도이다.
도 29를 참조하면, 본 발명의 실시 예에 따른 움직임 정보 예측 후보 리스트 구성부(1613)는, 움직임 정보 예측 후보 리스트를 구성함에 있어, 움직임 정보 예측 후보 리스트를 추적 움직임 정보 예측 리스트 기반으로 재구성함으로써 복합 움직임 정보 예측 후보 리스트를 구성하고, 이에 따른 효율적 움직임 정보 예측 복호화 처리를 제공할 수 있다.
이를 위해, 먼저 움직임 정보 예측 후보 리스트 구성부(1613)는, 움직임 정보 예측 후보 리스트를 구성하고(S201), 구성된 움직임 정보 예측 후보 리스트에 중복된 움직임 정보 예측자가 존재하는지 판단한다(S203).
예를 들어, 중복된 움직임 정보 예측자가 존재하는 경우는, 리스트 내 동일 블록의 위치를 참조하는 움직임 정보가 존재하거나, 동일 블록 그룹을 참조하는 움직임 정보가 존재하거나, 일정 거리 이내 인접한 위치를 참조하는 움직임 정보가 존재하거나, 동일 타일에 포함된 움직임 정보가 존재하거나, 동일한 제로 값을 갖는 움직임 정보가 존재하는 경우를 의미할 수 있다.
이에 따라, 중복된 움직임 정보 예측자가 존재하는 경우, 움직임 정보 예측 후보 리스트 구성부(1613)는 추적 움직임 정보 예측 리스트로부터, 하나 이상의 추적 움직임 정보 예측자를 획득한다(S205).
그리고, 움직임 정보 예측 후보 리스트 구성부(1613)는, 유도된 움직임 정보 예측자를 상기 움직임 정보 예측 후보 리스트에 추가하여 재구성한 복합 움직임 정보 예측 후보 리스트를 구성한다(S207).
여기서, 움직임 정보 예측 후보 리스트 구성부(1613)는 기존의 중복된 움직임 정보 예측자는 움직임 정보 예측 후보 리스트에서 제외 처리할 수도 있다.
이에 따라, 인터 예측부(160) 또는 움직임 보상 예측부(260)는 복합 움직임 정보 예측 후보 리스트에 기초한 인터 예측 부호화 또는 복호화 처리를 수행할 수 있다(S209).
한편, 중복된 움직임 정보 예측자가 존재하지 않는 경우에는 인터 예측부(160) 또는 움직임 보상 예측부(260)는 통상의 움직임 정보 예측 후보 리스트에 기초한 인터 예측 복호화 또는 부호화 처리를 수행할 수 있다(S211).
이와 같이 움직임 정보 예측 후보 리스트 구성부(1613)는 추적 움직임 정보 예측 리스트를 활용하여, 현재 움직임 정보 예측 후보 리스트를 보다 효과적으로 구성할 수 있으며, 이에 따른 움직임 예측 효율이 향상될 수 있다.
도 30은 본 발명의 실시 예에 따른 리스트 선택적 움직임 정보 예측 복호화 방법을 설명하기 위한 흐름도이다.
도 30을 참조하면, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트는, 개별적으로 생성되어 저장 및 관리될 수 있는 바, 이 경우 움직임 정보 결정부(161)는, 상기 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트를 선택적으로 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 위한 움직임 정보 예측자를 결정할 수 있다.
이를 위해, 추적 움직임 정보 예측 리스트 구성부(1611)는 시간적 또는 공간적으로 기 복호화된 주변 블록의 움직임 정보르 순차적으로 획득하며(S301), 기 설정된 우선 순위에 따라 추적 움직임 정보 예측 리스트를 개별적으로 구성한다(S303).
한편, 움직임 정보 예측 후보 리스트 구성부(1613)는, 주변 블록의 움직임 정보를 이용하여 움직임 정보 예측 후보 리스트를 개별적으로 구성한다(S305).
이에 따라, 움직임 정보 결정부(161)는, 상기 추적 움직임 정보 예측 리스트 및 움직임 정보 예측 후보 리스트를 선택적으로 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 위한 움직임 정보 예측자를 결정할 수 있으며, 인터 예측부(160) 또는 움직임 보상 예측부(260)는 결정된 움직임 정보 예측자를 이용한 현재 블록의 움직임 정보 예측 부호화 또는 복호화를 처리할 수 있다(S307).
여기서, 상기 선택적 이용을 위해, 상기 현재 블록에 대응하는 상기 추적 움직임 정보 예측 리스트 또는 상기 움직임 정보 예측 후보 리스트의 선택 정보가 시그널링될 수 있으며, 이는 비트스트림에 포함되어 전송될 수 있다.
예를 들어, 선택 정보는 추적 움직임 정보 예측 리스트 또는 움직임 정보 예측 후보 리스트를 나타내는 플래그 또는 식별 정보와, 리스트 내 인덱스 정보를 포함할 수 있으며, 복호화 장치(20)의 움직임 보상 예측부(260)는 상기 플래그 또는 식별 정보에 기초하여 움직임 정보 결정에 이용할 리스트를 선택적으로 결정할 수 있다.
도 31은 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트를 구성하기 위해 선택되는 블록들의 일 예이다.
도 31에 도시된 바와 같이, 현재 블록(400)의 경계에 인접한 이웃 블록들의 움직임 정보는, 추적 움직임 정보 예측 리스트를 위한 공간적 움직임 정보 예측자로서 획득될 수 있다.
또한, 추적 움직임 정보 예측 리스트 구성을 위한 우선 순위가 공간적으로 미리 설정될 수 있다. 예를 들어, 상기 공간적 움직임 정보 예측자에 대응되는 블록들은 좌측에 인접한 블록의 주변 블록 좌측(L), 상측(A), 우상(AR), 좌하(BL), 좌상(AL) 블록들(401, 402, 403, 404, 405)이 순차적으로 리스트에 포함될 수 있으며, 현재 블록의 분할 정보에 따라 결정되는 이후의 상중(AM), 좌중(LM) 등의 블록들(406, 407)로부터 일련의 순서를 통해 추적 움직임 정보 예측 리스트가 구성될 수 있다.
여기서, 현재 블록의 분할 정보는 분할 형태(SHAPE), 크기, 분할 깊이(DEPTH) 또는 예측 모드 중 적어도 하나를 포함할 수 있다. 분할 형태는 예를 들어, 수평(HORIZONTAL), 수직(VERTICAL), 균등, 비균등, 이진, 삼진, 쿼드트리 분할 중 어느 하나일 수 있다.
또한, 상기 도시한 블록의 위치 외에도 다양한 분할 기법에 따라, 현재 블록과의 공간적으로 인접한 범위 내 주변 블록들의 움직임 정보들도, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트에 포함될 수 있다.
한편, 추적 움직임 정보 예측 리스트에는 현재 블록의 부호화 시점보다 이전 시점에, 시간적으로 인접한 블록들의 움직임 정보가 추적 움직임 정보 예측 리스트에 포함될 수 있다. 도 31에서, NN(NON-NEIGHBOR) 블록들(410 ~ 420)은 현재 블록(400)의 공간적으로 인접하지는 않는 비 이웃 블록일 수 있으나, 시간적으로 먼저 복호화되어 시간적으로 인접한 블록이라고 할 수 있으며, 추적 움직임 정보 예측 리스트에는 이와 같이 시간적 인접성에 따른 움직임 정보가 추적 저장되어 관리될 수 있다.
따라서, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트는 시간적 및 공간적 인접성이 모두 고려될 수 있는 바, 부호화 장치(10) 또는 복호화 장치(20)는 보다 효율적인 움직임 정보 예측자를 유도할 수 있도록 하는 움직임 정보 예측 후보 리스트를 구성할 수 있다.
도 32는 본 발명의 실시 예에 따른 추적 움직임 정보 예측 후보 리스트의 초기화 방법을 설명하는 흐름도이며, 도 33 내지 도 35는 초기화 조건을 설명하기 위한 도면들이다.
도 32를 참조하면, 본 발명의 실시 예에 따른 추적 움직임 정보 예측 리스트 구성부(1611)에서 추적 움직임 정보 예측 리스트가 구성되고, 현재 블록의 움직임 정보 복호화되면(S401), 초기화부(1615)는, 현재 복호화된 블록의 블록 정보가 초기화 조건을 만족하는지 여부를 판단하고(S403), 판단 결과에 따라 추적 움직임 정보 예측 리스트를 초기화하거나(S405), 추적 움직임 정보 예측 리스트를 갱신(S407)할 수 있다.
여기서, 초기화부(1615)는 추적 움직임 정보 예측 리스트의 리스트 내 움직임 정보들이 의존성을 가짐에 따라, 이를 해소하는 방향으로 초기화를 결정할 수 있다. 초기화부(1615)는 참조 위치의 변동 또는 병렬 처리를 위한 그룹 식별정보의 변동 등을 조건으로, 초기화를 결정함으로써, 비효율적인 추적 움직임 정보 예측 리스트 구성을 사전에 방지할 수 있다.
예를 들어, 코딩 순서에 따라 이전 부호화 및 복호화된 블록간 의존성(dependency)이 발생되며, 그 의존성이 떨어지는 블록들의 움직임 정보들이 모두 리스트에 저장 관리되는 경우 비효율적 움직임 정보 예측이 처리되게 된다.
따라서, 본 발명의 실시 예에 따른 초기화부(1615)는, 부호화 및 복호화의 의존성을 주기적 또는 조건부로 해소할 수 있으며, 이에 따른 움직임 정보 예측 프로세스의 효율이 향상될 수 있으며, 병렬 처리도 용이하게 될 수 있다.
여기서, 상기 추적 움직임 정보 예측 리스트의 초기화는 리스트에 포함된 움직임 정보의 전부 또는 일부를 제거하고, 초기 값으로 설정하는 프로세스를 포함할 수 있다.
예를 들어, 초기화 조건은 상기 현재 블록을 포함하는 코딩 트리 유닛의 라인 위치 정보가 변경된 경우 또는 상기 현재 블록을 포함하는 타일 그룹의 식별 정보가 변경된 경우 등이 예시될 수 있는 바, 이에 대하여 도 33 내지 도 35를 참조하여 설명하도록 한다.
도 33은 본 발명의 실시 예에 따른 초기화 조건으로서, 코딩 트리 유닛의 라인 위치 정보 변경이 적용되는 경우를 나타낸다. 도 33을 참조하면, 하나의 코딩 트리 유닛(CTU) 라인(Line) 단위로, 추적 움직임 정보 예측 리스트가 초기화될 수 있다. 이는 라인 내에서의 움직임 정보 예측 프로세스를 향상시킬 수 있고, 라인 간 의존성 발생을 방지할 수 있다.
한편, 도 34는 본 발명의 실시 예에 따른 초기화 조건으로서, 현재 부호화 또는 복호화된 블록의 타일 위치 정보 변경이 적용되는 경우를 나타낸다. 도 34를 참조하면, 현재 블록이 속한 타일 단위별로, 추적 움직임 정보 예측 리스트가 초기화될 수 있다. 이는 타일 내에서의 움직임 정보 예측 프로세스를 향상시킬 수 있고, 타일간 의존성 발생을 방지할 수 있다.
또한, 본 발명의 실시 예에 따른 초기화 조건으로서, 현재 부호화 또는 복호화된 블록의 타일 위치 그룹 정보 변경이 적용될 수도 있다. 하나의 타일은 복수의 타일들이 그룹핑된 타일 그룹으로 병합될 수 있으며, 병합된 타일 그룹 단위별로 추적 움직임 정보 예측 리스트가 초기화될 수도 있다. 이는 타일 그룹 내에서의 움직임 정보 예측 프로세스를 향상시킬 수 있고, 타일 그룹간 의존성 발생을 방지할 수 있다.
한편, 도 35는 라인 및 타일 변경의 복합 조건부 초기화를 나타내는 것으로, 본 발명의 실시 예에 따른 초기화부(1615)는, 현재 블록의 라인 위치 변경 또는 타일 위치 변경 중 적어도 하나에 기초하여, 추적 움직임 정보 예측 리스트를 초기화할 수 있으며, 이는 전술한 라인 및 타일간 의존성을 각각 방지할 수 있다.
한편, 상기 초기화부(1615)는, 추적 움직임 정보 예측 리스트 구성부(1611)에서 구성되는 추적 움직임 정보 예측 리스트의 초기화 뿐만 아니라, 전술한 조건에 따른 움직임 정보 예측 후보 리스트 구성부(1613)의 움직임 정보 예측 후보 리스트의 초기화를 선택적으로 결정할 수도 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (12)

  1. 영상 복호화 장치의 영상 복호화 방법에 있어서,
    영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계;
    상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 단계;
    상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 단계; 및
    상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계를 포함하는
    영상 복호화 방법.
  2. 제1항에 있어서,
    상기 추적 움직임 정보 예측 리스트를 구성하는 단계는,
    공간적 또는 시계열적으로 기 복호화된 블록들 중 우선 순위에 따라 선택된 하나 이상의 블록의 움직임 정보를, 기 설정된 순서 인덱스에 매핑하여 상기 추적 움직임 정보 예측 리스트에 순차적으로 저장하는 단계를 포함하는
    영상 복호화 방법.
  3. 제2항에 있어서,
    상기 움직임 정보 예측 후보 리스트를 구성하는 단계는,
    상기 추적 움직임 정보 예측 리스트로부터 특정 순서 인덱스에 매칭되는 움직임 정보를 획득하여 상기 움직임 정보 예측 후보 리스트에 추가하는 단계를 포함하고,
    상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계는,
    상기 추가된 움직임 정보 예측 후보 리스트를 이용하여 상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계를 포함하는
    영상 복호화 방법.
  4. 제3항에 있어서,
    상기 움직임 정보 예측 후보 리스트를 구성하는 단계는,
    미리 설정된 우선 순위 조건에 따라, 상기 추적 움직임 정보 예측 리스트로부터 획득된 움직임 정보와 상기 움직임 정보 예측 후보 리스트에 저장된 움직임 정보를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 움직임 정보 예측 후보 리스트에 저장된 움직임 정보 중 하나 이상을 삭제하는 단계를 포함하는
    영상 복호화 방법.
  5. 제1항에 있어서,
    상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계는,
    상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트를 선택적으로 이용하여, 상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계를 포함하는
    영상 복호화 방법.
  6. 제5항에 있어서,
    상기 현재 블록의 움직임 정보 예측 복호화를 수행하는 단계는,
    상기 현재 블록에 대응하는 상기 추적 움직임 정보 예측 리스트 또는 상기 움직임 정보 예측 후보 리스트의 선택 정보를 비트스트림으로부터 획득하여, 이용할 리스트를 선택하는 단계를 더 포함하는
    영상 복호화 방법.
  7. 제6항에 있어서,
    상기 선택 정보는 상기 추적 움직임 정보 예측 리스트 또는 상기 움직임 정보 예측 후보 리스트의 식별 정보 및 리스트 내 인덱스 정보를 포함하는
    영상 복호화 방법.
  8. 제1항에 있어서,
    기 복호화된 정보에 기초하여 상기 추적 움직임 정보 예측 리스트의 초기화를 결정하는 단계; 및
    상기 초기화 여부 결정에 따라 상기 추적 움직임 정보 예측 리스트를 초기화하는 단계를 더 포함하는
    영상 복호화 방법.
  9. 제8항에 있어서,
    상기 초기화를 결정하는 단계는,
    상기 현재 블록을 포함하는 코딩 트리 유닛의 라인 위치 정보가 변경된 경우, 상기 추적 움직임 정보 예측 리스트의 초기화를 결정하는 단계를 포함하는
    영상 복호화 방법.
  10. 제8항에 있어서,
    상기 초기화를 결정하는 단계는,
    상기 현재 블록을 포함하는 타일 그룹의 식별 정보가 변경된 경우, 상기 추적 움직임 정보 예측 리스트의 초기화를 결정하는 단계를 포함하는
    영상 복호화 방법.
  11. 영상 부호화 방법에 있어서,
    영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계;
    상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 단계;
    상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 단계; 및
    상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 부호화를 수행하는 단계를 포함하는
    영상 부호화 방법.
  12. 영상 부호화 장치에 있어서,
    영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternary tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 픽쳐 분할부;
    상기 현재 블록에 대응하여 상기 코딩 유닛의 예측 부호화를 처리하는 예측 부호화부를 포함하고,
    상기 예측 부호화부는,
    상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 움직임 정보 예측 리스트를 구성하는 추적 움직임 정보 예측 리스트 구성부;
    상기 현재 블록의 움직임 정보 예측을 위한 움직임 정보 예측 후보 리스트를 구성하는 움직임 정보 예측 후보 리스트 구성부; 및
    상기 추적 움직임 정보 예측 리스트 및 상기 움직임 정보 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 현재 블록의 움직임 정보 예측 부호화를 수행하는 인터 예측부를 포함하는
    영상 부호화 장치.
PCT/KR2019/017427 2018-12-11 2019-12-11 움직임 예측을 사용하는 영상 복호화 및 부호화 방법 WO2020122571A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0158885 2018-12-11
KR1020180158885A KR20200071302A (ko) 2018-12-11 2018-12-11 움직임 예측을 사용하는 영상 복호화 및 부호화 방법

Publications (1)

Publication Number Publication Date
WO2020122571A1 true WO2020122571A1 (ko) 2020-06-18

Family

ID=71077400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017427 WO2020122571A1 (ko) 2018-12-11 2019-12-11 움직임 예측을 사용하는 영상 복호화 및 부호화 방법

Country Status (2)

Country Link
KR (1) KR20200071302A (ko)
WO (1) WO2020122571A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195765A1 (ko) * 2022-04-07 2023-10-12 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192154A1 (en) * 2011-08-09 2014-07-10 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
KR20170063913A (ko) * 2014-10-06 2017-06-08 후아웨이 테크놀러지 컴퍼니 리미티드 고효율 비디오 코딩(ｈｅｖｃ) 스크린 콘텐츠 코딩(ｓｃｃ)에서의 강화된 팔레트 모드
WO2018182184A1 (ko) * 2017-03-31 2018-10-04 주식회사 칩스앤미디어 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192154A1 (en) * 2011-08-09 2014-07-10 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
KR20170063913A (ko) * 2014-10-06 2017-06-08 후아웨이 테크놀러지 컴퍼니 리미티드 고효율 비디오 코딩(ｈｅｖｃ) 스크린 콘텐츠 코딩(ｓｃｃ)에서의 강화된 팔레트 모드
WO2018182184A1 (ko) * 2017-03-31 2018-10-04 주식회사 칩스앤미디어 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, YI-WEN ET AL.: "CE4-related: Modified History-based MVP to support parallel processing", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-L0106. 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200227] *
ZHANG, LI ET AL.: "CE4: History-based Motion Vector Prediction (Test 4.4.7", JOINT VIDEO EXPERTS TEAM (JVET) OF [TU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-L0106. 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN, Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200227] *

Also Published As

Publication number Publication date
KR20200071302A (ko) 2020-06-19

Similar Documents

Publication Publication Date Title
WO2018070809A1 (ko) 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2017204427A1 (ko) 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2020076143A1 (ko) 다중 가정 예측을 사용하는 비디오 신호 처리 방법 및 장치
WO2018026118A1 (ko) 영상 부호화/복호화 방법
WO2018030773A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2017204532A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2017018664A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019022568A1 (ko) 영상 처리 방법, 그를 이용한 영상 부호화/복호화 방법 및 그 장치
WO2012005520A2 (en) Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
WO2019225993A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013002554A2 (ko) 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2017086748A1 (ko) 기하 변환 영상을 이용하는 영상의 부호화/복호화 방법 및 장치
WO2017086747A1 (ko) 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
WO2019194653A1 (ko) 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2019066524A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018135885A1 (ko) 변환 처리를 제공하는 영상 복호화 및 부호화 방법
WO2020096428A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2019182295A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020251330A1 (ko) 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021107532A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019151795A1 (ko) 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2015133838A1 (ko) 폴리곤 유닛 기반 영상 인코딩/디코딩 방법 및 이를 위한 장치
WO2019190199A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019194647A1 (ko) 필터 정보 기반의 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894702

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19894702

Country of ref document: EP

Kind code of ref document: A1