WO2018174617A1 - 블록 형태에 기반한 예측 방법 및 장치 - Google Patents

블록 형태에 기반한 예측 방법 및 장치 Download PDF

Info

Publication number
WO2018174617A1
WO2018174617A1 PCT/KR2018/003392 KR2018003392W WO2018174617A1 WO 2018174617 A1 WO2018174617 A1 WO 2018174617A1 KR 2018003392 W KR2018003392 W KR 2018003392W WO 2018174617 A1 WO2018174617 A1 WO 2018174617A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
divided
target block
target
Prior art date
Application number
PCT/KR2018/003392
Other languages
English (en)
French (fr)
Inventor
이진호
강정원
고현석
임성창
전동산
이하현
조승현
김휘용
최해철
권대혁
김재곤
백아람
Original Assignee
한국전자통신연구원
한국항공대학교 산학협력단
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국항공대학교 산학협력단, 한밭대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to CN202311481738.XA priority Critical patent/CN117255196A/zh
Priority to CN202311482423.7A priority patent/CN117255197A/zh
Priority to US16/494,507 priority patent/US11284076B2/en
Priority to CN201880020454.1A priority patent/CN110476425B/zh
Priority to CN202311484265.9A priority patent/CN117255198A/zh
Priority claimed from KR1020180033424A external-priority patent/KR102310730B1/ko
Publication of WO2018174617A1 publication Critical patent/WO2018174617A1/ko
Priority to US17/667,141 priority patent/US11917148B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the following embodiments relate to a video decoding method, a decoding apparatus, an encoding method, and an encoding apparatus, and a method and apparatus for performing prediction based on the shape of a block in video encoding and decoding.
  • the present invention relates to Korean Patent Application No. 10-2017-0036257, filed March 22, 2017, Korean Patent Application No. 10-2017-0155097, filed November 20, 2017, and Korea, filed March 22, 2018. Claim the benefit of the filing date of Patent Application No. 10-2018-0033424, the entire contents of which are incorporated herein.
  • Ultra High Definition (UHD) TVs which have four times the resolution of FHD TVs, as well as High Definition TV (HDTV) and Full HD (FHD) TVs.
  • HDTV High Definition TV
  • FHD Full HD
  • An image encoding / decoding apparatus and method include an inter prediction technique, an intra prediction technique, an entropy encoding technique, etc. in order to perform encoding / decoding of high resolution and high quality images.
  • the inter prediction technique may be a technique of predicting a value of a pixel included in a current picture by using a previous picture temporally and / or a later picture temporally.
  • An intra prediction technique may be a technique of predicting a value of a pixel included in a current picture by using information of a pixel in a current picture.
  • the entropy encoding technique may be a technique of allocating a short code to a symbol having a high appearance frequency and a long code to a symbol having a low appearance frequency.
  • blocks may be split for efficient prediction, and prediction may be performed on each of the blocks generated by the split.
  • the efficiency of prediction may vary greatly depending on whether the block is divided.
  • An embodiment may provide an encoding device, an encoding method, a decoding device, and a decoding method for dividing a block based on a size and / or a shape of a block and inducing a prediction mode for the divided block.
  • An embodiment can provide an encoding device, an encoding method, a decoding device, and a decoding method for performing prediction on a divided block according to the derived prediction mode.
  • Whether to divide the target block may be determined based on information related to the target block.
  • Whether to divide the target block and the type of division may be determined based on a block division indicator.
  • the target block may be divided based on the size of the target block.
  • the target block may be divided based on the shape of the target block.
  • a prediction mode may be derived for the specified divided block among the plurality of divided blocks.
  • the specified divided block may be a block at a specified position among the plurality of divided blocks.
  • a prediction mode derived for the specified divided block may be used for the remaining blocks except for the specified divided block among the plurality of divided blocks.
  • a prediction mode determined by a combination of a prediction mode derived from the specified divided block and another prediction mode may be used for the remaining blocks except the specified divided block among the plurality of divided blocks.
  • a most probable mode (MPM) list may be used.
  • the MPM list may be plural.
  • MPM candidate modes of the plurality of MPM lists may not overlap each other.
  • the MPM list may be configured for the specified unit.
  • the specified unit may be the target block.
  • MPM lists for the plurality of divided blocks may be constructed based on one or more reference blocks of the target block.
  • the prediction mode derived for the first block of the plurality of divided blocks may be used in the prediction of the second block of the plurality of divided blocks.
  • the reconstructed pixel of the first block may be used as reference samples of prediction for the second block.
  • Reference samples used for predictions of the plurality of divided blocks may be reconstructed pixels adjacent to the target block.
  • the prediction mode may be derived for a lowermost block or a rightmost block among the plurality of divided blocks.
  • reconstructed pixels adjacent to the top of the target block may be used as reference pixels.
  • Predictions of the plurality of divided blocks may be performed in a predefined order.
  • the predefined order is the order from the bottommost block to the topmost block, the order from the rightmost block to the leftmost block, the bottommost block is selected first, and then the second lowest to secondmost from the topmost block.
  • the order in which the blocks are sequentially selected up to or may be the order in which the rightmost block is selected first and then sequentially selected from the leftmost block to the rightmost to the second block.
  • the method comprising: inducing a prediction mode; Generating a plurality of divided blocks by dividing a target block; And performing predictions on the plurality of divided blocks based on the derived prediction mode.
  • an encoding device an encoding method, a decoding device, and a decoding method for dividing a block based on the size and / or shape of a block, and inducing a prediction mode for the divided block.
  • an encoding device an encoding method, a decoding device, and a decoding method for performing prediction on a divided block according to the derived prediction mode.
  • FIG. 1 is a block diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a division structure of an image when encoding and decoding an image.
  • FIG. 4 is a diagram illustrating a form of a prediction unit PU that a coding unit CU may include.
  • FIG. 5 is a diagram illustrating a form of a transform unit (TU) that may be included in a coding unit (CU).
  • TU transform unit
  • CU coding unit
  • FIG. 6 is a diagram for explaining an embodiment of an intra prediction process.
  • FIG. 7 is a diagram for describing a position of a reference sample used in an intra prediction process.
  • FIG. 8 is a diagram for explaining an embodiment of an inter prediction process.
  • FIG. 10 illustrates an addition order of spatial information of motion candidates to a merge list according to an example.
  • FIG. 11 illustrates a process of transform and quantization according to an example.
  • FIG. 12 is a structural diagram of an encoding apparatus according to an embodiment.
  • FIG. 13 is a structural diagram of a decoding apparatus according to an embodiment.
  • FIG. 14 is a flowchart of a prediction method, according to an exemplary embodiment.
  • 15 is a flowchart of a block partitioning method according to an exemplary embodiment.
  • 16 illustrates a target block of size 8x4 according to an example.
  • 17 illustrates segmented blocks having a size of 4x4 according to an example.
  • FIG. 18 illustrates a 4 ⁇ 16 size target block according to an embodiment.
  • 19 illustrates divided blocks of 8x4 size according to an example.
  • 20 illustrates divided blocks having a size of 4x4 according to an example.
  • 21 is a flowchart of a method of deriving a prediction mode for a divided block according to an example.
  • FIG. 23 illustrates prediction of a partitioned block using reconstructed blocks of a partitioned block according to an example.
  • FIG. 24 illustrates prediction of a divided block using reference pixels external to the divided block according to an example.
  • 25 illustrates prediction of four divided blocks according to an example.
  • FIG. 26 illustrates prediction for a first block after prediction for a fourth block is performed according to an example.
  • FIG. 27 illustrates a prediction for a second block according to an example.
  • 29 is a flowchart of a prediction method, according to an embodiment.
  • FIG. 30 illustrates derivation of a prediction mode for a target block according to an example.
  • 31 is a flowchart of a method of predicting a target block and a method of generating a bitstream, according to an embodiment.
  • 32 is a flowchart of a method of predicting a target block using a bitstream, according to an embodiment.
  • 33 illustrates division of an upper block according to an example.
  • 35 is a signal flowchart illustrating a method of encoding and decoding an image, according to an exemplary embodiment.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software unit.
  • each component is listed as each component for convenience of description, and at least two of each component is combined into one component, or one component is divided into a plurality of components to provide a function.
  • Combined and separate embodiments of each of these components, which can be carried out, are also included within the scope of the present invention without departing from the spirit of the invention.
  • an image may mean one picture constituting a video and may represent a video itself.
  • "encoding and / or decoding of an image” may mean “encoding and / or decoding of a video” and may mean “encoding and / or decoding of one of images constituting the video.” It may be.
  • video and “motion picture” may be used interchangeably and may be used interchangeably.
  • the target image may be an encoding target image that is a target of encoding and / or a decoding target image that is a target of decoding.
  • the target image may be an input image input to the encoding apparatus or may be an input image input to the decoding apparatus.
  • image image
  • picture picture
  • the target block may be an encoding target block that is a target of encoding and / or a decoding target block that is a target of decoding.
  • the target block may be a current block that is a target of current encoding and / or decoding.
  • target block and current block may be used interchangeably and may be used interchangeably.
  • block and “unit” may be used interchangeably and may be used interchangeably. Or “block” may indicate a particular unit.
  • region and “segment” may be used interchangeably.
  • the specific signal may be a signal representing a specific block.
  • the original signal may be a signal representing a target block.
  • the prediction signal may be a signal representing a prediction block.
  • the residual signal may be a signal representing a residual block.
  • each of the specified information, data, flags and elements, attributes, etc. may have a value.
  • the value "0" of information, data, flags and elements, attributes, etc. may represent a logical false or first predefined value. In other words, the value "0", false, logical false and the first predefined value can be used interchangeably.
  • the value "1" of information, data, flags and elements, attributes, etc. may represent logical true or second predefined values. In other words, the value "1", true, logical true and the second predefined value can be used interchangeably.
  • i When a variable such as i or j is used to indicate a row, column, or index, the value of i may be an integer of 0 or more and may be an integer of 1 or more. In other words, in embodiments, rows, columns, indexes, etc. may be counted from zero and counted from one.
  • Encoder Refers to a device that performs encoding.
  • Decoder Refers to an apparatus for performing decoding.
  • a unit may represent a unit of encoding and decoding of an image.
  • the terms “unit” and “block” may be used interchangeably and may be used interchangeably.
  • the unit may be an M ⁇ N array of samples.
  • M and N may each be a positive integer.
  • a unit can often mean an array of two-dimensional samples.
  • a unit may be an area generated by division of one image.
  • One image may be divided into a plurality of units.
  • the unit may mean the divided portion when an image is divided into subdivided portions, and encoding or decoding is performed on the divided portion.
  • predefined processing for a unit may be performed according to the type of the unit.
  • the type of unit may be a macro unit, a coding unit (CU), a prediction unit (PU), a residual unit, a transform unit (TU), or the like. Can be classified as. Or, depending on the function, the unit may be a block, a macroblock, a coding tree unit (CTU), a coding tree block, a coding unit, a coding block, It may mean a prediction unit, a prediction block, a residual unit, a residual block, a transform unit, a transform block, and the like.
  • CTU coding tree unit
  • a unit may refer to information including a luma component block and a corresponding chroma component block, and a syntax element for each block, to refer to the block separately.
  • the size and shape of the unit may vary.
  • the unit may have various sizes and various shapes.
  • the shape of the unit may include not only square but also geometric figures that can be expressed in two dimensions such as rectangles, trapezoids, triangles, and pentagons.
  • the unit information may include at least one of a type of a unit indicating a coding unit, a prediction unit, a residual unit, a transform unit, and the like, a size of a unit, a depth of a unit, an encoding and decoding order of the unit, and the like.
  • One unit can be further divided into sub-units having a smaller size than the unit.
  • the unit depth may refer to the degree of division of the unit.
  • the unit depth may indicate the level at which the unit exists when the unit is represented in a tree structure.
  • the unit splitting information may comprise a unit depth with respect to the depth of the unit.
  • Unit depth may indicate the number and / or degree of unit division.
  • the root node has the shallowest depth and the leaf node has the deepest depth.
  • One unit may be divided into a plurality of sub-units hierarchically with depth information based on a tree structure.
  • the unit and the lower unit generated by the division of the unit may correspond to the node and the child node of the node, respectively.
  • Each divided subunit may have a unit depth. Since the unit depth indicates the number and / or degree of division of the unit, the division information of the lower unit may include information about the size of the lower unit.
  • the highest node may correspond to the first unit that is not split.
  • the highest node may be called the root node.
  • the highest node may have a minimum depth value. At this time, the highest node may have a depth of level 0.
  • a node with a depth of level 1 may represent a unit created as the first unit is divided once.
  • a node with a depth of level 2 may represent a unit created as the first unit is split twice.
  • a node with a depth of level n may represent a unit generated as the first unit is divided n times.
  • the leaf node may be the lowest node or may be a node that cannot be further divided.
  • the depth of the leaf node may be at the maximum level.
  • the predefined value of the maximum level may be three.
  • a sample may be a base unit constituting a block.
  • the sample may be represented as values from 0 to 2 Bd ⁇ 1 depending on the bit depth Bd.
  • the sample may be a pixel or pixel value.
  • pixel In the following, the terms “pixel”, “pixel” and “sample” may be used in the same sense and may be used interchangeably.
  • a CTU may consist of one luminance component (Y) coding tree block and two color difference component (Cb, Cr) coding tree blocks associated with the luminance component coding tree block. have.
  • the CTU may mean that the block and the syntax element for each block of the blocks.
  • Each coding tree unit may be split using one or more partitioning schemes such as a quad-tree and a binary tree to form sub-units such as a coding unit, a prediction unit, and a transform unit. .
  • -CTU can be used as a term for referring to a pixel block which is a processing unit in a decoding and encoding process of an image, as in the division of an input image.
  • a coding tree block may be used as a term for referring to any one of a Y coding tree block, a Cb coding tree block, and a Cr coding tree block.
  • Neighbor block A block adjacent to the target block.
  • the block adjacent to the target block may mean a block in which a boundary of the target block abuts or a block located within a predetermined distance from the target block.
  • the neighboring block may mean a block adjacent to a vertex of the target block.
  • the block adjacent to the vertex of the target block may be a block vertically adjacent to a neighboring block horizontally adjacent to the target block or a block horizontally adjacent to a neighboring block vertically adjacent to the target block.
  • the neighboring block may mean a restored neighboring block.
  • Prediction unit This may mean a base unit for prediction such as inter prediction, intra prediction, inter compensation, intra compensation, and motion compensation.
  • One prediction unit may be divided into a plurality of partitions or lower prediction units having a smaller size.
  • the plurality of partitions may also be the base unit in performing prediction or compensation.
  • the partition generated by the partitioning of the prediction unit may also be the prediction unit.
  • Prediction unit partition This may mean a form in which a prediction unit is divided.
  • the reconstructed neighboring unit may be a unit that is already decoded and reconstructed around the target unit.
  • the reconstructed neighbor unit may be a spatial neighbor unit or a temporal neighbor unit to the target unit.
  • the reconstructed spatial peripheral unit may be a unit within the current picture and already reconstructed through encoding and / or decoding.
  • the reconstructed temporal peripheral unit may be a unit in the reference image and a unit already reconstructed through encoding and / or decoding.
  • the position in the reference image of the reconstructed temporal peripheral unit may be the same as the position in the current picture of the target unit or may correspond to the position in the current picture of the target unit.
  • the parameter set may correspond to header information among structures in the bitstream.
  • the parameter set may include a sequence parameter set, a picture parameter set, an adaptation parameter set, and the like.
  • Rate-distortion optimization The encoding apparatus uses a combination of the size of the coding unit, the prediction mode, the size of the prediction unit, the motion information, and the size of the transform unit to provide high coding efficiency. Distortion optimization can be used.
  • the rate-distortion optimization method can calculate the rate-distortion cost of each combination in order to select the optimal combination among the above combinations.
  • Rate-distortion cost can be calculated using Equation 1 below.
  • a combination in which the rate-distortion cost is minimized may be selected as an optimal combination in the rate-distortion optimization scheme.
  • D may represent distortion.
  • D may be the mean square error of the squares of difference values between the original transform coefficients and the reconstructed transform coefficients in the transform unit.
  • -R can represent the rate R may indicate a bit rate using the associated context information.
  • ⁇ may represent the Lagrangian multiplier.
  • R may include not only coding parameter information such as prediction mode, motion information, coded block flag, etc., but also bits generated by encoding of transform coefficients.
  • the encoding apparatus may perform processes such as inter prediction and / or intra prediction, transformation, quantization, entropy encoding, inverse quantization, inverse transformation, etc. to calculate accurate D and R. These processes can greatly increase the complexity in the encoding apparatus.
  • Bitstream may mean a string of bits including encoded image information.
  • the parameter set may correspond to header information among structures in the bitstream.
  • the parameter set is at least one of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS) and an adaptation parameter set (APS). It may include.
  • the parameter set may include information of a slice header and information of a tile header.
  • Parsing may mean entropy decoding a bitstream to determine a value of a syntax element. Alternatively, parsing may refer to entropy decoding itself.
  • a symbol may mean at least one of syntax elements, coding parameters, transform coefficients, etc. of the encoding target unit and / or decoding target unit.
  • the symbol may mean an object of entropy encoding or a result of entropy decoding.
  • the reference picture may mean an image referenced by a unit for inter prediction or motion compensation.
  • the reference picture may be an image including a reference unit referenced by the target unit for inter prediction or motion compensation.
  • reference picture and “reference picture” may be used in the same sense and may be used interchangeably.
  • the reference picture list may be a list including one or more reference pictures used for inter prediction or motion compensation.
  • the types of reference picture lists are List Combined (LC), List 0 (List 0; L0), List 1 (List 1; L1), List 2 (List 2; L2), and List 3 (List 3; L3). ) And the like.
  • One or more reference picture lists may be used for inter prediction.
  • the inter prediction indicator may indicate the direction of inter prediction of the target unit.
  • the inter prediction may be one of unidirectional prediction and bidirectional prediction.
  • the inter prediction indicator may indicate the number of reference pictures used when generating the prediction unit of the target unit.
  • the inter prediction indicator may mean the number of prediction blocks used for inter prediction or motion compensation for the target unit.
  • the reference picture index may be an index indicating a specific reference picture in the reference picture list.
  • Motion Vector The motion vector may be a two-dimensional vector used in inter prediction or motion compensation.
  • the motion vector may mean an offset between an encoding target image / decoding target image and a reference image.
  • MV can be expressed in the form (mv x , mv y ).
  • mv x may represent a horizontal component and mv y may represent a vertical component.
  • the search range may be a two-dimensional area in which a search for MV is performed during inter prediction.
  • the size of the search region may be M ⁇ N.
  • M and N may each be a positive integer.
  • Motion vector candidate may mean a motion vector of a block that is a prediction candidate or a block that is a prediction candidate when predicting a motion vector.
  • the motion vector candidate may be included in the motion vector candidate list.
  • Motion vector candidate list may mean a list constructed using one or more motion vector candidates.
  • Motion vector candidate index may mean an indicator indicating a motion vector candidate in the motion vector candidate list.
  • the motion vector candidate index may be an index of a motion vector predictor.
  • Motion information includes not only a motion vector, a reference picture index and an inter prediction indicator, but also reference picture list information, a reference picture, a motion vector candidate, a motion vector candidate index, a merge candidate and a merge index, and the like. It may mean information including at least one.
  • the merge candidate list may mean a list constructed using merge candidates.
  • Merge candidate means a spatial merge candidate, a temporal merge candidate, a combined merge candidate, a combined bi-prediction merge candidate, a zero merge candidate, and the like.
  • the merge candidate may include motion information such as an inter prediction indicator, a reference picture index for each list, and a motion vector.
  • the merge index may be an indicator indicating a merge candidate in the merge candidate list.
  • the merge index may indicate a reconstructed unit that induced a merge candidate among the reconstructed units spatially adjacent to the target unit and the reconstructed units temporally adjacent to the target unit.
  • the merge index may indicate at least one of motion information of the merge candidate.
  • a transform unit may be a basic unit in residual signal encoding and / or residual signal decoding such as transform, inverse transform, quantization, inverse quantization, transform coefficient encoding, transform coefficient decoding, and the like.
  • One transform unit can be divided into a plurality of transform units of smaller size.
  • Scaling may refer to a process of multiplying a transform coefficient level by a factor.
  • Scaling may be referred to as dequantization.
  • the quantization parameter may mean a value used when generating a transform coefficient level for a transform coefficient in quantization. Or, it may mean a value used when generating transform coefficients by scaling transform coefficient levels in inverse quantization. Alternatively, the quantization parameter may be a value mapped to a quantization step size.
  • the delta quantization parameter refers to a differential value of the predicted quantization parameter and the quantization parameter of the encoding / decoding target unit.
  • a scan may refer to a method of ordering coefficients within a unit, block, or matrix. For example, aligning a two-dimensional array in the form of a one-dimensional array may be referred to as a scan. Alternatively, arranging the one-dimensional array in the form of a two-dimensional array may also be referred to as a scan or inverse scan.
  • the transform coefficient may be a coefficient value generated by performing a transform in the encoding apparatus.
  • the transform coefficient may be a coefficient value generated by performing at least one of entropy decoding and inverse quantization in the decoding apparatus.
  • a quantized level or a quantized transform coefficient level obtained by applying quantization to a transform coefficient or a residual signal may also be included in the meaning of the transform coefficient.
  • a quantized level may mean a value generated by performing quantization on a transform coefficient or a residual signal in an encoding apparatus.
  • the quantized level may mean a value that is an object of inverse quantization in performing inverse quantization in the decoding apparatus.
  • the quantized transform coefficient level resulting from the transform and quantization may also be included in the meaning of the quantized level.
  • Non-zero transform coefficient may mean a transform coefficient having a nonzero value or a transform coefficient level having a nonzero value.
  • the non-zero transform coefficient may mean a transform coefficient whose magnitude is not zero or a transform coefficient level whose magnitude is not zero.
  • a quantization matrix may refer to a matrix used in a quantization or inverse quantization process to improve subjective or objective image quality of an image.
  • the quantization matrix may also be called a scaling list.
  • Quantization matrix coefficient The quantization matrix coefficient may mean each element in the quantization matrix. Quantization matrix coefficients may also be referred to as matrix coefficients.
  • the default matrix may be a quantization matrix predefined in the encoding apparatus and the decoding apparatus.
  • Non-default Matrix The non-default matrix may be a quantization matrix that is not predefined in the encoding apparatus and the decoding apparatus.
  • the non-default matrix may be signaled from the encoding device to the decoding device.
  • FIG. 1 is a block diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 100 may be an encoder, a video encoding apparatus, or an image encoding apparatus.
  • the video may include one or more images.
  • the encoding apparatus 100 may sequentially encode one or more images of the video.
  • the encoding apparatus 100 may include an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, and entropy encoding.
  • the unit 150 may include an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.
  • the encoding apparatus 100 may perform encoding on the target image using an intra mode and / or an inter mode.
  • the encoding apparatus 100 may generate a bitstream including encoding information through encoding of the target image, and may output the generated bitstream.
  • the generated bitstream can be stored in a computer readable recording medium and can be streamed via wired / wireless transmission media.
  • the switch 115 may be switched to intra.
  • the switch 115 may be switched to the inter.
  • the encoding apparatus 100 may generate a prediction block for the target block. In addition, after the prediction block is generated, the encoding apparatus 100 may encode a residual between the target block and the prediction block.
  • the intra prediction unit 120 may use a pixel of an already coded / decoded block around the target block as a reference sample.
  • the intra prediction unit 120 may perform spatial prediction on the target block by using the reference sample, and generate prediction samples on the target block through spatial prediction.
  • the inter predictor 110 may include a motion predictor and a motion compensator.
  • the motion predictor may search an area that best matches the target block from the reference image in the motion prediction process, and derive a motion vector for the target block and the searched area using the searched area. can do.
  • the reference picture may be stored in the reference picture buffer 190 and may be stored in the reference picture buffer 190 when encoding and / or decoding of the reference picture is processed.
  • the motion compensator may generate a prediction block for the target block by performing motion compensation using the motion vector.
  • the motion vector may be a two-dimensional vector used for inter prediction.
  • the motion vector may indicate an offset between the target image and the reference image.
  • the motion predictor and the motion compensator may generate a prediction block by applying an interpolation filter to a portion of the reference image.
  • methods of motion prediction and motion compensation of a PU included in a CU based on a CU include a skip mode, a merge mode, and an advanced motion vector prediction. Whether it is a prediction (AMVP) mode or a current picture reference mode may be determined, and inter prediction or motion compensation may be performed according to each mode.
  • AMVP prediction
  • the subtractor 125 may generate a residual block that is a difference between the target block and the prediction block.
  • the residual block may be referred to as the residual signal.
  • the residual signal may mean a difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming or quantizing the difference between the original signal and the prediction signal, or by transforming and quantizing.
  • the residual block may be a residual signal on a block basis.
  • the transform unit 130 may generate transform coefficients by performing transform on the residual block, and output the generated transform coefficients.
  • the transform coefficient may be a coefficient value generated by performing transform on the residual block.
  • the transform unit 130 may omit the transform of the residual block.
  • a quantized transform coefficient level or quantized level By applying quantization to the transform coefficients, a quantized transform coefficient level or quantized level can be generated.
  • the quantized transform coefficient level and the quantized level may also be referred to as transform coefficients.
  • the quantization unit 140 may generate a quantized transform coefficient level or a quantized level by quantizing the transform coefficients according to the quantization parameter.
  • the quantization unit 140 may output the generated quantized transform coefficient level or the generated quantized level. In this case, the quantization unit 140 may quantize the transform coefficients using the quantization matrix.
  • the entropy encoder 150 may generate a bitstream by performing entropy encoding according to a probability distribution based on the values calculated by the quantizer 140 and / or the coding parameter values calculated in the encoding process. .
  • the entropy encoder 150 may output the generated bitstream.
  • the entropy encoder 150 may perform entropy encoding on information about pixels of an image and information for decoding an image.
  • the information for decoding the image may include a syntax element.
  • the coding parameter may be information required for encoding and / or decoding.
  • the coding parameter may include information encoded by the encoding apparatus 100 and transferred from the encoding apparatus 100 to the decoding apparatus, and may include information that may be inferred in the encoding or decoding process. For example, there is a syntax element as information transmitted to the decoding apparatus.
  • coding parameters may include prediction modes, motion vectors, reference picture indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block partitions. ) May include information such as information or statistics.
  • the prediction mode may indicate an intra prediction mode or an inter prediction mode.
  • the residual signal may represent a difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming the difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming and quantizing the difference between the original signal and the prediction signal.
  • entropy coding When entropy coding is applied, a small number of bits may be allocated to a symbol having a high occurrence probability, and a large number of bits may be allocated to a symbol having a low occurrence probability. As the symbol is represented through this assignment, the size of the bitstring for the symbols to be encoded may be reduced. Therefore, compression performance of image encoding may be improved through entropy encoding.
  • the entropy encoder 150 may use exponential golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding for entropy encoding.
  • a coding method such as Arithmetic Coding (CABAC) may be used.
  • CABAC Arithmetic Coding
  • the entropy encoder 150 may perform entropy coding using a variable length coding (VLC) table.
  • VLC variable length coding
  • the entropy encoder 150 may derive a binarization method for the target symbol.
  • the entropy encoder 150 may derive a probability model of the target symbol / bin.
  • the entropy encoder 150 may perform arithmetic coding using the derived binarization method, probability model, and context model.
  • the entropy encoder 150 may change a coefficient of a form of a 2D block into a form of a 1D vector through a transform coefficient scanning method to encode a transform coefficient level.
  • the coding parameter may include information derived from an encoding process or a decoding process, as well as information (or a flag, an index, etc.) encoded by the encoding apparatus and signaled from the encoding apparatus to the decoding apparatus, as the syntax element. have.
  • the coding parameter may include information required for encoding or decoding an image.
  • signaling a flag or an index means that the encoding apparatus 100 converts an entropy coded flag or an entropy coded index generated by performing entropy encoding on a flag or an index into a bitstream.
  • the decoding apparatus 200 may mean obtaining an flag or an index by performing entropy decoding on an entropy coded flag or an entropy coded index extracted from the bitstream. .
  • the encoded target image may be used as a reference image with respect to other image (s) to be processed later. Accordingly, the encoding apparatus 100 may reconstruct or decode the encoded target image and store the reconstructed or decoded image in the reference picture buffer 190 as a reference image. Inverse quantization and inverse transform on the encoded target image may be processed for decoding.
  • the quantized level may be inversely quantized in the inverse quantization unit 160 and inversely transformed in the inverse transformer 170.
  • the inverse quantized and / or inverse transformed coefficients may be summed with the prediction block via the adder 175.
  • a reconstructed block may be generated by adding the inverse quantized and / or inverse transformed coefficients with the prediction block.
  • the inverse quantized and / or inversely transformed coefficient may refer to a coefficient in which at least one or more of dequantization and inverse-transformation are performed, and may mean a reconstructed residual block.
  • the reconstructed block may pass through the filter unit 180.
  • the filter unit 180 may reconstruct or reconstruct at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF). It can be applied to a picture.
  • the filter unit 180 may be referred to as an in-loop filter.
  • the deblocking filter may remove block distortion generated at boundaries between blocks. To determine whether to apply the deblocking filter, it may be determined whether to apply the deblocking filter to the target block based on the pixel (s) included in some columns or rows included in the block. When the deblocking filter is applied to the target block, the filter applied may vary depending on the strength of the required deblocking filtering. In other words, a filter determined according to the strength of deblocking filtering among different filters may be applied to the target block.
  • the SAO may add an appropriate offset to the pixel value of the pixel to compensate for coding errors.
  • the SAO may perform correction using an offset on a difference between an original image and a deblocked image in units of pixels for the deblocked image. After dividing the pixels included in the image into a predetermined number of areas, a method of determining an area to be offset from the divided areas and applying an offset to the determined area may be used. The edge information of each pixel of the image may be used. In consideration, a method of applying an offset may be used.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image. After dividing a pixel included in an image into predetermined groups, a filter to be applied to the divided group may be determined, and filtering may be performed for each group. Information related to whether to apply the adaptive loop filter may be signaled for each CU. The shape and filter coefficients of the ALF to be applied to each block may vary from block to block.
  • the reconstructed block or the reconstructed image that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • the reconstructed block that has passed through the filter unit 180 may be part of a reference picture.
  • the reference picture may be a reconstructed picture composed of reconstructed blocks that have passed through the filter unit 180.
  • the stored reference picture can then be used for inter prediction.
  • FIG. 2 is a block diagram illustrating a configuration of a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus 200 may be a decoder, a video decoding apparatus, or an image decoding apparatus.
  • the decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and an adder 255.
  • the filter unit 260 may include a reference picture buffer 270.
  • the decoding apparatus 200 may receive a bitstream output from the encoding apparatus 100.
  • the decoding apparatus 200 may receive a bitstream stored in a computer readable recording medium, and may receive a bitstream streamed through a wired / wireless transmission medium.
  • the decoding apparatus 200 may perform intra mode and / or inter mode decoding on the bitstream. In addition, the decoding apparatus 200 may generate a reconstructed image or a decoded image through decoding, and output the generated reconstructed image or the decoded image.
  • switching to the intra mode or the inter mode according to the prediction mode used for decoding may be made by a switch.
  • the prediction mode used for decoding is an intra mode
  • the switch may be switched to intra.
  • the prediction mode used for decoding is an inter mode
  • the switch may be switched to inter.
  • the decoding apparatus 200 may obtain a reconstructed residual block by decoding the input bitstream, and generate a prediction block. When the reconstructed residual block and the prediction block are obtained, the decoding apparatus 200 may generate the reconstructed block to be decoded by adding the reconstructed residual block and the prediction block.
  • the entropy decoder 210 may generate symbols by performing entropy decoding on the bitstream based on a probability distribution on the bitstream.
  • the generated symbols may include symbols in the form of quantized levels.
  • the entropy decoding method may be similar to the entropy encoding method described above.
  • the entropy decoding method may be an inverse process of the above-described entropy encoding method.
  • the quantized coefficient may be inverse quantized by the inverse quantization unit 220.
  • the inverse quantization unit 220 may generate inverse quantized coefficients by performing inverse quantization on the quantized coefficients.
  • the inverse quantized coefficient may be inversely transformed by the inverse transformer 230.
  • the inverse transform unit 230 may generate the reconstructed residual block by performing an inverse transform on the inverse quantized coefficients.
  • a reconstructed residual block may be generated.
  • the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients in generating the reconstructed residual block.
  • the intra predictor 240 may generate the predictive block by performing spatial prediction using pixel values of the already decoded block around the target block.
  • the inter predictor 250 may include a motion compensator. Alternatively, the inter predictor 250 may be referred to as a motion compensator.
  • the motion compensator may generate a prediction block by performing motion compensation using a motion vector and a reference picture stored in the reference picture buffer 270.
  • the motion compensator may apply an interpolation filter to a portion of the reference image, and generate a prediction block using the reference image to which the interpolation filter is applied.
  • the motion compensation unit may determine which of the skip mode, the merge mode, the AMVP mode, and the current picture reference mode is a motion compensation method used for the PU included in the CU based on the CU to perform motion compensation. According to the present invention, motion compensation may be performed.
  • the reconstructed residual block and prediction block may be added via adder 255.
  • the adder 255 may generate the reconstructed block by adding the reconstructed residual block and the predictive block.
  • the reconstructed block may pass through the filter unit 260.
  • the filter unit 260 may apply at least one of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the reconstructed block that has passed through the filter unit 260 may be stored in the reference picture buffer 270.
  • the reconstructed block that has passed through the filter unit 260 may be part of the reference picture.
  • the reference image may be an image composed of reconstructed blocks that have passed through the filter unit 260.
  • the stored reference picture may then be used for inter prediction.
  • FIG. 3 is a diagram schematically illustrating a division structure of an image when encoding and decoding an image.
  • 3 may schematically illustrate an example in which one unit is divided into a plurality of sub-units.
  • a coding unit may be used in encoding and decoding.
  • a unit may be a term that collectively refers to 1) a block including image samples and 2) a syntax element.
  • “division of a unit” may mean “division of a block corresponding to a unit”.
  • the CU may be used as a base unit of image encoding / decoding.
  • the CU may be used as a unit to which one selected mode of intra mode and inter mode is applied in image encoding / decoding.
  • it may be determined which mode of intra mode and inter mode is applied to each CU.
  • a CU may be a base unit in encoding / decoding of prediction, transform, quantization, inverse transform, inverse quantization, and transform coefficients.
  • the image 300 may be sequentially divided in units of a largest coding unit (LCU), and the division structure of the image 300 may be determined according to the LCU.
  • LCU may be used as the same meaning as a coding tree unit (CTU).
  • the division of the unit may mean division of a block corresponding to the unit.
  • the block division information may include depth information regarding a depth of a unit.
  • the depth information may indicate the number and / or degree of division of the unit.
  • One unit may be divided into sub-units hierarchically with depth information based on a tree structure. Each divided subunit may have depth information.
  • Depth information may be information indicating the size of a CU. Depth information may be stored for each CU. Each CU may have depth information.
  • the partition structure may mean a distribution of a CU in the LCU 310 for efficiently encoding an image. This distribution may be determined according to whether to divide one CU into a plurality of CUs.
  • the number of partitioned CUs may be two or more positive integers, including 2, 3, 4, 8, 16, and the like.
  • the horizontal size and the vertical size of the CU generated by the split may be smaller than the horizontal size and the vertical size of the CU before the split, depending on the number of CUs created by the split.
  • the partitioned CU may be recursively divided into a plurality of CUs in the same manner.
  • the size of at least one of the horizontal size and vertical size of the divided CU can be reduced compared to at least one of the horizontal size and vertical size of the CU before splitting.
  • Partitioning of a CU can be done recursively up to a predefined depth or a predefined size.
  • the depth of the LCU may be zero, and the depth of the smallest coding unit (SCU) may be a predefined maximum depth.
  • the LCU may be a CU having a maximum coding unit size as described above, and the SCU may be a CU having a minimum coding unit size.
  • the division may begin from the LCU 310, and the depth of the CU may increase by one each time the division reduces the horizontal and / or vertical sizes of the CU.
  • a CU that is not divided may have a size of 2N ⁇ 2N.
  • a CU of 2N ⁇ 2N size may be divided into four CUs having an N ⁇ N size. The size of N can be reduced by half for every 1 increase in depth.
  • an LCU having a depth of 0 may be 64x64 pixels or 64x64 block. 0 may be the minimum depth.
  • An SCU of depth 3 may be 8x8 pixels or 8x8 block. 3 may be the maximum depth.
  • a CU of a 64x64 block, which is an LCU may be represented by depth 0.
  • a CU of a 32x32 block may be represented by depth 1.
  • a CU of a 16x16 block may be represented by depth 2.
  • a CU of an 8x8 block, which is an SCU may be represented by depth 3.
  • Information on whether a CU is split may be expressed through split information of the CU.
  • the split information may be 1 bit of information. All CUs except the SCU may include partition information. For example, the value of partition information of a CU that is not divided may be 0, and the value of partition information of a CU that is divided may be 1.
  • each CU of the four CUs generated by the split are each half the horizontal size and half the vertical size of the CU before splitting.
  • sizes of the divided four CUs may be 16x16.
  • the CU is divided into quad-tree shapes.
  • the horizontal size or vertical size of each CU of the two CUs generated by the split is half the horizontal size or half the vertical size of the CU before splitting, respectively.
  • sizes of the divided two CUs may be 16x32.
  • the LCU 310 may be applied.
  • FIG. 4 is a diagram illustrating a form of a prediction unit PU that a coding unit CU may include.
  • a CU that is no longer split among CUs split from the LCU may be split into one or more prediction units (PUs).
  • PUs prediction units
  • the PU may be a base unit for prediction.
  • the PU may be encoded and decoded in any one of a skip mode, an inter mode, and an intra mode.
  • PU may be divided into various types according to each mode.
  • the target block described above with reference to FIG. 1 and the target block described above with reference to FIG. 2 may be a PU.
  • skip mode there may be no partition in the CU.
  • 2N ⁇ 2N mode 410 having the same size of PU and CU without splitting may be supported.
  • inter mode eight divided forms in a CU may be supported.
  • 2Nx2N mode 410, 2NxN mode 415, Nx2N mode 420, NxN mode 425, 2NxnU mode 430, 2NxnD mode 435, nLx2N mode 440, and nRx2N Mode 445 may be supported.
  • 2Nx2N mode 410 and NxN mode 425, 2NxN mode and Nx2N may be supported.
  • a PU having a size of 2Nx2N may be encoded.
  • a PU having a size of 2N ⁇ 2N may mean a PU having a size equal to the size of a CU.
  • a PU having a size of 2N ⁇ 2N may have a size of 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, or 8 ⁇ 8.
  • a PU having a size of NxN may be encoded.
  • the size of the PU when the size of the PU is 8x8, four divided PUs may be encoded.
  • the size of the partitioned PU may be 4 ⁇ 4.
  • the PU When the PU is encoded by the intra mode, the PU may be encoded using one intra prediction mode among the plurality of intra prediction modes.
  • HEVC High Efficiency Video Coding
  • the PU can be coded in one of the 35 intra prediction modes.
  • Which of the 2Nx2N mode 410 and NxN mode 425 is to be coded may be determined by the rate-distortion cost.
  • the encoding apparatus 100 may perform an encoding operation on a PU having a size of 2N ⁇ 2N.
  • the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 may use.
  • an optimal intra prediction mode for a 2N ⁇ 2N size PU may be derived.
  • the optimal intra prediction mode may be an intra prediction mode that generates a minimum rate-distortion cost for encoding a 2N ⁇ 2N size PU among a plurality of intra prediction modes that can be used by the encoding apparatus 100.
  • the encoding apparatus 100 may sequentially perform encoding operations on each PU of the PUs divided by N ⁇ N.
  • the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 may use.
  • an optimal intra prediction mode for a N ⁇ N size PU may be derived.
  • the optimal intra prediction mode may be an intra prediction mode that generates a minimum rate-distortion cost for encoding of a PU of an N ⁇ N size among a plurality of intra prediction modes that can be used by the encoding apparatus 100.
  • FIG. 5 is a diagram illustrating a form of a transform unit (TU) that may be included in a coding unit (CU).
  • TU transform unit
  • CU coding unit
  • a transform unit may be a base unit used for a process of transform, quantization, inverse transform, inverse quantization, entropy encoding, and entropy decoding in a CU.
  • the TU may have a square shape or a rectangular shape.
  • a CU that is no longer split into CUs may be split into one or more TUs.
  • the partition structure of the TU may be a quad-tree structure.
  • one CU 510 may be divided one or more times according to the quad-tree structure. Through division, one CU 510 may be configured with TUs of various sizes.
  • a 64x64 coding tree unit may be divided into a plurality of smaller CUs by a recursive quad-tree structure.
  • One CU may be divided into four CUs having the same sizes.
  • CUs can be recursively split, and each CU can have a quad-tree structure.
  • the CU may have a depth. If a CU is split, the CUs created by splitting may have a depth increased by one from the depth of the split CU.
  • the depth of the CU may have a value of 0 to 3.
  • the size of the CU may be from 64x64 to 8x8 depending on the depth of the CU.
  • an optimal partitioning method can be selected that produces the smallest rate-distortion ratio.
  • FIG. 6 is a diagram for explaining an embodiment of an intra prediction process.
  • Arrows outward from the center of the graph of FIG. 6 may indicate prediction directions of intra prediction modes.
  • the number displayed near the arrow may represent an example of a mode value allocated to the intra prediction mode or the prediction direction of the intra prediction mode.
  • Intra encoding and / or decoding may be performed using reference samples of units around the target block.
  • the surrounding block may be a surrounding rebuilt block.
  • intra coding and / or decoding may be performed using a value or a coding parameter of a reference sample included in a neighboring reconstructed block.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may generate the prediction block by performing intra prediction on the target block based on the information of the sample in the target image.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may generate a prediction block for the target block by performing intra prediction based on information of a sample in the target image.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may perform directional prediction and / or non-directional prediction based on at least one reconstructed reference sample.
  • the prediction block may mean a block generated as a result of performing intra prediction.
  • the prediction block may correspond to at least one of a CU, a PU, and a TU.
  • the unit of a prediction block may be the size of at least one of a CU, a PU, and a TU.
  • the prediction block may have a square shape, having a size of 2N ⁇ 2N or a size of N ⁇ N.
  • the size of NxN may include 4x4, 8x8, 16x16, 32x32 and 64x64.
  • the prediction block may be a rectangular block having MxN sizes such as 2x8, 4x8, 2x16, 4x16, and 8x16.
  • Intra prediction may be performed according to an intra prediction mode for a target block.
  • the number of intra prediction modes that the target block may have may be a predetermined fixed value or may be a value determined differently according to the properties of the prediction block.
  • the attributes of the prediction block may include the size of the prediction block and the type of the prediction block.
  • the number of intra prediction modes may be fixed to 35 regardless of the size of the prediction block.
  • the number of intra prediction modes may be 3, 5, 9, 17, 34, 35, 36, or the like.
  • the intra prediction mode may be a non-directional mode or a directional mode.
  • the intra prediction mode may include two non-directional modes and 33 directional modes as shown in FIG. 6.
  • the non-directional mode may include a DC mode and a planar mode.
  • the mode value of the DC mode may be 1.
  • the mode value of the planner mode may be zero.
  • the directional modes may be prediction modes with a specific direction or a specific angular.
  • a mode other than the DC mode and the planner mode may be a directional mode.
  • the intra prediction mode may be expressed by at least one of a mode number, a mode value, a mode number, and a mode angle.
  • the number of intra prediction modes may be M pieces. M may be one or more. In other words, the intra prediction mode may be M pieces including the number of non-directional modes and the number of directional modes.
  • the number of intra prediction modes may be fixed to M regardless of the size of the block.
  • the number of intra prediction modes may differ depending on the size of the block and / or the type of color component.
  • the number of prediction modes may vary depending on whether the color component is a luma signal or a chroma signal. For example, as the size of a block increases, the number of intra prediction modes may increase.
  • the number of intra prediction modes of the luma component block may be greater than the number of intra prediction modes of the chrominance component block.
  • prediction may be performed in the vertical direction based on the pixel value of the reference sample.
  • the encoding apparatus 100 and the decoding apparatus 200 may perform intra prediction on the target unit using the reference sample according to the angle corresponding to the directional mode.
  • the intra prediction mode located on the right side of the vertical mode may be referred to as a vertical right mode.
  • the intra prediction mode located at the bottom of the horizontal mode may be referred to as a horizontal-below mode.
  • intra prediction modes in which the mode value is one of 27, 28, 29, 30, 31, 32, 33, and 34 may be vertical right modes 613.
  • Intra prediction modes with a mode value of one of 2, 3, 4, 5, 6, 7, 8, and 9 may be horizontal bottom modes 616.
  • the number of intra prediction modes described above and the mode value of each intra prediction modes may be exemplary only.
  • the number of intra prediction modes described above and the mode value of each intra prediction modes may be defined differently according to an embodiment, implementation, and / or need.
  • a step of checking whether samples included in the reconstructed neighboring block to perform intra prediction on the target block can be used as a reference sample of the target block may be performed. If there are samples of the neighboring block that are not available as reference samples of the current block, the values generated by copying and / or interpolation using at least one sample value of the samples included in the restored neighboring block are It can be replaced with sample values of samples that are not available as reference samples. If the value generated by copying and / or interpolation is replaced with the sample value of the sample, the sample can be used as a reference sample of the target block.
  • a filter may be applied to at least one of a reference sample or a prediction sample based on at least one of an intra prediction mode and a size of a target block.
  • the intra prediction mode is the planner mode, in generating the prediction block of the target block, the upper reference sample of the target sample, the left reference sample of the target sample, and the right top reference sample of the target block, according to the position in the prediction block of the target sample, And a sample value of the prediction target sample using the weighted sum of the lower left reference samples of the target block.
  • an average value of the top reference samples and the left reference samples of the target block may be used.
  • the prediction block may be generated using an upper reference sample, a left reference sample, a right upper reference sample, and / or a lower left reference sample.
  • Real unit interpolation may be performed to generate the above-described prediction sample.
  • the intra prediction mode of the target block may be predicted from the intra prediction of the neighboring blocks of the target block, and information used for the prediction may be entropy encoded / decoded.
  • the intra prediction modes of the target block and the neighboring block are the same, it may be signaled that the intra prediction modes of the target block and the neighboring block are the same using a predefined flag.
  • an indicator indicating the same intra prediction mode as the intra prediction mode of the target block among the intra prediction modes of the plurality of neighboring blocks may be signaled.
  • the information of the intra prediction mode of the target block may be entropy encoded / decoded based on the intra prediction mode of the neighboring block.
  • FIG. 7 is a diagram for describing a position of a reference sample used in an intra prediction process.
  • the reconstructed reference samples used for intra prediction of a target block include lower-left reference samples 731, left reference samples 733, and upper-above- left corner reference sample 735, upper reference samples 737, upper right-above reference samples 739, and the like.
  • the left reference samples 733 may refer to a reconstructed reference pixel adjacent to the left side of the target block.
  • the top reference samples 737 may refer to a reconstructed reference pixel adjacent to the top of the target block.
  • the upper left corner reference sample 735 may refer to a reconstructed reference pixel located at the upper left corner of the target block.
  • the lower left reference samples 731 may refer to a reference sample located at the bottom of the left sample line among samples positioned on the same line as the left sample line composed of the left reference samples 733.
  • the upper right reference samples 739 may refer to reference samples positioned to the right of the upper pixel line among samples positioned on the same line as the upper sample line formed of the upper reference samples 737.
  • the lower left reference samples 731, the left reference samples 733, the upper reference samples 737, and the upper right reference samples 739 may each be N pieces.
  • the prediction block may be generated through intra prediction on the target block.
  • Generation of the predictive block may include determining a value of pixels of the predictive block.
  • the size of the target block and the prediction block may be the same.
  • the reference sample used for intra prediction of the target block may vary according to the intra prediction mode of the target block.
  • the direction of the intra prediction mode may indicate a dependency relationship between the reference samples and the pixels of the prediction block.
  • the value of the specified reference sample can be used as the value of the specified one or more pixels of the prediction block.
  • the specified one or more specified pixels of the specified reference sample and prediction block may be samples and pixels designated by a straight line in the direction of the intra prediction mode.
  • the value of the specified reference sample may be copied to the value of the pixel located in the reverse direction of the intra prediction mode.
  • the pixel value of the prediction block may be a value of a reference sample located in the direction of the intra prediction mode based on the position of the pixel.
  • the intra prediction mode of the target block is a vertical mode having a mode value of 26
  • the upper reference samples 737 may be used for intra prediction.
  • the value of a pixel of the prediction block may be a value of a reference sample located vertically above the position of the pixel.
  • the top reference samples 737 adjacent to the top of the target block can be used for intra prediction.
  • the values of the pixels of one row of the prediction block may be the same as the values of the top reference samples 737.
  • the mode value of the intra prediction mode of the target block is 18, at least some of the left reference samples 733, the upper left corner reference sample 735 and the at least some intra prediction of the top reference samples 737 are included. Can be used.
  • the mode value of the intra prediction mode is 18, the value of the pixel of the prediction block may be the value of the reference sample positioned diagonally on the upper left side with respect to the pixel.
  • the reference sample used to determine the pixel value of one pixel of the prediction block may be one, or may be two or more.
  • the pixel value of the pixel of the prediction block may be determined according to the position of the reference sample indicated by the position of the pixel and the direction of the intra prediction mode. If the position of the reference sample indicated by the position of the pixel and the direction of the intra prediction mode is an integer position, the value of one reference sample indicated by the integer position may be used to determine the pixel value of the pixel of the prediction block.
  • an interpolated reference sample may be generated based on the two reference samples closest to the position of the reference sample. have.
  • the value of the interpolated reference sample can be used to determine the pixel value of the pixel of the prediction block. In other words, when the position of the reference sample indicated by the position of the pixel of the prediction block and the direction of the intra prediction mode indicates between the two reference samples, an interpolated value is generated based on the values of the two samples. Can be.
  • the prediction block generated by the prediction may not be the same as the original target block. In other words, there may be a prediction error that is a difference between the target block and the prediction block, and the prediction error may exist between the pixels of the target block and the pixels of the prediction block.
  • Filtering on the prediction block may be used to reduce the prediction error.
  • the filtering may be to adaptively apply a filter to a region that is considered to have a large prediction error in the prediction block.
  • an area considered to have a large prediction error may be a boundary of a prediction block.
  • an area considered to have a large prediction error among the prediction blocks may be different, and characteristics of the filter may be different.
  • FIG. 8 is a diagram for explaining an embodiment of an inter prediction process.
  • the rectangle illustrated in FIG. 8 may represent an image (or a picture).
  • arrows in FIG. 8 may indicate prediction directions. That is, the image may be encoded and / or decoded according to the prediction direction.
  • Each picture may be classified into an I picture (Intra Picture), a P picture (Uni-prediction Picture), and a B picture (Bi-prediction Picture).
  • Each picture may be encoded according to an encoding type of each picture.
  • the target image to be encoded is an I picture
  • the target image may be encoded using data in the image itself without inter prediction referring to another image.
  • an I picture can only be encoded with intra prediction.
  • the target image When the target image is a P picture, the target image may be encoded through inter prediction using only a reference picture existing in one direction.
  • the unidirectional may be forward or reverse.
  • the target picture When the target picture is a B picture, the target picture may be encoded through inter prediction using reference pictures existing in both directions or inter prediction using reference pictures existing in one of the forward and reverse directions.
  • the bidirectional can be forward and reverse.
  • P pictures and B pictures that are encoded and / or decoded using the reference picture may be regarded as an image using inter prediction.
  • Inter prediction may be performed using motion information.
  • the encoding apparatus 100 may perform inter prediction and / or motion compensation on a target block.
  • the decoding apparatus 200 may perform inter prediction and / or motion compensation corresponding to inter prediction and / or motion compensation in the encoding apparatus 100 with respect to the target block.
  • the motion information on the target block may be derived during inter prediction by each of the encoding apparatus 100 and the decoding apparatus 200.
  • the motion information may be derived using motion information of the restored neighboring block, motion information of a collocated block (col block), and / or motion information of a block adjacent to the call block.
  • the call block may be a block in a collocated picture (col picture).
  • the position in the call picture of the call block may correspond to the position in the target image of the target block.
  • the call picture may be one picture of at least one reference picture included in the reference picture list.
  • the encoding apparatus 100 or the decoding apparatus 200 uses the motion information of the spatial candidate and / or the temporal candidate as the motion information of the target block to perform prediction and / or motion compensation. Can be done.
  • the target block may mean a PU and / or a PU partition.
  • the spatial candidate may be a reconstructed block spatially adjacent to the target block.
  • the temporal candidate may be a reconstructed block corresponding to a target block in a collocated picture (col picture).
  • the encoding apparatus 100 and the decoding apparatus 200 may improve encoding efficiency and decoding efficiency by using motion information of spatial candidates and / or temporal candidates.
  • the motion information of the spatial candidate may be referred to as spatial motion information.
  • the motion information of the temporal candidate may be referred to as temporal motion information.
  • the motion information of the spatial candidate may be motion information of the PU including the spatial candidate.
  • the motion information of the temporal candidate may be motion information of the PU including the temporal candidate.
  • the motion information of the candidate block may be motion information of the PU including the candidate block.
  • Inter prediction may be performed using a reference picture.
  • the reference picture may be at least one of a previous picture of the target picture or a subsequent picture of the target picture.
  • the reference picture may mean an image used for prediction of the target block.
  • an area within a reference picture can be specified by using a reference picture index (or refIdx) indicating a reference picture, a motion vector to be described later, and the like.
  • the specified region in the reference picture may represent a reference block.
  • Inter prediction may select a reference picture, and may select a reference block corresponding to the target block within the reference picture. In addition, inter prediction may generate a prediction block for a target block using the selected reference block.
  • the motion information may be derived during inter prediction by each of the encoding apparatus 100 and the decoding apparatus 200.
  • the spatial candidate may be 1) present in the target picture, 2) already reconstructed through encoding and / or decoding, and 3) adjacent to the target block or located at the corner of the target block.
  • the block located at the corner of the target block may be a block vertically adjacent to a neighboring block horizontally adjacent to the target block or a block horizontally adjacent to a neighboring block vertically adjacent to the target block.
  • "Block located at the corner of the target block” may have the same meaning as "block adjacent to the corner of the target block”.
  • the "block located at the corner of the target block” may be included in the "block adjacent to the target block".
  • a spatial candidate may be a reconstructed block located to the left of the target block, a reconstructed block located to the top of the target block, a reconstructed block located at the lower left corner of the target block, or a top right corner of the target block. It may be a reconstructed block or a reconstructed block located at the upper left corner of the target block.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 may identify a block that exists at a position spatially corresponding to the target block in the col picture.
  • the position of the target block in the target picture and the position of the identified block in the call picture may correspond to each other.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 may determine a coll block existing at a predetermined relative position with respect to the identified block as a temporal candidate.
  • the predefined relative position may be a position inside and / or outside of the identified block.
  • the call block may include a first call block and a second call block.
  • the first call block may be a block located at coordinates (xP + nPSW, yP + nPSH).
  • the second call block may be a block located at coordinates (xP + (nPSW >> 1), yP + (nPSH >> 1)). The second call block can optionally be used if the first call block is unavailable.
  • the motion vector of the target block may be determined based on the motion vector of the call block.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 may scale a motion vector of a call block.
  • the scaled motion vector of the call block can be used as the motion vector of the target block.
  • the motion vector of the motion information of the temporal candidate stored in the list may be a scaled motion vector.
  • the ratio of the motion vector of the target block and the motion vector of the call block may be equal to the ratio of the first distance and the second distance.
  • the first distance may be a distance between the reference picture and the target picture of the target block.
  • the second distance may be a distance between the reference picture and the call picture of the call block.
  • the derivation method of the motion information may vary according to the inter prediction mode of the target block.
  • the inter prediction mode applied for inter prediction there may be an enhanced motion vector predictor (AMVP) mode, a merge mode and a skip mode, a current picture reference mode, and the like.
  • AMVP enhanced motion vector predictor
  • the merge mode may be referred to as a motion merge mode. In the following, each of the modes is described in detail.
  • the encoding apparatus 100 may search for a similar block around the target block.
  • the encoding apparatus 100 may obtain the prediction block by performing prediction on the target block using the retrieved motion information of the similar block.
  • the encoding apparatus 100 may encode a residual block that is a difference between the target block and the prediction block.
  • each of the encoding apparatus 100 and the decoding apparatus 200 may generate a predicted motion vector candidate list using the motion vector of the spatial candidate, the motion vector of the temporal candidate, and the zero vector.
  • the predictive motion vector candidate list may include one or more predictive motion vector candidates. At least one of a motion vector of a spatial candidate motion vector, a motion vector of a temporal candidate, and a zero vector may be determined and used as a predictive motion vector candidate.
  • predictive motion vector (candidate) and “motion vector (candidate)” may be used in the same sense and may be used interchangeably.
  • the spatial motion candidate may include the reconstructed spatial neighboring block.
  • the motion vector of the reconstructed neighboring block may be referred to as a spatial prediction motion vector candidate.
  • the temporal motion candidate may include a call block and a block adjacent to the call block.
  • the motion vector of the call block or the motion vector of the block adjacent to the call block may be referred to as a temporal prediction motion vector candidate.
  • the zero vector may be a (0, 0) motion vector.
  • the predictive motion vector candidate may be a motion vector predictor for prediction of the motion vector. Also, in the encoding apparatus 100, the predicted motion vector candidate may be a motion vector initial search position.
  • the encoding apparatus 100 may determine a motion vector to be used for encoding a target block within a search range using the predictive motion vector candidate list. Also, the encoding apparatus 100 may determine a prediction motion vector candidate to be used as a prediction motion vector of the target block among the prediction motion vector candidates of the prediction motion vector candidate list.
  • the motion vector to be used for encoding the target block may be a motion vector that can be encoded at a minimum cost.
  • the encoding apparatus 100 may determine whether to use the AMVP mode in encoding the target block.
  • the encoding apparatus 100 may generate a bitstream including inter prediction information required for inter prediction.
  • the decoding apparatus 200 may perform inter prediction on the target block by using inter prediction information of the bitstream.
  • the inter prediction information includes 1) mode information indicating whether the AMVP mode is used, 2) a predicted motion vector index, 3) a motion vector difference (MVD), 4) a reference direction, and 5) a reference picture index. can do.
  • the inter prediction information may include a residual signal.
  • the decoding apparatus 200 may obtain a predicted motion vector index, a motion vector difference, a reference direction, and a reference picture index from the bitstream through entropy decoding.
  • the prediction motion vector index may indicate a prediction motion vector candidate used for prediction of a target block among prediction motion vector candidates included in the prediction motion vector candidate list.
  • the decoding apparatus 200 may derive the predictive motion vector candidate using the predictive motion vector candidate list, and determine the motion information of the target block based on the derived predicted motion vector candidate.
  • the decoding apparatus 200 may determine the motion vector candidate for the target block from among the prediction motion vector candidates included in the prediction motion vector candidate list using the prediction motion vector index.
  • the decoding apparatus 200 may select a prediction motion vector candidate indicated by the prediction motion vector index from among prediction motion vector candidates included in the prediction motion vector candidate list as the prediction motion vector of the target block.
  • the motion vector to be actually used for inter prediction of the target block may not match the prediction motion vector.
  • the motion vector to be actually used for inter prediction of the target block and MVD may be used to indicate the difference between the predicted motion vector.
  • the encoding apparatus 100 may derive a predictive motion vector similar to the motion vector actually used for inter prediction of the target block in order to use the MVD of the smallest possible size.
  • the MVD may be a difference between the motion vector and the predicted motion vector of the target block.
  • the encoding apparatus 100 may calculate an MVD and entropy encode the MVD.
  • the MVD may be transmitted from the encoding apparatus 100 to the decoding apparatus 200 through a bitstream.
  • the decoding apparatus 200 may decode the received MVD.
  • the decoding apparatus 200 may derive the motion vector of the target block by adding the decoded MVD and the predictive motion vector.
  • the motion vector of the target block derived from the decoding apparatus 200 may be the sum of the entropy decoded MVD and the motion vector candidate.
  • the reference direction may point to the reference picture list used for prediction of the target block.
  • the reference direction may point to one of the reference picture list L0 and the reference picture list L1.
  • each of the reference picture list L0 and the reference picture list L1 may include pictures in the forward and / or reverse direction.
  • That the reference direction is uni-direction may mean that one reference picture list is used.
  • the bi-direction of the reference direction may mean that two reference picture lists are used. That is to say, the reference direction may indicate that only the reference picture list L0 is used, that only the reference picture list L1 is used and one of the two reference picture lists.
  • the reference picture index may indicate a reference picture used for prediction of a target block among reference pictures of the reference picture list.
  • the reference picture index may be entropy encoded by the encoding apparatus 100.
  • the entropy coded reference picture index may be signaled from the encoding apparatus 100 to the decoding apparatus 200 through a bitstream.
  • One reference picture index and one motion vector may be used for each reference picture list.
  • two prediction blocks may be specified for the target block.
  • the (final) prediction block of the target block may be generated through an average or weighted-sum of two prediction blocks for the target block.
  • the motion vector of the target block may be derived by the prediction motion vector index, the MVD, the reference direction, and the reference picture index.
  • the decoding apparatus 200 may generate a prediction block for the target block based on the derived motion vector and the reference picture index.
  • the prediction block may be a reference block indicated by the derived motion vector in the reference picture indicated by the reference picture index.
  • the amount of bits transmitted from the encoding device 100 to the decoding device 200 may be reduced, and encoding efficiency may be improved.
  • the motion information of the neighboring blocks reconstructed with respect to the target block may be used.
  • the encoding apparatus 100 may not separately encode motion information about the target block.
  • the motion information of the target block is not encoded, and other information that can derive the motion information of the target block through the motion information of the reconstructed neighboring block may be encoded instead.
  • the amount of bits transmitted to the decoding apparatus 200 may be reduced, and encoding efficiency may be improved.
  • the inter prediction mode in which the motion information of the target block is not directly encoded may include a skip mode and / or a merge mode.
  • the encoding apparatus 100 and the decoding apparatus 200 may use an identifier and / or an index indicating which motion information of which unit among the reconstructed neighboring units is used as the motion information of the target unit.
  • Merge is a method of deriving the motion information of the target block.
  • Merge may mean merging of motions for a plurality of blocks.
  • Merge may mean applying motion information of one block to other blocks.
  • the merge mode may mean a mode in which the motion information of the target block is derived from the motion information of the neighboring block.
  • the encoding apparatus 100 may predict the motion information of the target block by using the motion information of the spatial candidate and / or the motion information of the temporal candidate.
  • the spatial candidate may include a reconstructed spatial neighboring block spatially adjacent to the target block.
  • Spatially adjacent blocks may include left adjacent blocks and top adjacent blocks.
  • Temporal candidates may include call blocks.
  • the terms “spatial candidate” and “spatial merge candidate” may be used interchangeably and may be used interchangeably.
  • the terms “temporal candidate” and “temporary merge candidate” may be used interchangeably and may be used interchangeably.
  • the encoding apparatus 100 may obtain a prediction block through prediction.
  • the encoding apparatus 100 may encode a residual block that is a difference between a target block and a prediction block.
  • each of the encoding apparatus 100 and the decoding apparatus 200 may generate the merge candidate list using the motion information of the spatial candidate and / or the motion information of the temporal candidate.
  • the motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction.
  • the reference direction may be unidirectional or bidirectional.
  • the merge candidate list may include merge candidates.
  • the merge candidate may be motion information.
  • the merge candidate list may be a list in which motion information is stored.
  • the merge candidates may be motion information such as temporal candidates and / or spatial candidates.
  • the merge candidate list may include a new merge candidate generated by a combination of merge candidates already present in the merge candidate list.
  • the merge candidate list may include new motion information generated by a combination of motion information already present in the merge candidate list.
  • the merge candidate list may include motion information of the zero vector.
  • the zero vector may be referred to as a zero merge candidate.
  • the motion information in the merge candidate list may include: 1) motion information of a spatial candidate, 2) motion information of a temporal candidate, 3) motion information generated by a combination of motion information already present in the merge candidate list, and 4) zero vector. It may be at least one of.
  • the motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction.
  • the reference direction may be referred to as an inter prediction indicator.
  • the reference direction may be unidirectional or bidirectional.
  • the unidirectional reference direction may indicate L0 prediction or L1 prediction.
  • the merge candidate list may be generated before prediction by the merge mode is performed.
  • the number of merge candidates in the merge candidate list may be predefined.
  • the encoding apparatus 100 and the decoding apparatus 200 may add the merge candidates to the merge candidate list according to a predefined method and a predefined rank so that the merge candidate list has a predetermined number of merge candidates.
  • the merge candidate list of the encoding apparatus 100 and the merge candidate list of the decoding apparatus 200 may be identical through the predefined scheme and the predefined ranking.
  • Merge may be applied in a CU unit or a PU unit.
  • the encoding apparatus 100 may transmit a bitstream including predefined information to the decoding apparatus 200.
  • the predefined information may include 1) information indicating whether or not to perform merge for each block partition, and 2) any block among blocks that are spatial candidates and / or temporal candidates for the target block. It may include information about whether it is.
  • the encoding apparatus 100 may determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may perform predictions on the target block by using merge candidates of the merge candidate list and generate residual blocks for the merge candidates. The encoding apparatus 100 may use, for encoding the target block, a merge candidate that requires a minimum cost in prediction and encoding of the residual block.
  • the encoding apparatus 100 may determine whether to use the merge mode in encoding the target block.
  • the encoding apparatus 100 may generate a bitstream including inter prediction information required for inter prediction.
  • the encoding apparatus 100 may generate entropy encoded inter prediction information by performing entropy encoding on the inter prediction information, and may transmit a bitstream including the entropy encoded inter prediction information to the decoding apparatus 200.
  • Entropy encoded inter prediction information may be signaled from the encoding apparatus 100 to the decoding apparatus 200 through the bitstream.
  • the decoding apparatus 200 may perform inter prediction on the target block by using inter prediction information of the bitstream.
  • the inter prediction information may include 1) mode information indicating whether to use the merge mode and 2) the merge index.
  • the inter prediction information may include a residual signal.
  • the decoding apparatus 200 may obtain the merge index from the bitstream only when the mode information indicates that the merge mode is used.
  • the mode information may be a merge flag.
  • the unit of the mode information may be a block.
  • the information on the block may include mode information, and the mode information may indicate whether a merge mode is applied to the block.
  • the merge index may indicate a merge candidate used for prediction of the target block among merge candidates included in the merge candidate list.
  • the merge index may indicate which one of neighboring blocks spatially or temporally adjacent to the target block is performed.
  • the decoding apparatus 200 may perform prediction on the target block by using the merge candidate indicated by the merge index among the merge candidates included in the merge candidate list.
  • the motion vector of the target block may be specified by the motion vector of the merge candidate indicated by the merge index, the reference picture index, and the reference direction.
  • the skip mode may be a mode in which the motion information of the spatial candidate or the motion information of the temporal candidate is applied to the target block as it is.
  • the skip mode may be a mode that does not use the residual signal.
  • the reconstructed block may be a prediction block.
  • the difference between the merge mode and the skip mode may be whether to transmit or use the residual signal.
  • the skip mode may be similar to the merge mode except that no residual signal is transmitted or used.
  • the encoding apparatus 100 transmits, to the decoding apparatus 200, information indicating which of the blocks that are spatial candidates or temporal candidates is used as the motion information of the target block. Can transmit
  • the encoding apparatus 100 may generate entropy encoded information by performing entropy encoding on the information, and may signal the entropy encoded information to the decoding apparatus 200 through a bitstream.
  • the encoding apparatus 100 may not transmit other syntax element information such as MVD to the decoding apparatus 200.
  • the encoding apparatus 100 may not signal syntax elements regarding at least one of an MVC, a coded block flag, and a transform coefficient level to the decoding apparatus 200.
  • Skip mode can also use the merge candidate list.
  • the merge candidate list can be used in both merge mode and skip mode.
  • the merge candidate list may be named "skip candidate list” or "merge / skip candidate list.”
  • the skip mode may use a separate candidate list different from the merge mode.
  • the merge candidate list and the merge candidate may be replaced with the skip candidate list and the skip candidate, respectively.
  • the merge candidate list may be generated before the prediction by the skip mode is performed.
  • the encoding apparatus 100 may determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may perform predictions on the target block by using merge candidates of the merge candidate list. The encoding apparatus 100 may use a merge candidate that requires a minimum cost in prediction for encoding a target block.
  • the encoding apparatus 100 may determine whether to use the skip mode in encoding the target block.
  • the encoding apparatus 100 may generate a bitstream including inter prediction information required for inter prediction.
  • the decoding apparatus 200 may perform inter prediction on the target block by using inter prediction information of the bitstream.
  • the inter prediction information may include 1) mode information indicating whether to use a skip mode and 2) a skip index.
  • the skip index may be the same as the merge index described above.
  • the target block When the skip mode is used, the target block may be encoded without a residual signal.
  • the inter prediction information may not include the residual signal.
  • the bitstream may not include the residual signal.
  • the decoding apparatus 200 may obtain the skip index from the bitstream only when the mode information indicates that the skip mode is used. As described above, the merge index and the skip index may be the same. The decoding apparatus 200 may obtain the skip index from the bitstream only when the mode information indicates that the merge mode or the skip mode is used.
  • the skip index may indicate a merge candidate used for prediction of the target block among merge candidates included in the merge candidate list.
  • the decoding apparatus 200 may perform prediction on the target block by using the merge candidate indicated by the skip index among the merge candidates included in the merge candidate list.
  • the motion vector of the target block may be specified by the motion vector of the merge candidate indicated by the skip index, the reference picture index, and the reference direction.
  • the current picture reference mode may mean a prediction mode that uses a pre-restored region in the current picture to which the target block belongs.
  • a vector can be defined to specify the pre-restored region. Whether the target block is encoded in the current picture reference mode may be determined using the reference picture index of the target block.
  • a flag or index indicating whether the target block is a block encoded in the current picture reference mode may be signaled from the encoding device 100 to the decoding device 200. Alternatively, whether the target block is a block encoded in the current picture reference mode may be inferred through the reference picture index of the target block.
  • the current picture may be added at a fixed position or any position within the reference picture list for the target block.
  • the fixed position may be the position at which the reference picture index is zero or the last position.
  • a separate reference picture index indicating this arbitrary position may be signaled from the encoding apparatus 100 to the decoding apparatus 200.
  • the motion information to be used for prediction of the target block among the motion information in the list may be specified through an index to the list.
  • the encoding apparatus 100 may signal only an index of an element causing a minimum cost in inter prediction of a target block among elements of a list.
  • the encoding apparatus 100 may encode the index and may signal the encoded index.
  • the aforementioned lists (that is, the prediction motion vector candidate list and the merge candidate list) may be derived in the same manner based on the same data in the encoding apparatus 100 and the decoding apparatus 200.
  • the same data may include the reconstructed picture and the reconstructed block.
  • the order of the elements in the list may have to be constant.
  • the large block in the middle may represent the target block.
  • Five small blocks may represent spatial candidates.
  • the coordinates of the target block may be (xP, yP), and the size of the target block may be (nPSW, nPSH).
  • the spatial candidate A 0 may be a block adjacent to the lower left corner of the target block.
  • a 0 may be a block occupying a pixel of coordinates (xP ⁇ 1, yP + nPSH + 1).
  • the spatial candidate A 1 may be a block adjacent to the left side of the target block.
  • a 1 may be the lowest block among blocks adjacent to the left side of the target block.
  • a 1 may be a block adjacent to the top of A 0 .
  • a 1 may be a block occupying a pixel of coordinates (xP-1, yP + nPSH).
  • the spatial candidate B 0 may be a block adjacent to the upper right corner of the target block.
  • B 0 may be a block occupying a pixel of coordinates (xP + nPSW + 1, yP-1).
  • the spatial candidate B 1 may be a block adjacent to the top of the target block.
  • B 1 may be the rightmost block among blocks adjacent to the top of the target block.
  • B 1 may be a block adjacent to the left side of B 0 .
  • B 1 may be a block occupying a pixel of coordinates (xP + nPSW, yP-1).
  • the spatial candidate B 2 may be a block adjacent to the upper left corner of the target block.
  • B 2 may be a block occupying a pixel of coordinates (xP-1, yP-1).
  • the candidate block may include a spatial candidate and a temporal candidate.
  • the above determination may be made by sequentially applying steps 1) to 4) below.
  • Step 1) If the PU including the candidate block is outside the boundary of the picture, the availability of the candidate block may be set to false. "Availability is set to false” may mean the same as “set to unavailable”.
  • Step 2 If the PU containing the candidate block is outside the boundary of the slice, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different slices, the availability of the candidate block may be set to false.
  • Step 3 If the PU containing the candidate block is outside the boundary of the tile, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different tiles, the availability of the candidate block may be set to false.
  • Step 4 If the prediction mode of the PU including the candidate block is an intra prediction mode, the availability of the candidate block may be set to false. If the PU including the candidate block does not use inter prediction, the availability of the candidate block may be set to false.
  • FIG. 10 illustrates an addition order of spatial information of motion candidates to a merge list according to an example.
  • an order of A 1 , B 1 , B 0 , A 0, and B 2 may be used. That is, motion information of available spatial candidates may be added to the merge list in the order of A 1 , B 1 , B 0 , A 0, and B 2 .
  • the maximum number of merge candidates in the merge list may be set.
  • the maximum number set is indicated by N.
  • the set number may be transmitted from the encoding apparatus 100 to the decoding apparatus 200.
  • the slice header of the slice may include N.
  • the maximum number of merge candidates of the merge list for the target block of the slice may be set by the slice header.
  • the value of N may be five.
  • the motion information (ie, merge candidate) may be added to the merge list in the order of steps 1) to 4) below.
  • Step 1) Available spatial candidates among the spatial candidates may be added to the merge list.
  • the motion information of the available spatial candidates may be added to the merge list in the order shown in FIG. 10. In this case, when the motion information of the available spatial candidates overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list. Checking whether it overlaps with other motion information present in the list may be abbreviated as "redundancy check".
  • the added motion information may be up to N pieces.
  • Step 2 If the number of motion information in the merge list is smaller than N and a temporal candidate is available, the motion information of the temporal candidate may be added to the merge list. At this time, if the motion information of the available temporal candidate overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list.
  • Step 3 If the number of motion information in the merge list is less than N and the type of the target slice is "B”, the combined motion information generated by the combined bi-prediction is added to the merge list. Can be.
  • the target slice may be a slice including the target block.
  • the combined motion information may be a combination of L0 motion information and L1 motion information.
  • the L0 motion information may be motion information referring only to the reference picture list L0.
  • the L1 motion information may be motion information referring only to the reference picture list L1.
  • the L0 motion information may be one or more. Also, within the merge list, there may be one or more L1 motion information.
  • the combined motion information may be one or more. Which L0 motion information and which L1 motion information among one or more L0 motion information and one or more L1 motion information are used in generating the combined motion information may be defined. One or more combined motion information may be generated in a predefined order by combined bidirectional prediction using a pair of different motion information in the merge list. One of the pairs of different motion information may be L0 motion information and the other may be L1 motion information.
  • the combined motion information added first may be a combination of L0 motion information having a merge index of 0 and L1 motion information having a merge index of 1. If the motion information having the merge index of 0 is not the L0 motion information or the motion information having the merge index of 1 is not the L1 motion information, the combined motion information may not be generated and added.
  • the additional motion information may be a combination of L0 motion information having a merge index of 1 and L1 motion information having a merge index of 0. The following specific combinations may follow other combinations in the field of encoding / decoding of video.
  • the combined motion information when the combined motion information is overlapped with other motion information already existing in the merge list, the combined motion information may not be added to the merge list.
  • the zero vector motion information may be motion information in which the motion vector is a zero vector.
  • the zero vector motion information may be one or more.
  • the reference picture indices of the one or more zero vector motion information may be different from each other.
  • the value of the reference picture index of the first zero vector motion information may be zero.
  • the value of the reference picture index of the second zero vector motion information may be one.
  • the number of zero vector motion information may be equal to the number of reference pictures in the reference picture list.
  • the reference direction of the zero vector motion information may be bidirectional. Both motion vectors may be zero vectors.
  • the number of zero vector motion information may be smaller than the number of reference pictures in the reference picture list L0 and the number of reference pictures in the reference picture list L1.
  • a unidirectional reference direction may be used for the reference picture index that can be applied to only one reference picture list.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may sequentially add zero vector motion information to the merge list while changing the reference picture index.
  • the zero vector motion information may not be added to the merge list.
  • steps 1) to 4) described above is merely exemplary, and the order between the steps may be interchanged. In addition, some of the steps may be omitted depending on predefined conditions.
  • the maximum number of predicted motion vector candidates in the predicted motion vector candidate list may be predefined.
  • the predefined maximum number is denoted by N.
  • the predefined maximum number may be two.
  • the motion information (ie, the predicted motion vector candidate) may be added to the predicted motion vector candidate list in the order of steps 1) to 3) below.
  • Step 1) Available spatial candidates of the spatial candidates may be added to the predicted motion vector candidate list.
  • Spatial candidates may include a first spatial candidate and a second spatial candidate.
  • the first spatial candidate may be one of A 0 , A 1 , scaled A 0, and scaled A 1 .
  • the second spatial candidate may be one of B 0 , B 1 , B 2 , scaled B 0 , scaled B 1, and scaled B 2 .
  • the motion information of the available spatial candidates may be added to the predicted motion vector candidate list in the order of the first spatial candidate and the second spatial candidate. At this time, if the motion information of the available spatial candidates overlaps with other motion information already existing in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list. In other words, when the value of N is 2, if the motion information of the second spatial candidate is the same as the motion information of the first spatial candidate, the motion information of the second spatial candidate may not be added to the predicted motion vector candidate list.
  • the added motion information may be up to N pieces.
  • Step 2 If the number of motion information in the predicted motion vector candidate list is smaller than N and a temporal candidate is available, motion information of the temporal candidate may be added to the predicted motion vector candidate list. At this time, if the motion information of the available temporal candidate overlaps with other motion information already existing in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list.
  • Step 3 If the number of motion information in the predicted motion vector candidate list is smaller than N, zero vector motion information may be added to the predicted motion vector candidate list.
  • the zero vector motion information may be one or more.
  • the reference picture indices of the one or more zero vector motion information may be different from each other.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may sequentially add zero vector motion information to the predicted motion vector candidate list while changing the reference picture index.
  • the zero vector motion information may not be added to the predicted motion vector candidate list.
  • steps 1) to 3) described above is merely illustrative, and the order between the steps may be interchanged. In addition, some of the steps may be omitted depending on predefined conditions.
  • FIG. 11 illustrates a process of transform and quantization according to an example.
  • a quantized level may be generated by performing a transform and / or quantization process on the residual signal.
  • the residual signal may be generated by the difference between the original block and the prediction block.
  • the prediction block may be a block generated by intra prediction or inter prediction.
  • the transform may include at least one of a primary transform and a secondary transform.
  • the transform coefficients may be generated by performing the primary transform on the residual signal, and the secondary transform coefficients may be generated by performing the secondary transform on the transform coefficients.
  • the primary transform may be performed using at least one of a plurality of pre-defined transform methods.
  • a plurality of pre-defined transformation methods may be based on a discrete cosine transform (DCT), a discrete sine transform (DST), and a karhunen-Lo ⁇ ve transform (KLT). Conversion and the like.
  • a secondary transform may be performed on the transform coefficients generated by performing the primary transform.
  • the transform method (s) applied to the primary transform and / or the secondary transform may be determined according to at least one of the coding parameters for the target block and / or the neighboring block.
  • transformation information indicating a transformation method may be signaled from the encoding apparatus 100 to the decoding apparatus 200.
  • Quantized levels can be generated by performing quantization on the residual signal or the result generated by performing the primary and / or secondary transform.
  • the quantized level may be scanned according to at least one of an upper right diagonal scan, a vertical scan, and a horizontal scan, according to at least one of an intra prediction mode, a block size, and a block type.
  • the coefficients can be changed to a one-dimensional vector form by scanning the coefficients of the block using up-right diagonal scanning.
  • a vertical scan that scans two-dimensional block shape coefficients in a column direction or a horizontal scan that scans two-dimensional block shape coefficients in a row direction may be used instead of the upper right diagonal scan depending on the size of the transform block and / or the intra prediction mode. have.
  • the scanned quantization level may be entropy coded and the bitstream may include entropy coded quantization level.
  • the decoding apparatus 200 may generate a quantized level through entropy decoding on the bitstream.
  • the quantized levels can be aligned in the form of two-dimensional blocks through inverse scanning. In this case, at least one of the upper right diagonal scan, the vertical scan, and the horizontal scan may be performed as a method of reverse scanning.
  • Inverse quantization may be performed at the quantized level.
  • the second inverse transform may be performed depending on whether or not the second inverse transform is performed.
  • the first inverse transform may be performed depending on whether the first inverse transform is performed.
  • the reconstructed residual signal may be generated by performing the first inverse transform on the result generated by the second inverse transform.
  • FIG. 12 is a structural diagram of an encoding apparatus according to an embodiment.
  • the encoding apparatus 1200 may correspond to the encoding apparatus 100 described above.
  • the encoding apparatus 1200 may include a processor 1210, a memory 1230, a user interface (UI) input device 1250, a UI output device 1260, and a storage that communicate with each other through a bus 1290. 1240.
  • the encoding apparatus 1200 may further include a communication unit 1220 connected to the network 1299.
  • the processor 1210 may be a semiconductor device that executes processing instructions stored in the central processing unit (CPU), the memory 1230, or the storage 1240.
  • the processor 1210 may be at least one hardware processor.
  • the processor 1210 may generate and process a signal, data, or information input to the encoding apparatus 1200, output from the encoding apparatus 1200, or used in the encoding apparatus 1200. Inspection, comparison, and judgment related to data or information can be performed. In other words, in an embodiment, generation and processing of data or information, and inspection, comparison, and determination related to the data or information may be performed by the processor 1210.
  • the processor 1210 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, an entropy encoder 150, and inverse quantization.
  • the unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190 may be included.
  • the inter predictor 110, the intra predictor 120, the switch 115, the subtractor 125, the transformer 130, the quantizer 140, the entropy encoder 150, the inverse quantizer 160, At least some of the inverse transform unit 170, the adder 175, the filter unit 180, and the reference picture buffer 190 may be program modules, and may communicate with an external device or system.
  • the program modules may be included in the encoding apparatus 1200 in the form of an operating system, an application program module, and other program modules.
  • the program modules may be physically stored on various known storage devices.
  • at least some of these program modules may be stored in a remote storage device that can communicate with the encoding apparatus 1200.
  • Program modules perform routines or subroutines, programs, objects, components, and data to perform functions or operations, or to implement abstract data types, according to one embodiment. Data structures and the like, but is not limited thereto.
  • the program modules may be composed of instructions or codes performed by at least one processor of the encoding apparatus 1200.
  • the processor 1210 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, an entropy encoder 150, and inverse quantization. Instructions or codes of the unit 160, the inverse transform unit 170, the adder 175, the filter unit 180, and the reference picture buffer 190 may be executed.
  • the storage unit can represent memory 1230 and / or storage 1240.
  • the memory 1230 and the storage 1240 may be various types of volatile or nonvolatile storage media.
  • the memory 1230 may include at least one of a ROM 1231 and a RAM 1232.
  • the storage unit may store data or information used for the operation of the encoding apparatus 1200.
  • data or information included in the encoding apparatus 1200 may be stored in the storage.
  • the storage unit may store a picture, a block, a list, motion information, inter prediction information, a bitstream, and the like.
  • the encoding apparatus 1200 may be implemented in a computer system including a recording medium that may be read by a computer.
  • the recording medium may store at least one module required for the encoding apparatus 1200 to operate.
  • the memory 1230 may store at least one module, and the at least one module may be configured to be executed by the processor 1210.
  • Functions related to communication of data or information of the encoding apparatus 1200 may be performed through the communication unit 1220.
  • the communication unit 1220 may transmit the bitstream to the decoding device 1300 to be described later.
  • FIG. 13 is a structural diagram of a decoding apparatus according to an embodiment.
  • the decoding device 1300 may correspond to the decoding device 200 described above.
  • the decoding apparatus 1300 communicates with each other via a bus 1390 (1310), a memory 1330, a user interface (UI) input device 1350, a UI output device 1360 and storage ( 1340).
  • the decryption apparatus 1300 may further include a communication unit 1320 connected to the network 1399.
  • the processor 1310 may be a semiconductor device that executes processing instructions stored in the central processing unit (CPU), the memory 1330, or the storage 1340.
  • the processor 1310 may be at least one hardware processor.
  • the processor 1310 may generate and process a signal, data, or information input to the decoding apparatus 1300, output from the decoding apparatus 1300, or used in the decoding apparatus 1300. Inspection, comparison, and judgment related to data or information can be performed. In other words, in an embodiment, generation and processing of data or information, and inspection, comparison, and determination related to the data or information may be performed by the processor 1310.
  • the processor 1310 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, an adder 255, a filter 260, and the like.
  • the reference picture buffer 270 may be included.
  • Entropy decoder 210 may be program modules, and may communicate with an external device or system.
  • the program modules may be included in the decryption apparatus 1300 in the form of an operating system, an application program module, and other program modules.
  • the program modules may be physically stored on various known storage devices.
  • at least some of these program modules may be stored in a remote storage device that can communicate with the decryption apparatus 1300.
  • Program modules perform routines or subroutines, programs, objects, components, and data to perform functions or operations, or to implement abstract data types, according to one embodiment. Data structures and the like, but is not limited thereto.
  • the program modules may be composed of instructions or codes performed by at least one processor of the decoding apparatus 1300.
  • the processor 1310 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, an adder 255, a filter 260, and the like. Instructions or codes of the reference picture buffer 270 may be executed.
  • the storage unit may represent the memory 1330 and / or the storage 1340.
  • the memory 1330 and the storage 1340 may be various types of volatile or nonvolatile storage media.
  • the memory 1330 may include at least one of a ROM 1331 and a RAM 1332.
  • the storage unit may store data or information used for the operation of the decoding apparatus 1300.
  • data or information included in the decryption apparatus 1300 may be stored in the storage.
  • the storage unit may store a picture, a block, a list, motion information, inter prediction information, a bitstream, and the like.
  • the decryption apparatus 1300 may be implemented in a computer system including a recording medium that may be read by a computer.
  • the recording medium may store at least one module required for the decoding apparatus 1300 to operate.
  • the memory 1330 may store at least one module, and the at least one module may be configured to be executed by the processor 1310.
  • Functions related to communication of data or information of the decoding apparatus 1300 may be performed through the communication unit 1320.
  • the communication unit 1320 may receive a bitstream from the encoding apparatus 1200.
  • FIG. 14 is a flowchart of a prediction method, according to an exemplary embodiment.
  • the prediction method may be performed by the encoding apparatus 1200 and / or the decoding apparatus 1300.
  • the encoding apparatus 1200 may perform the prediction method of the embodiment to compare the efficiencies of the plurality of prediction schemes for the target block and / or the plurality of divided blocks, and reconstruct the The prediction method of the embodiment may be performed to generate a block.
  • the target block may be at least one of a CTU, a CU, a PU, a TU, a block having a specified size, and a block within a predefined range of sizes.
  • the decoding apparatus 1300 may perform the prediction method of the embodiment to generate a reconstructed block for the target block.
  • the processing unit may correspond to the processing unit 1210 of the encoding apparatus 1200 and / or the processing unit 1310 of the decoding apparatus 1300.
  • the processor may generate a plurality of divided blocks by dividing the target block.
  • the processor may generate the plurality of divided blocks by dividing the target block using coding parameters related to the target block.
  • the processor may generate the plurality of divided blocks by dividing the target block based on one or more of the size of the target block and the shape of the target block.
  • the target block may include a plurality of divided blocks.
  • the plurality of divided blocks may be named a plurality of sub blocks.
  • step 1410 An example of step 1410 is described in detail below with reference to FIG. 15.
  • whether or not to perform the step 1410 that is, whether to divide the target block to generate a plurality of divided blocks may be determined by the information related to the target block.
  • the processor may determine whether to apply the division of the target block based on information related to the target block.
  • the information related to the target block may include a coding parameter for the target block, information related to a picture of the target picture including the target block, information related to a slice including the target block, and a quantization parameter of the target block; QP), the coded block flag (CBF) of the target block, the size of the target block, the depth of the target block, the shape of the target block, the entropy encoding scheme of the target block, the partitioning information of the reference block of the target block, the target It may include at least one of a temporal layer level of the block and a block partition indicator.
  • QP coded block flag
  • the reference block may include one or more of a block spatially adjacent to the target block and a block temporally adjacent to the target block.
  • the processor may determine whether to apply the division of the target block according to the information related to the picture of the target picture.
  • a picture parameter set (PPS) of the target picture may include information indicating whether a block of the target picture is divided. Information indicating whether a block of the target picture is divided may be encoded and / or decoded through the PPS. Alternatively, a picture set to divide a block through the PPS or a picture set not to split the block may be identified.
  • the processor may divide the non-square object block into blocks of the square shape.
  • the processor may determine whether to apply the division of the target block based on the information of the specified picture.
  • the specified picture may be a previous picture of the target picture.
  • the processor may determine whether to apply division of the target block according to whether division is applied to a block of a previous picture of the target picture.
  • the processing unit may divide the non-square shaped target block of the target picture into a square shaped block if the non-square shaped block is divided into blocks of the square shaped. Can be divided into
  • the processor may determine whether to apply the division of the target block based on the information of the slice.
  • the slice may include a target block.
  • the slice may include a reference block.
  • the processor may determine whether to apply the division of the target block according to the type of slice.
  • the type of slice may include an I slice, a B slice, and a P slice.
  • the processor may divide the non-square object block of the object picture into blocks of the square shape.
  • the processor may divide the non-square object block into blocks of the square shape.
  • the processor may determine whether to apply the division of the target block based on information of another slice.
  • the other slice may be a slice before or after the slice containing the target block.
  • the other slice may be a slice including a reference block of the target block.
  • the processor may determine whether to apply the division of the target block according to the type of another slice.
  • Other slice types may include I slices, B slices, and P slices.
  • the processing unit may divide a non-square object block of the target picture into blocks of a square shape.
  • the processing unit may divide the non-square object block into blocks of the square shape.
  • the processor may determine whether to apply the division of the target block based on the quantization parameter of the target block.
  • the processor may divide the non-square object block into blocks of the square shape.
  • the processor may determine whether to apply the division of the target block based on the CBF of the target block.
  • the processing unit divides the non-square-shaped object block into blocks of the square shape when the value of the CBF of the non-square-shaped object block is the same as or corresponds to the specified value. can do.
  • the processor may determine whether to apply the division of the target block based on the size of the target block.
  • the processing unit converts the non-square shaped object block into blocks of square shape when the size of the non-square shaped object block is 1) the same as the specified size or 2) is within the specified range. Can be divided
  • the processing unit may have a sum of the horizontal length and the vertical length of the non-square object block 1) equal to the specified value, 2) above the specified value, 3) below the specified value, or 4 If within the specified range, the non-square object block may be divided into blocks of the square shape.
  • the specified value may be sixteen.
  • the processor may determine whether to apply the division of the target block based on the depth of the target block.
  • the processing unit may convert the non-square shaped object block into blocks of the square shape when the depth of the non-square shaped object block is 1) the same as the specified depth or 2) is within the specified range. Can be divided
  • the processor may determine whether to apply the division of the target block based on the shape of the target block.
  • the processing unit comprises a square of the non-square shaped object block. It can be divided into blocks of the form of.
  • the processor may determine whether to apply the division of the target block based on the block division indicator.
  • the block division indicator may be an indicator indicating whether the target block is divided.
  • the block division indicator may indicate the type of division of the block.
  • the type of division may include the direction of the division.
  • the direction of division may be vertical or horizontal.
  • the type of partitioning may include the number of partitioned blocks generated by the partitioning.
  • the indicator may be information explicitly signaled from the encoding apparatus 1200 to the decoding apparatus 1300 through the bitstream.
  • the indicator may include a block partitioning indicator.
  • the decoding apparatus 1300 may determine whether the target block is divided and the type of the division, directly with the block division indicator provided from the encoding apparatus 1200.
  • the block splitting indicator may be optional.
  • the processor may determine whether to split the target block and the type of splitting according to a condition of using information related to the target block. Thus, whether to divide the target block can be determined without signaling additional information.
  • the processor may divide the non-square object block into blocks of square shape if the block division indicator indicates that the object block is to be divided.
  • the block division indicator may be encoded and / or decoded with respect to at least one unit of SPS, PPS, slice header, tile header, CTU, CU, PU, and TU.
  • the unit in which the block division indicator is provided may be at least one of an SPS, a PPS, a slice header, a tile header, a CTU, a CU, a PU, and a TU.
  • the block division indicator provided for the specified unit may be commonly applied to one or more target blocks included in the specified unit.
  • the processor may determine whether to apply the division of the target block based on the information of the division of the reference block.
  • the reference block may be a spatial neighboring block and / or a temporal neighboring block.
  • the partition information may be at least one of partition information of a quad-tree, partition information of a binary-tree, and information of a quad-tree plus binary-tree.
  • the processing unit may divide the non-square type target block into blocks of square type if the information of the division of the reference block indicates that the target block is divided.
  • the processor may determine whether to apply the division of the target block based on the temporal layer level of the target block.
  • the processing unit replaces the non-square shaped object block with the square shaped block.
  • the information related to the target block may further include information used for encoding and / or decoding the aforementioned target block.
  • the specified value, the specified range, and / or the specified unit may be determined by the encoding apparatus 1200 or the decoding apparatus 1300. If the specified value, the specified range and the specified unit are determined by the encoding apparatus 1200, the determined specified value, the determined specified range and / or the determined specified unit are decoded from the encoding apparatus 1200 through the bitstream. Signaled to the device 1300.
  • the specified value, the specified range and / or the specified unit can be derived by other coding parameters.
  • a coding parameter is shared between the encoding apparatus 1200 and the decoding apparatus 1300 through a bitstream or may be equally derived from the encoding apparatus 1200 and the decoding apparatus 1300 by a predefined derivation scheme, The specified value, the specified range and / or the specified unit may not be signaled from the encoding apparatus 1200 to the decoding apparatus 1300.
  • the processor may induce a prediction mode for at least some of the plurality of divided blocks.
  • the prediction may be intra prediction or inter prediction.
  • step 1420 is described in detail below with reference to FIG. 21.
  • the processor may perform predictions on the plurality of divided blocks based on the derived prediction mode.
  • the processor may perform prediction on at least some of the plurality of divided blocks using the derived prediction mode.
  • the processor may perform prediction on the remaining blocks of the plurality of divided blocks using the prediction mode generated based on the derived prediction mode.
  • 15 is a flowchart of a block partitioning method according to an exemplary embodiment.
  • Step 1410 may include at least one of steps 1510 and 1520.
  • the processor may generate the plurality of divided blocks by dividing the target block based on one or more of the size of the target block and the shape of the target block.
  • the size of the target block may mean a horizontal length of the target block and / or a vertical length of the target block.
  • the shape of the target block may indicate whether the target block is square.
  • the shape of the target block may indicate whether the target block is square or non-square.
  • the shape of the target block may be a ratio of the horizontal length and the vertical length of the target block.
  • the processor may generate the plurality of divided blocks by dividing the target block by using at least one of the method of selecting the prediction mode in step 1510 and the method of selecting the prediction mode in step 1520.
  • the processor may generate the plurality of divided blocks by dividing the target block based on the horizontal length or the vertical length of the target block.
  • the processor may perform division of the target block when the horizontal length and the vertical length of the target block are different.
  • the processor may divide the larger length of the horizontal length and the vertical length of the target block at least once.
  • the processor may divide the target block so that the horizontal length and the vertical length of the divided block are the same.
  • the horizontal length and vertical length of the divided block generated by the division may be equal to or greater than the smaller length of the horizontal length and the vertical length of the target block.
  • the division of the target block based on the example and the length of the target block is illustrated below with reference to FIGS. 16, 17, 18, 19 and 20.
  • the processor may divide the target block when the size of the target block is smaller than the specified size and the horizontal length and the vertical length of the target block are different.
  • the processor may divide the target block when the sum of the width and length of the target block is smaller than the specified value and the width and length of the target block are different.
  • the processor may divide the target block when the size of the target block is included in a specified range and the horizontal length and the vertical length of the target block are different from each other.
  • the processor may generate the plurality of divided blocks by dividing the target block based on the shape of the target block.
  • the processor may not divide the target block when the shape of the target block is square.
  • the processor may divide the target block into a square when the shape of the target block is non-square.
  • the division into a square shape is illustrated below with reference to FIGS. 16, 17, 18 and 20.
  • the processor uses only the size of the target block and the shape of the target block in determining whether to split the target block, and provides information directly indicating whether to split the target block. May not be used. Therefore, information indicating whether a block is divided may not be signaled from the encoding apparatus 1200 to the decoding apparatus 1300, and whether the block is divided may be derived based on the size and / or shape of the target block.
  • 16 illustrates a target block of size 8x4 according to an example.
  • 17 illustrates segmented blocks having a size of 4x4 according to an example.
  • Each size of the first divided block and the second divided block may be 4 ⁇ 4.
  • two divided blocks may be derived by vertically dividing the horizontal length of the target block illustrated in FIG. 16.
  • FIG. 18 illustrates a 4 ⁇ 16 size target block according to an embodiment.
  • 19 illustrates divided blocks of 8x4 size according to an example.
  • Each size of the first divided block and the second divided block may be 8 ⁇ 4.
  • 20 illustrates divided blocks having a size of 4x4 according to an example.
  • Each size of the first divided block, the second divided block, the third divided block, and the fourth divided block may be 4 ⁇ 4.
  • 21 is a flowchart of a method of deriving a prediction mode for a divided block according to an example.
  • Step 1420 may include at least one of steps 2110, 2120, and 2130.
  • prediction modes may be derived for the plurality of divided blocks, and 2) a specified divided block among the plurality of divided blocks.
  • a prediction mode may be derived for P, and 3) a prediction mode common to all of the plurality of divided blocks may be derived.
  • At least one of the steps 2110, 2120 and 2130 may be performed.
  • the processor may induce prediction modes for the plurality of divided blocks, respectively.
  • the processor may induce a prediction mode for each of the plurality of divided blocks using the above-described method of deriving the prediction mode.
  • the processor may induce a prediction mode with respect to the specified divided block among the plurality of divided blocks.
  • the specified divided block may be a block at a specified position among the plurality of divided blocks.
  • the specified divided block may include a topmost block, a bottommost block, a leftmost block, a rightmost block, an nth block from the top, an nth block from the bottom, and a left side of the plurality of divided blocks. At least one of the n-th block and the n-th block from the right. n may be an integer greater than or equal to 1 and less than or equal to the number of divided blocks.
  • the processor may induce the prediction mode for the specified divided block among the plurality of divided blocks using the above-described method of deriving the prediction mode.
  • the derived prediction mode may be used for the remaining blocks except the specified divided block among the plurality of divided blocks.
  • the processor may use the prediction mode derived for the remaining blocks except the specified divided block among the plurality of divided blocks.
  • a combination of the derived prediction mode and another prediction mode may be used for the remaining blocks except the specified divided block among the plurality of divided blocks.
  • the processor may use the prediction mode determined by the combination of the prediction mode and the other prediction mode derived for the remaining blocks except the specified divided block among the plurality of divided blocks.
  • another prediction mode may be determined using coding parameters associated with each remaining block of the remaining blocks.
  • the processor may determine an additional prediction mode using coding parameters associated with the remaining blocks, and may use the combination of the prediction mode and the additional prediction mode derived for the specified block described above to determine the prediction mode for the remaining blocks. You can decide.
  • the combination of prediction modes may be a prediction mode that indicates a direction between the directions of the prediction modes.
  • the combination of prediction modes may be the prediction mode selected by the specified priority of the prediction modes.
  • the prediction mode determined using the combination of prediction modes may be different from each of the prediction modes used for the combination.
  • the processor may induce a prediction mode common to all of the plurality of divided blocks.
  • one prediction mode common to a plurality of divided blocks may be derived.
  • the processor may derive a prediction mode common to all of the divided blocks using coding parameters common to all of the plurality of divided blocks.
  • the processor may use the MPM.
  • the processor may construct the MPM list.
  • the MPM list may include one or more MPM candidate modes.
  • One or more MPM candidate modes may be N.
  • N may be a positive integer.
  • the processor may determine the value of N according to the size and / or shape of the target block. Alternatively, the processor may determine the value of N according to the size, shape, and / or number of divided blocks.
  • Each MPM candidate mode of the one or more MPM candidate modes may be an intra prediction mode of one of the predefined intra prediction modes.
  • the processor may configure one or more MPM candidate modes of the MPM list based on one or more prediction modes of one or more reference blocks of the target block.
  • the reference block may be a block at a predefined position and may be a block adjacent to the target block.
  • the one or more reference blocks may be a block adjacent to the top of the target block and a block adjacent to the left of the target block.
  • the one or more MPM candidate modes may be one or more prediction modes determined based on the prediction modes of the reference blocks.
  • the processor may determine one or more prediction modes specified with reference to the prediction modes of the one or more reference blocks as one or more MPM candidate modes.
  • the one or more MPM candidate modes may be a prediction mode having a high probability of being the prediction mode of the target block. This probability may be calculated by experiment or the like. For example, it is known that due to the local association between the reference block and the target block, it is highly likely that the prediction mode of the reference block is used as the prediction mode of the target mode. Thus, the prediction mode of the reference block may be included in one or more MPM candidate modes.
  • the MPM list may be one or more, and may be plural.
  • the MPM lists may be M pieces. M may be a positive integer.
  • the processor may construct each MPM list of the plurality of MPM lists using different methods.
  • the processor may configure the first MPM list, the second MPM list, and the third MPM list.
  • MPM candidate modes in one or more MPM lists may be different.
  • MPM candidate modes of one or more MPM lists may not overlap each other.
  • a specified intra prediction mode is included in one MPM list
  • a plurality of MPM lists may be configured such that the specified intra prediction mode is not included in another MPM list.
  • the MPM list indicator may be used to specify an MPM list including a prediction mode used for encoding and / or decoding a target block among one or more MPM lists.
  • the MPM list indicated by the MPM list indicator of the one or more MPM lists may be specified, and the processor may use one MPM candidate among one or more MPM candidate modes of the specified MPM list for prediction of the target block.
  • the MPM list indicator may be signaled from the encoding apparatus 1200 to the decoding apparatus 1300 through a bitstream.
  • the decoding apparatus 1300 may directly determine the MPM list mode of the one or more lists to which the MPM candidate mode is to be used for prediction of the target block, directly to the MPM list indicator provided from the encoding apparatus 1200. Can be determined.
  • the MPM usage indicator may use the MPM list to indicate whether to determine the prediction mode.
  • the MPM usage indicator may indicate whether a prediction mode of the target block exists among one or more MPM candidate modes in the configured MPM list.
  • the processor may determine the prediction mode of the target block among the one or more MPM candidate modes by using the index indicator.
  • the index indicator may indicate an MPM candidate mode to be used for prediction of the target block among one or more MPM candidate modes of the MPM list.
  • the processor may determine the MPM candidate mode indicated by the index indicator among one or more MPM candidate modes of the MPM list as the prediction mode of the target block.
  • Index indicators can also be named MPM indexes.
  • MPM list indicator which MPM candidate mode of one or more MPM candidate modes of the MPM list indicated by the MPM list is used for prediction for the target block.
  • Index indicators can be used to indicate value.
  • the prediction mode of the target block may be specified by the MPM list indicator and the index indicator.
  • the processor may determine the prediction mode of the target block using the prediction mode indicator indicating the prediction mode of the target block. have.
  • the prediction mode indicator may indicate the prediction mode of the target block.
  • the prediction mode indicator may indicate one of the prediction modes that are not included in the MPM list (or one or more MPM lists).
  • one or more prediction modes not included in the MPM list or one or more MPM lists may be configured as a prediction mode list in a predefined order, and the prediction mode indicator may predict one of the one or more prediction modes of the prediction mode list. Can point to a mode.
  • One or more prediction modes of the prediction mode list may be sorted in ascending or descending order.
  • the criterion of the alignment may be the number of prediction modes.
  • a separate MPM usage indicator may be used for each of the plurality of MPM lists.
  • the n-th MPM usage indicator for the n-th MPM list may indicate whether a prediction mode of the target block exists in the n-th MPM list.
  • the processor may determine whether a prediction mode of a target block exists in the first MPM list using the first MPM usage indicator.
  • the processor may derive the MPM candidate mode indicated by the index indicator in the first MPM list as the prediction mode of the target block.
  • the processor may determine whether the prediction mode of the target block exists in the second MPM list by using the second MPM usage indicator.
  • the processor may determine whether the prediction mode of the target block exists in the n-th MPM list by using the n-th MPM usage indicator.
  • the processor may determine an MPM candidate mode indicating the prediction mode of the target block in the n-th MPM list by using an index indicator.
  • the processor may determine whether the prediction mode of the target block exists in the n + 1 MPM list using the following n + 1 MPM usage indicator. have.
  • the MPM usage indicator, index indicator, and / or prediction mode indicator may be signaled from the encoding apparatus 1200 to the decoding apparatus 1300 through a bitstream.
  • the decoding apparatus 1300 may include 1) MPM candidate modes of one or more MPM lists and 2) one or more prediction modes not included in the one or more lists. , Which MPM candidate mode or prediction mode is to be used for prediction for the target block may be directly determined by the MPM usage indicator, index indicator and / or prediction mode indicator provided from the encoding apparatus 1200.
  • the MPM list may be configured for the specified unit.
  • the specified unit may be a block or target block of a specified size.
  • the processor may use the configured MPM list to predict a plurality of divided blocks generated by the division.
  • the processor may construct an MPM list for the target block.
  • the processor may derive a prediction mode of each divided block of the plurality of divided blocks using the MPM list configured for the target block.
  • an MPM list for an 8x8 sized block may be constructed and configured for each of 4 4x4 sized blocks. MPM lists can be used.
  • the processor may configure the MPM list for each of the divided blocks in the block of the specified size based on the block of the specified size.
  • the MPM list generated for a block of a specified size may be commonly used for the divided blocks.
  • the MPM list for each partitioned block in the target block can be generated using prediction modes of one or more reference blocks of the target block (not the partitioned block). Can be configured.
  • the processing unit may respectively generate MPM lists for four divided blocks based on one or more reference blocks of the target block. Can be configured.
  • the processor may construct MPM lists for four divided blocks in parallel.
  • the first block may be a specified block among the divided blocks.
  • the first block may be a block in which prediction is performed first of the divided blocks.
  • the processor may induce a prediction mode with respect to the first block in predicting the first block.
  • the processor may use reference samples adjacent to the first block in prediction for the first block.
  • the reference samples may be pixels around the first block.
  • the reference samples may be pixels of the reconstructed block adjacent to the first block.
  • FIG. 23 illustrates prediction of a partitioned block using reconstructed blocks of a partitioned block according to an example.
  • the second block may be a specified block among the divided blocks.
  • the second block may include: 2) a second block where prediction is performed; 3) a block where prediction is last performed; and 3) a prediction after prediction for the first block.
  • Block 4) may be a block in which the prediction is performed after the prediction for the first block, or 5) a block in which the prediction is performed after the prediction for the at least one divided block.
  • the processor may use the prediction mode derived for the first block in predicting the second block.
  • the processor may use reference samples adjacent to the second block in prediction for the second block.
  • the reference samples may be pixels of the reconstructed block adjacent to the second block.
  • the reference samples may include reconstructed pixels of the reconstructed block of the first block.
  • the reference samples may include reconstructed pixels of the reconstructed block of another partitioned block predicted before prediction for the second block.
  • another partitioned block predicted before the prediction for the second block among the plurality of partitioned blocks may be used.
  • FIG. 24 illustrates prediction of a divided block using reference pixels external to the divided block according to an example.
  • the processor may use pixels outside of the plurality of divided blocks as reference samples in prediction of the divided blocks. In other words, in the prediction of the partitioned block, the processor may exclude pixels within the plurality of partitioned blocks from the reference sample. Pixels excluded from the reference sample are either 1) replaced by the nearest pixel in the same direction as the excluded pixel, or 2) pixels adjacent to the target block in the same direction as the excluded pixel. Can be.
  • the reference samples used for the predictions may be reconstructed pixels adjacent to the target block (rather than each partitioned block).
  • the processor may exclude pixels in the reconstructed block of the first block from the reference sample in prediction for the second block, and instead reconstruct adjacent to the reference block.
  • the pixels can be used as reference samples.
  • the processor may use, as reference samples, the reconstructed pixel adjacent to the target block for prediction for each divided block of the plurality of divided blocks generated by the division of the target block.
  • this reference sample prior to the predictions of the plurality of divided blocks, the value of all reference samples used in the predictions of the plurality of divided blocks can be determined.
  • the processor may determine the values of all reference samples used in the predictions of the plurality of partitioned blocks, prior to the predictions of the plurality of partitioned blocks, and perform the predictions of the plurality of partitioned blocks in parallel. .
  • 25 illustrates prediction of four divided blocks according to an example.
  • four divided blocks of the first block, the second block, the third block, and the fourth block may be generated by the division of the target block.
  • the processor may induce a prediction mode for the specified divided block among the plurality of divided blocks.
  • a prediction mode may be derived for a fourth block that is, for example, the lowest block.
  • the derived prediction mode may be used for the remaining blocks, the first block, the second block, and the third block.
  • the processor may first perform prediction on the specified divided block from which the prediction mode is derived among the plurality of divided blocks. Next, the processor may perform prediction using the prediction mode derived for the remaining blocks except for the above-specified block among the plurality of blocks.
  • the processor may use the reconstructed pixels around the specified divided block and / or the target block as reference samples in performing the prediction on the specified divided block in which the prediction mode is derived.
  • the processor may use the reconstructed pixels adjacent to the top of the target block as reference pixels in prediction for the fourth block.
  • the processor may perform predictions of the plurality of divided blocks according to a predefined order.
  • the predefined order may be different from the order for general blocks that are not generated by partitioning.
  • the predefined order may be 1) the order from the bottommost block to the topmost block, or 2) the order from the rightmost block to the leftmost block.
  • the predefined order may be 3) the order in which the lowest block is selected first, and then sequentially from the top block to the second to second block, or 4) the rightmost block is the most.
  • the first selection may be followed by a sequence sequentially selected from the leftmost block to the second rightmost block.
  • the predefined order may be arbitrarily determined by the encoding apparatus 1200 and / or the decoding apparatus 1300.
  • the predefined order may be signaled from the encoding apparatus 1200 to the decoding apparatus 1300.
  • the prediction order indicator may indicate the order of predictions for the plurality of divided blocks.
  • the encoding apparatus 1200 may determine the value of the prediction order indicator.
  • the prediction order indicator may be signaled from the encoding apparatus 1200 to the decoding apparatus 1300 through a bitstream.
  • the predefined order may be derived according to the same predefined method in each of the encoding apparatus 1200 and / or the decoding apparatus 1300.
  • the processor may derive the predefined order using coding parameters related to the target block.
  • FIG. 26 illustrates prediction for a first block after prediction for a fourth block is performed according to an example.
  • a predefined order may be used.
  • the prediction is performed on the lowest block among the plurality of divided blocks first, and then the blocks are sequentially sequentially from top to bottom to the second to second blocks. Prediction for may be performed. In the order of the embodiments, “lowest” may be replaced by “right” and “top” by “left”.
  • the processor may use pixels of the reconstructed block of the previously predicted partitioned block of prediction for each partitioned block as reference samples. have.
  • the processor may use the pixels of the reconstructed block of the previously predicted fourth block as reference samples in prediction for the first block.
  • reference samples in more directions are compared to performing prediction for the partitioned block only in the general order. Can be provided. For example, as shown in FIG. 26, reference samples located below for the first block may be provided.
  • the processing unit may perform intra prediction using reference samples adjacent to the bottom of the divided block, and intra prediction using reference samples adjacent to the right side of the divided block, in the prediction on the divided block. You can make predictions.
  • reference samples adjacent to the bottom of the divided block may be copied into the prediction block in an upward, leftward and / or rightward direction.
  • Reference samples adjacent to the right side of the divided block may be copied in the prediction block in a leftward, leftward and / or leftward direction.
  • FIG. 27 illustrates a prediction for a second block according to an example.
  • the prediction for the second block may be performed after the prediction for the fourth block and the prediction for the first block.
  • pixels of the reconstructed block of the fourth block and pixels of the reconstructed block of the first block may be included as reference samples used for prediction for the second block.
  • the processor may use the pixels of the reconstructed blocks of the other divided blocks as reference samples in performing the prediction on the specified divided block among the plurality of divided blocks.
  • the other divided blocks may be blocks in which the prediction has been performed before the prediction for the specified divided block among the plurality of divided blocks.
  • the reference samples shown in FIG. 27 may be used for prediction for the third block.
  • the prediction for the third block may be performed last after the prediction for the fourth block, the prediction for the first block, and the prediction for the second block.
  • 28 may represent available reference samples in prediction for a third block.
  • a reference sample type to be used for prediction of the divided block among a plurality of reference sample types may be selected.
  • the processor may include the reference samples shown in FIG. 25, the reference samples shown in FIG. 26, the reference samples shown in FIG. 27, and the reference samples shown in FIG. 28 in the prediction for the third block. You can use either.
  • the processor may use reference samples according to one reference sample type among a plurality of reference sample types in performing prediction on the specified divided block.
  • the plurality of reference sample types may include a first reference sample type, a second reference sample type, and a third reference sample type.
  • Reference samples of the first reference sample type may be reconstructed pixels adjacent to the target block.
  • the reference samples of the first reference sample type may be the reference samples shown in FIG. 25.
  • the reference samples of the second reference sample type may be the reference samples of the first reference sample type and the pixels of the reconstructed block of the divided block in which the prediction was previously performed.
  • the reference samples of the second reference sample type may be the reference samples shown in FIG. 26 or FIG. 27.
  • the pixels of the reconstructed block of the partitioned block from which the prediction was previously performed may be used for a direction not covered by only the reconstructed pixels adjacent to the target block.
  • the reconstructed pixels adjacent to the target block may be used more preferentially than the pixels of the reconstructed block of the divided block.
  • the pixels of the reconstructed block of the partitioned block from which the prediction was previously performed may replace at least some of the reconstructed pixels adjacent to the target block.
  • the pixels of the reconstructed block of the divided block may be used more preferentially than the reconstructed pixels adjacent to the target block.
  • the reconstruction of the partitioned block previously predicted was performed.
  • the pixels of the constructed block can be used for prediction of the specified partitioned block (instead of the reconstructed pixels adjacent to the target block), and the reconstructed pixels adjacent to the target block are partitioned blocks from which the prediction was previously performed. It can only be used for directions that are not covered by the pixels of the reconstructed block of.
  • Reference samples of the third reference sample type may be reconstructed pixels adjacent to the specified divided block.
  • the reference samples of the third reference sample type may be the reference samples shown in FIG. 28.
  • the processor may determine reference samples to be used in prediction for the divided block using information related to the target block or the divided block.
  • the processor may determine reference samples to be used in prediction for the divided block based on the reference sample indicator.
  • the reference sample indicator may be an indicator indicating reference samples to be used in the prediction for the block.
  • the reference sample indicator may indicate a reference sample type to be used in the prediction for the block among the plurality of reference sample types.
  • the processor may determine the value of the reference sample indicator.
  • the reference sample indicator may be signaled from the encoding apparatus 1200 to the decoding apparatus 1300 through the bitstream. Or, coding parameters associated with the reference block or the divided block may be used to at least partially determine the reference sample indicator.
  • the decoding apparatus 1300 may directly determine the reference samples to be used for prediction on the divided block by the reference sample indicator provided from the encoding apparatus 1200.
  • the processor may perform filtering on the reference samples and determine whether to perform the filtering on the reference samples.
  • the processor may determine whether to perform filtering on the reference samples based on the size and / or shape of the target block.
  • the processor may determine whether to perform filtering on the reference samples based on the size and / or shape of the divided block.
  • the processor may determine whether to perform filtering on the reference samples according to whether to use the reconstructed block adjacent to the target block as the reference block of the divided block.
  • the processor may determine whether to perform filtering on the reference samples according to whether to perform predictions of the divided blocks in parallel.
  • the processor may determine whether to perform filtering on the reference samples according to the specified function, operation, and processing described in the embodiment.
  • the processor may determine whether to perform filtering on the reference samples based on coding parameters related to the target block or coding parameters related to the divided block.
  • 29 is a flowchart of a prediction method, according to an embodiment.
  • a plurality of divided blocks are generated by dividing a target block in step 1410, and for at least some of the prediction modes of the plurality of divided blocks in step 1420.
  • the prediction mode has been described as being derived.
  • a plurality of divided blocks may be generated by dividing a target block.
  • the processor may induce a prediction mode.
  • the derived prediction mode may be a prediction mode for the target block.
  • the processor may induce the prediction mode according to the method of deriving the prediction mode for the above-described target block.
  • the derived prediction mode may be a prediction mode used for predictions of a plurality of divided blocks generated by partitioning of the target block when splitting is performed on the target block.
  • the derived prediction mode may be a prediction mode used when the target block is divided.
  • the derived prediction mode may be plural.
  • the plurality of derived prediction modes may be used for predictions of the plurality of divided blocks, respectively, generated by the division of the target block.
  • the description relating to derivation of the prediction mode of the divided block in the above-described embodiment can also be applied to derivation of the prediction mode of the present embodiment.
  • MPM may be used in derivation of the prediction mode.
  • Duplicate explanations are omitted.
  • the processor may generate a plurality of divided blocks by dividing the target block.
  • step 2920 The description relating to the division of the target block described above with reference to step 1410 and the like may also be applied to step 2920. Duplicate explanations are omitted.
  • the processor may perform prediction on at least some of the plurality of divided blocks using the derived prediction mode.
  • a prediction mode is derived for a specified partitioned block among the plurality of partitioned blocks, and a partitioning specified for the remaining blocks except for the specified partitioned block. It has been described that for a given block, the derived prediction mode or the prediction mode determined based on the derived prediction mode is used. This description is understood that a prediction mode is derived in step 2910 and a prediction mode derived in step 2910 or a prediction mode determined based on the derived prediction mode is used for a plurality of divided blocks. Can be. Duplicate explanations are omitted.
  • FIG. 30 illustrates derivation of a prediction mode for a target block according to an example.
  • a prediction mode for a target block may be derived. Once the prediction mode for the target block is derived, predictions for the first block and the second block may be performed using the derived prediction mode, similar to those described above with reference to FIGS. 22, 23, and 24.
  • a plurality of prediction modes may be derived for the target block.
  • a plurality of derived prediction modes may each be used for predictions of the divided blocks.
  • the processor may determine which prediction mode from among the plurality of derived prediction modes to use for prediction of which divided block according to a method of using a coding parameter related to the target block.
  • 31 is a flowchart of a method of predicting a target block and a method of generating a bitstream, according to an embodiment.
  • the prediction method and the bitstream generation method of the target block according to the embodiment may be performed by the encoding apparatus 1200.
  • the embodiment may be part of an encoding method or a video encoding method of a target block.
  • the processor 1210 may perform block division and derivation of a prediction mode.
  • Step 3110 may correspond to steps 1410 and 1420 described above with reference to FIG. 14. Step 3110 may correspond to steps 2910 and 2920 described above with reference to FIG. 29.
  • the processor 1210 may perform prediction using the derived prediction mode.
  • Step 3120 may correspond to step 1430 described above with reference to FIG. 14. Step 3120 may correspond to step 2930 described above with reference to FIG. 29.
  • the processor 1210 may generate prediction information. Prediction information may be generated at least partially in step 3110 or 3120.
  • the prediction information may be information used for the division of the aforementioned block and derivation of the prediction mode.
  • the prediction information may include the indicators described above.
  • the processor 1210 may generate a bitstream.
  • the bitstream may include information about the encoded target block.
  • the information about the encoded target block may include transform and quantized coefficients of the target block and / or the divided block, and may include coding parameters of the target block and / or the divided block.
  • the bitstream may include prediction information.
  • the processor 1210 may perform entropy encoding on prediction information, and may generate a bitstream including entropy-coded prediction information.
  • the processor 1210 may store the generated bitstream in the storage 1240.
  • the communication unit 1220 may transmit the bitstream to the decoding device 1300.
  • 32 is a flowchart of a method of predicting a target block using a bitstream, according to an embodiment.
  • the prediction method of the target block using the bitstream of the embodiment may be performed by the decoding apparatus 1300.
  • An embodiment may be part of a decoding method or a video decoding method of a target block.
  • the communicator 1320 may acquire a bitstream.
  • the communication unit 1320 may receive a bitstream from the encoding apparatus 1200.
  • the bitstream may include information about the encoded target block.
  • the information about the encoded target block may include transform and quantized coefficients of the target block and / or the divided block, and may include coding parameters of the target block and / or the divided block.
  • the bitstream may include prediction information.
  • the processor 1310 may store the obtained bitstream in the storage 1240.
  • the processor 1310 may obtain prediction information from the bitstream.
  • the processor 1310 may obtain the prediction information by performing entropy decoding on the entropy-coded prediction information of the bitstream.
  • the processor 1210 may perform block division and derivation of a prediction mode using the prediction information.
  • Step 3230 may correspond to steps 1410 and 1420 described above with reference to FIG. 14. Step 3230 may correspond to steps 2910 and 2920 described above with reference to FIG. 29.
  • the processor 1210 may perform prediction using the derived prediction mode.
  • Step 3240 may correspond to step 1430 described above with reference to FIG. 14.
  • Step 3240 may correspond to step 2930 described above with reference to FIG. 29.
  • the target block is divided based on the size and / or shape of the target block.
  • splitting indicators may be used.
  • the partition indicator may indicate whether to generate two or more divided blocks by dividing the block, and use each divided block of the generated divided blocks as a unit of encoding and decoding. .
  • the split indicator of the block may be a binary tree split indicator indicating whether to split the block into the form of a binary-tree.
  • the name of the binary tree splitting indicator may be "binarytree_flag” or "BTsplitFlag”.
  • the split indicator of the block may be a quad tree split indicator indicating whether to split the block into a quad-tree.
  • the first predefined value of the split indicator values may indicate that the block is not split, and the second predefined value may indicate that the block is split.
  • the processor may not divide the block.
  • the block when the partition indicator of the block is present and the partition indicator has a first predefined value, the block may not be divided even if the block has a shape and shape to which the partition is applied.
  • the processor may divide the block to generate the divided blocks, and perform encoding and / or decoding on the divided blocks. have. Also, when the division indicator of the block has a second predefined value, the processor may divide the block to generate the divided blocks, and the divided block is re-divided by the shape and / or shape of the divided block. May be
  • the split indicator of the target block may indicate whether to split the target block with respect to the target block.
  • the split indicator of the upper block of the target block may indicate whether to split the upper block.
  • the processor may divide the upper block into a plurality of blocks including the target block. That is, in the embodiments, the above-described object block may also be regarded as a block generated by division by a division indicator or the like.
  • 33 illustrates division of an upper block according to an example.
  • the upper block is divided into a plurality of blocks including the target block.
  • a plurality of blocks including the target block may be the targets or units of specified processing of encoding and / or decoding, respectively.
  • the target block is again a plurality of targets. It may be divided into blocks. Each divided block of the plurality of divided blocks may be an object or unit of a specified process of encoding and / or decoding.
  • the divided blocks have been described as being units of prediction.
  • the divided blocks of the embodiment may be a unit of other processing in encoding and / or decoding other than prediction.
  • a target block or a divided block is used as a unit of processing for prediction, transform, quantization, inverse transform, inverse quantization, etc. in encoding and / or decoding of a block is described.
  • 35 is a signal flowchart illustrating a method of encoding and decoding an image, according to an exemplary embodiment.
  • the processor 1210 of the encoding apparatus 1200 may perform prediction related to the target block.
  • the processor 1210 of the encoding apparatus 1200 may perform transformation associated with the target block based on the prediction.
  • the processor 1210 of the encoding apparatus 1200 may generate a bitstream including a result of the transformation.
  • the communication unit 1220 of the encoding apparatus 1200 may transmit the bitstream to the communication unit 1320 of the decoding apparatus 1300.
  • the processor 1310 of the decoding apparatus 1300 may extract a result of the transformation.
  • the processor 1310 of the decoding apparatus 1300 may perform inverse transformation associated with the target block.
  • the processor 1310 of the decoding apparatus 1300 may perform prediction related to the target block.
  • steps 3510, 3520, 3530, 3540, 3550, 3560 and 3570 are described in detail below. do.
  • the processor 1210 may generate a residual block for the target block by performing prediction on the target block.
  • the processor 1210 may perform transformation in units of divided blocks.
  • the processor 1210 may generate divided residual blocks by dividing the residual block, and may generate coefficients of the divided block by performing transformation on each of the divided residual blocks.
  • the transform may be interpreted to include in addition to the transform and quantization.
  • the inverse transform includes inverse quantization and can then be interpreted that the inverse transform is performed.
  • Coefficients can also be interpreted to mean transformed and quantized coefficients.
  • the result of the transformation of step 3530 may include coefficients of the plurality of divided blocks.
  • the processor 1310 may perform inverse transformation of the divided block unit using coefficients of the divided block.
  • the processor 1210 may generate the reconstructed divided residual block by performing inverse transform on the coefficients of the divided block.
  • the plurality of recovered partitioned residual blocks for the plurality of partitioned blocks may constitute a restored residual block for the target block.
  • the reconstructed residual block for the target block may include a plurality of reconstructed divided residual blocks.
  • the processor 1310 may generate a prediction block for the target block by performing prediction on the target block, and generate a reconstructed block by adding the prediction block and the reconstructed residual block.
  • the recovered block may include the recovered samples.
  • the TU partition indicator may indicate whether transform and inverse transform are performed in units of partitioned blocks.
  • the name of the TU split indicator may be "TUsplitFlag".
  • the TU partition indicator may be signaled through the bitstream.
  • the target block is divided into a plurality of divided blocks in the steps of transform and inverse transform, and transform and inverse transform on the divided block Whether this is to be performed may be signaled by the TU split indicator.
  • the target block is configured to perform a plurality of steps in the steps of transform and inverse transform.
  • the TU partition indicator may be signaled whether the partition is divided into partitioned blocks and whether transform and inverse transform are performed on the partitioned block.
  • the target block is divided into a plurality of divided blocks in the steps of transform and inverse transform, Whether transform and inverse transform are to be performed may be signaled by the TU partition indicator.
  • the shape and / or shape to which the division is applied may be the shape and / or the shape described as the division of the object block is made in the other embodiments described above, such as, for example, the shape of a non-square.
  • the shape and / or shape to which division is applied may mean including a state and / or a condition in which the division of the target block is performed in another embodiment described above. The same applies to the following.
  • the target block may be divided into a plurality of square divided blocks in the steps of transform and inverse transform, A transform and an inverse transform can be performed on the transform.
  • the target block is square in the steps of transform and inverse transform.
  • the divided blocks may be divided into a plurality of divided blocks, and transform and inverse transform may be performed on the divided blocks.
  • the target block may be divided into a plurality of divided blocks in the steps of transform and inverse transform, and divided Transform and inverse transform may be performed on the block.
  • partitioned blocks are units of transform, inverse transform, and prediction
  • the processor 1210 may perform prediction on a divided block basis. In other words, the processor 1210 may generate a partitioned residual block for the partitioned block by performing prediction on the partitioned block.
  • the prediction may be intra prediction.
  • the processor 1210 may perform transformation in units of divided blocks. In other words, the processor 1210 may generate coefficients of the divided block by performing transformation on the divided residual block.
  • the result of the transformation of step 3530 may include coefficients of the plurality of divided blocks.
  • the processor 1310 may perform inverse transformation on a divided block basis.
  • the processor 1210 may generate the reconstructed divided residual block by performing inverse transform on the coefficients of the divided residual block.
  • the processor 1310 may perform prediction on a divided block basis.
  • the processor 1310 may generate the partitioned prediction block by performing prediction on the partitioned block, and may generate the partitioned restored block by adding the partitioned prediction block and the restored residual block.
  • the divided reconstructed blocks of the plurality of divided blocks may constitute a reconstructed block for the target block.
  • the reconstructed block for the target block may include partitioned reconstructed blocks.
  • the recovered block may include the recovered samples.
  • the PU partition indicator may indicate whether prediction, transform, and inverse transform are performed in units of a divided block.
  • the name of the PU split indicator may be "Intra_PU_SplitFlag".
  • the PU partition indicator may be signaled through the bitstream.
  • the target block is divided into a plurality of divided blocks in the step of prediction, and prediction, transform and inverse transform are performed on the divided block. Whether to be performed may be signaled by the PU partition indicator.
  • the target block is a plurality of divided blocks in the step of prediction. And whether prediction, transform, and inverse transform are performed on the partitioned block may be signaled by the PU partitioning indicator.
  • the target block is divided into a plurality of divided blocks at the stage of prediction, and prediction for the divided block is performed. Whether transform and inverse transform are to be performed may be signaled by the PU partition indicator.
  • the target block may be divided into a plurality of divided blocks in the step of prediction, and the prediction, transform and Inverse transformation can be performed.
  • the target block when the value of the split indicator of the upper block is a second predefined value, and the value of the split indicator of the target block is a first predefined value, the target block is a plurality of square divisions in the prediction step.
  • the divided blocks may be divided, and prediction, transform, and inverse transform may be performed on the divided blocks.
  • the target block may be divided into a plurality of divided blocks at the stage of prediction, and for the divided blocks Prediction, transformation, and inverse transformation can be performed.
  • the target block is a unit of transform and inverse transform
  • the processor 1210 may perform prediction on a divided block basis. In other words, the processor 1210 may generate a divided residual block for the divided block by performing prediction on the divided block.
  • the divided residual block of the plurality of divided blocks may constitute a residual block of the target block.
  • the processor 1210 may perform transformation on a target block basis.
  • the processor 1210 may configure the residual block of the target block by using the divided residual blocks of the plurality of divided blocks.
  • the residual block of the target block may include divided residual blocks of the plurality of divided blocks.
  • the processor 120 may generate coefficients of the target block by performing transformation on the residual block of the target block.
  • the result of the transformation of step 3530 may include the coefficients of the target block.
  • the processor 1310 may perform inverse transformation on a target block basis by using coefficients of the target blocks.
  • the processor 1210 may generate the reconstructed residual block by performing inverse transform on the coefficients of the target block.
  • the reconstructed residual block may constitute a plurality of reconstructed divided residual blocks.
  • the processor 1310 may generate a plurality of recovered divided residual blocks by dividing the restored residual blocks.
  • the reconstructed residual block may include a plurality of reconstructed divided residual blocks.
  • the processor 1310 may perform prediction on a divided block basis.
  • the processor 1210 may generate a partitioned prediction block for the partitioned block by performing prediction on the partitioned block, and the partitioned block reconstructed by adding the partitioned prediction block and the restored partitioned residual block. Can be generated.
  • different prediction modes may be applied to the plurality of divided blocks, respectively.
  • the plurality of recovered partitioned blocks for the plurality of divided blocks may constitute a restored block for the target block.
  • the reconstructed block for the target block may include a plurality of reconstructed divided blocks.
  • the TU merge PU partition indicator may indicate whether prediction is performed in units of a divided block, and whether transform and inverse transform are performed in units of a target block.
  • the name of the TU merge PU partition indicator may be "TU_Merge_PU_splitFlag".
  • the TU merge PU partition indicator may be signaled through the bitstream.
  • the value of the split indicator of the higher block is a second predefined value, whether the transform and inverse transform is performed on the target block, and whether the prediction is performed on the split block to the TU merge PU split indicator May be signaled.
  • the transform and inverse transform is performed on the target block, and the split Whether prediction is to be performed on the received block may be signaled by the TU merge PU partition indicator.
  • the TU merge is performed whether transform and inverse transform are performed on the target block and prediction is performed on the divided block. It may be signaled by the PU partition indicator.
  • prediction may be performed on the divided block, and the transform on the target block is performed after the prediction on the divided blocks. Can be.
  • inverse transform may be performed on the target block, predictions may be performed on blocks divided after the inverse transform on the target block, A reconstruction sample for the target block can be generated.
  • prediction when the value of the partition indicator of the higher block is the second predefined value and the value of the partition indicator of the target block is the first predefined value, prediction may be performed on the divided block, After the prediction on the divided blocks, the transform on the target block may be performed.
  • inverse transform when the value of the split indicator of the higher block is the second predefined value, and the value of the split indicator of the target block is the first predefined value, inverse transform may be performed on the target block, and inverse transform on the target block. Predictions on the divided blocks after may be performed, and a reconstruction sample for the target block may be generated.
  • the shape and / or shape of the target block is a shape and / or shape to which division is applied
  • prediction may be performed on the divided block, and the prediction may be performed on the target block after the prediction on the divided blocks. Conversion may be performed.
  • an inverse transform may be performed on the target block, and predictions are performed on blocks divided after the inverse transform on the target block.
  • the reconstruction sample for the target block may be generated.
  • the methods are described based on a flowchart as a series of steps or units, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or simultaneously from other steps as described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Abstract

비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것으로서, 비디오의 부호화 및 복호화에 있어서, 대상 블록을 분할함으로써 복수의 분할된 블록들이 생성된다. 복수의 분할된 블록들 중 적어도 일부에 대하여 예측 모드가 유도되며, 유도된 예측 모드에 기반하여 복수의 분할된 블록들에 대한 예측들이 수행될 수 있다. 분할된 블록에 대한 예측을 수행함에 있어서, 대상 블록에 관련된 정보가 사용될 수 있으며, 분할된 블록의 이전에 예측된 다른 분할된 블록에 관련된 정보가 사용될 수 있다.

Description

블록 형태에 기반한 예측 방법 및 장치
아래의 실시예들은 비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것으로서, 비디오의 부호화 및 복호화에 있어서 블록의 형태에 기반하여 예측을 수행하는 방법 및 장치에 관한 것이다.
본 발명은 2017년 3월 22일 출원된 한국특허출원 제10-2017-0036257호, 2017년 11월 20일 출원된 한국특허출원 제10-2017-0155097호 및 2018년 3월 22일 출원된 한국특허출원 제10-2018-0033424호의 출원일의 이익을 주장하며, 그 내용 전부는 본 명세서에 포함된다.
정보 통신 산업의 지속적인 발달을 통해 HD(High Definition) 해상도를 가지는 방송 서비스가 세계적으로 확산되었다. 이러한 확산을 통해, 많은 사용자들이 고해상도이며 고화질인 영상(image) 및/또는 비디오(video)에 익숙해지게 되었다.
높은 화질에 대한 사용자들의 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. 에이치디티브이(High Definition TV; HDTV) 및 풀에이치디(Full HD; FHD) TV뿐만 아니라, FHD TV에 비해 4배 이상의 해상도를 갖는 울트라에이치디(Ultra High Definition; UHD) TV에 대한 사용자들의 관심이 증대하였고, 이러한 관심의 증대에 따라, 더 높은 해상도 및 화질을 갖는 영상에 대한 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.
영상 부호화(encoding)/복호화(decoding) 장치 및 방법은 고해상도 및 고화질의 영상에 대한 부호화/복호화를 수행하기 위해, 인터(inter) 예측(prediction) 기술, 인트라(intra) 예측 기술 및 엔트로피 부호화 기술 등을 사용할 수 있다. 인터 예측 기술은 시간적으로(temporally) 이전의 픽처 및/또는 시간적으로 이후의 픽처를 이용하여 현재 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 인트라 예측 기술은 현재 픽처 내의 픽셀의 정보를 이용하여 현재 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 엔트로피 부호화 기술은 출현 빈도가 높은 심볼에는 짧은 코드(code)를 할당하고, 출현 빈도가 낮은 심볼에는 긴 코드를 할당하는 기술일 수 있다.
인트라 예측 및/또는 인터 예측의 효율 및 정확성을 향상시키기 위하여 다양한 예측 방법이 개발되었다. 예를 들면, 효율적인 예측을 위해 블록이 분할될 수 있고, 분할에 의해 생성된 블록들의 각각에 대해 예측이 수행될 수 있다. 블록의 분할의 여부에 따라서 예측의 효율이 크게 변할 수 있다.
일 실시예는 블록의 크기 및/또는 형태에 기반하여 블록을 분할하고, 분할된 블록에 대해 예측 모드를 유도하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법을 제공할 수 있다.
일 실시예는 유도된 예측 모드에 따라서 분할된 블록에 대한 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법을 제공할 수 있다.
일 측에 있어서, 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계; 상기 복수의 분할된 블록들 중 적어도 일부에 대하여 예측 모드를 유도하는 단계; 및 상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계를 포함하는 부호화 방법이 제공된다.
다른 일 측에 있어서, 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계; 상기 복수의 분할된 블록들 중 적어도 일부에 대하여 예측 모드를 유도하는 단계; 및 상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계를 포함하는 복호화 방법이 제공된다.
상기 대상 블록의 분할의 여부는 상기 대상 블록과 관련된 정보에 기반하여 결정될 수 있다.
상기 대상 블록의 분할의 여부 및 상기 분할의 유형은 블록 분할 지시자에 기반하여 결정될 수 있다.
상기 대상 블록은 상기 대상 블록의 크기에 기반하여 분할될 수 있다.
상기 대상 블록은 상기 대상 블록의 형태에 기반하여 분할될 수 있다.
상기 복수의 분할된 블록들 중 특정된 분할된 블록에 대하여 예측 모드가 유도될 수 있다.
상기 특정된 분할된 블록은 상기 복수의 분할된 블록들 중 특정된 위치의 블록일 수 있다.
상기 복수의 분할된 블록들 중 상기 특정된 분할된 블록을 제외한 나머지의 블록에 대해서는 상기 특정된 분할된 블록에 대하여 유도된 예측 모드가 사용될 수 있다.
상기 복수의 분할된 블록들 중 상기 특정된 분할된 블록을 제외한 나머지의 블록에 대해서는 상기 특정된 분할된 블록에 대하여 유도된 예측 모드 및 다른 예측 모드의 조합에 의해 결정된 예측 모드가 사용될 수 있다.
상기 예측 모드의 유도에 있어서 최고 확률 모드(Most Probable Mode; MPM) 리스트가 사용될 수 있다.
상기 MPM 리스트는 복수일 수 있다.
상기 복수의 MPM 리스트의 MPM 후보 모드들은 서로 중복되지 않을 수 있다.
상기 MPM 리스트는 특정된 단위에 대해서 구성될 수 있다.
상기 특정된 단위는 상기 대상 블록일 수 있다.
상기 복수의 분할된 블록들에 대한 MPM 리스트들은 상기 대상 블록의 하나 이상의 참조 블록들에 기반하여 구성될 수 있다.
상기 복수의 분할된 블록들 중 제2 블록에 대한 예측에 있어서 상기 복수의 분할된 블록들 중 제1 블록에 대하여 유도된 예측 모드가 사용될 수 있다.
상기 제1 블록의 재구축된 픽셀이 상기 제2 블록에 대한 예측의 참조 샘플들로서 사용될 수 있다.
상기 복수의 분할된 블록들의 예측들에 사용되는 참조 샘플들은 상기 대상 블록에 인접한 재구축된 픽셀들일 수 있다.
상기 복수의 분할된 블록들 중 최하단의 블록 또는 최우측의 블록에 대해서 상기 예측 모드가 유도될 수 있다.
상기 최하단의 블록에 대한 예측에 있어서 상기 대상 블록의 상단에 인접한 재구축된 픽셀들이 참조 픽셀들로서 사용될 수 있다.
상기 복수의 분할된 블록들의 예측들은 기정의된 순서에 따라 수행될 수 있다.
상기 기정의된 순서는 최하단의 블록으로부터 최상단의 블록으로의 순서, 최우측의 블록으로부터 최좌측의 블록으로의 순서, 최하단의 블록이 가장 먼저 선택된 뒤, 다음으로는 최상단의 블록으로부터 최하단에서 2번째의 블록까지 순차적으로 선택되는 순서 또는 최우측의 블록이 가장 먼저 선택된 뒤, 다음으로는 최좌측의 블록으로부터 최우측에서 2번째의 블록까지 순차적으로 선택되는 순서일 수 있다.
또 다른 일 측에 있어서, 예측 모드를 유도하는 단계; 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계; 및 상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계를 포함하는 복호화 방법이 제공된다.
블록의 크기 및/또는 형태에 기반하여 블록을 분할하고, 분할된 블록에 대해 예측 모드를 유도하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법이 제공된다.
유도된 예측 모드에 따라서 분할된 블록에 대한 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법이 제공된다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 9은 일 예에 따른 공간적 후보들을 나타낸다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 11은 일 예에 따른 변환 및 양자화의 과정을 설명한다.
도 12는 일 실시예에 따른 부호화 장치의 구조도이다.
도 13은 일 실시예에 따른 복호화 장치의 구조도이다.
도 14는 일 실시예에 따른 예측 방법의 흐름도이다.
도 15는 일 실시예에 따른 블록 분할 방법의 흐름도이다.
도 16은 일 예에 따른 8x4 크기의 대상 블록을 나타낸다.
도 17은 일 예에 따른 4x4 크기의 분할된 블록들을 나타낸다.
도 18은 일 예에 따른 4x16 크기의 대상 블록을 나타낸다.
도 19는 일 예에 따른 8x4 크기의 분할된 블록들을 나타낸다.
도 20은 일 예에 따른 4x4 크기의 분할된 블록들을 나타낸다.
도 21은 일 예에 따른 분할된 블록에 대한 예측 모드의 유도 방법의 흐름도이다.
도 22는 일 예에 따른 분할된 블록에 대한 예측을 나타낸다.
도 23은 일 예에 따른 분할된 블록의 재구축된 블록을 사용하는 분할된 블록에 대한 예측을 나타낸다.
도 24는 일 예에 따른 분할된 블록의 외부의 참조 픽셀을 사용하는 분할된 블록에 대한 예측을 나타낸다.
도 25는 일 예에 따른 4 개의 분할된 블록들의 예측을 나타낸다.
도 26은 일 예에 따른 제4 블록에 대한 예측이 수행된 이후에 제1 블록에 대한 예측을 나타낸다.
도 27은 일 예에 따른 제2 블록에 대한 예측을 나타낸다.
도 28은 일 에에 따른 제3 블록에 대한 예측을 나타낸다.
도 29는 일 실시예에 따른 예측 방법의 흐름도이다.
도 30은 일 예에 따른 대상 블록에 대한 예측 모드의 유도를 나타낸다.
도 31은 일 실시예에 따른 대상 블록의 예측 방법 및 비트스트림 생성 방법의 흐름도이다.
도 32는 일 실시예에 따른 비트스트림을 사용하는 대상 블록의 예측 방법의 흐름도이다.
도 33은 일 예에 따른 상위 블록의 분할을 나타낸다.
도 34는 일 예에 따른 대상 블록의 분할을 나타낸다.
도 35는 일 실시예에 따른 영상의 부호화 및 복호화 방법을 나타내는 신호 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들면, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소(component)가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수 개의 구성요소로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 예시적 실시예들에서 특정 구성을 "포함"한다고 기술하는 내용은 상기의 특정 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성 또한 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시 형태에 대하여 구체적으로 설명한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 동일한 구성요소에 대한 중복된 설명은 생략한다.
이하에서, 영상은 비디오(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 비디오 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, 용어들 "비디오(video)" 및 "동영상(motion picture)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다.
이하에서, 용어들 "영상", "픽처", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 블록은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, 용어들 "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 용어들 "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또는 "블록"은 특정한 유닛을 나타낼 수 있다.
이하에서, 용어들 "영역(region)" 및 "세그먼트(segment)"는 서로 교체되어 사용될 수 있다.
이하에서, 특정한 신호는 특정한 블록을 나타내는 신호일 수 있다. 예를 들면, 원(original) 신호는 대상 블록을 나타내는 신호일 수 있다. 예측(prediction) 신호는 예측 블록을 나타내는 신호일 수 있다. 잔여(residual) 신호는 잔여 블록을 나타내는 신호일 수 있다.
실시예들에서, 특정된 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 각각은 값을 가질 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "0"은 논리 거짓(logical false) 또는 제1 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "0", 거짓, 논리 거짓 및 제1 기정의된 값은 서로 대체되어 사용될 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "1"은 논리 참(logical true) 또는 제2 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "1", 참, 논리 참 및 제2 기정의된 값은 서로 대체되어 사용될 수 있다.
행, 열 또는 인덱스(index)를 나타내기 위해 i 또는 j 등의 변수가 사용될 때, i의 값은 0 이상의 정수일 수 있으며, 1 이상의 정수일 수도 있다. 말하자면, 실시예들에서 행, 열 및 인덱스 등은 0에서부터 카운트될 수 있으며, 1에서부터 카운트될 수 있다.
아래에서는, 실시예들에서 사용되는 용어가 설명된다.
부호화기(encoder): 부호화(encoding)를 수행하는 장치를 의미한다.
복호화기(decoder): 복호화(decoding)를 수행하는 장치를 의미한다.
유닛(unit): 유닛은 영상의 부호화 및 복호화의 단위를 나타낼 수 있다. 용어들 "유닛" 및 "블록(block)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
- 유닛은 샘플의 MxN 배열일 수 있다. M 및 N은 각각 양의 정수일 수 있다. 유닛은 흔히 2차원의 샘플들의 배열을 의미할 수 있다.
- 영상의 부호화 및 복호화에 있어서, 유닛은 하나의 영상의 분할에 의해 생성된 영역일 수 있다. 하나의 영상은 복수의 유닛들로 분할될 수 있다. 또는, 유닛은 하나의 영상을 세분화된 부분들로 분할하고, 분할된 부분에 대한 부호화 또는 복호화가 수행될 때, 상기의 분할된 부분을 의미할 수 있다.
- 영상의 부호화 및 복호화에 있어서, 유닛의 종류에 따라서 유닛에 대한 기정의된 처리가 수행될 수 있다.
- 기능에 따라서, 유닛의 타입은 매크로 유닛(Macro Unit), 코딩 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU), 잔여 유닛(Residual Unit) 및 변환 유닛(Transform Unit; TU) 등으로 분류될 수 있다. 또는, 기능에 따라서, 유닛은 블록, 매크로블록(Macroblock), 코딩 트리 유닛(Coding Tree Unit; CTU), 코딩 트리 블록(Coding Tree Block), 부호화 유닛(Coding Unit), 부호화 블록(Coding Block), 예측 유닛(Prediction Unit), 예측 블록(Prediction Block), 잔여 유닛(Residual Unit), 잔여 블록(Residual Block), 변환 유닛(Transform Unit) 및 변환 블록(Transform Block) 등을 의미할 수 있다.
- 유닛은, 블록과 구분하여 지칭하기 위해, 휘도(luma) 성분 블록 및 이에 대응하는 색차(chroma) 성분 블록, 그리고 각 블록에 대한 구문 요소(syntax element)를 포함하는 정보를 의미할 수 있다.
- 유닛의 크기 및 형태는 다양할 수 있다. 또한, 유닛은 다양한 크기 및 다양한 형태를 가질 수 있다. 특히 유닛의 형태는 정사각형뿐만 아니라 직사각형, 사다리꼴, 삼각형 및 오각형 등 2차원으로 표현될 수 있는 기하학적 도형을 포함할 수 있다.
- 또한, 유닛 정보는 부호화 유닛, 예측 유닛, 잔여 유닛, 변환 유닛 등을 가리키는 유닛의 타입, 유닛의 크기, 유닛의 깊이, 유닛의 부호화 및 복호화 순서 등 중 적어도 하나 이상을 포함할 수 있다.
- 하나의 유닛은 유닛에 비해 더 작은 크기를 갖는 하위 유닛으로 더 분할될 수 있다.
유닛 깊이(depth): 유닛 깊이는 유닛의 분할된 정도를 의미할 수 있다. 또한, 유닛 깊이는 유닛을 트리 구조로 표현했을 때 유닛이 존재하는 레벨을 나타낼 수 있다.
- 유닛 분할 정보는 유닛의 깊이에 관한 유닛 깊이를 포함할 수 있다. 유닛 깊이는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
- 트리 구조에서, 루트 노드(root node)의 깊이가 가장 얕고, 리프 노드(leaf node)의 깊이가 가장 깊다고 볼 수 있다.
- 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보(depth)를 가지면서 계층적으로(hierarchically) 복수의 하위 유닛들로 분할될 수 있다. 말하자면, 유닛 및 상기의 유닛의 분할에 의해 생성된 하위 유닛은 노드 및 상기의 노드의 자식 노드에 각각 대응할 수 있다. 각각의 분할된 하위 유닛은 유닛 깊이를 가질 수 있다. 유닛 깊이는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 하위 유닛의 분할 정보는 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
- 트리 구조에서, 가장 상위 노드는 분할되지 않은 최초의 유닛에 대응할 수 있다. 가장 상위 노드는 루트 노드로 칭해질 수 있다. 또한, 가장 상위 노드는 최소의 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있다.
- 레벨 1의 깊이를 갖는 노드는 최초의 유닛이 한 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다. 레벨 2의 깊이를 갖는 노드는 최초의 유닛이 두 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 레벨 n의 깊이를 갖는 노드는 최초의 유닛이 n번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 리프 노드는 가장 하위의 노드일 수 있으며, 더 분할될 수 없는 노드일 수 있다. 리프 노드의 깊이는 최대 레벨일 수 있다. 예를 들면, 최대 레벨의 기정의된 값은 3일 수 있다.
샘플(sample): 샘플은 블록을 구성하는 기반(base) 단위일 수 있다. 샘플은 비트 깊이(bit depth; Bd)에 따라서 0부터 2Bd-1까지의 값들로서 표현될 수 있다.
- 샘플은 픽셀 또는 픽셀 값일 수 있다.
- 이하에서, 용어들 "픽셀", "화소" 및 "샘플"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
부호화 트리 유닛(Coding Tree Unit; CTU): CTU는 하나의 휘도 성분(Y) 부호화 트리 블록과, 상기의 휘도 성분 부호화 트리 블록에 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다. 또한, CTU는 상기의 블록들과 상기의 블록들의 각 블록에 대한 구문 요소를 포함한 것을 의미할 수도 있다.
- 각 부호화 트리 유닛은 부호화 유닛, 예측 유닛 및 변환 유닛 등의 하위 유닛을 구성하기 위하여 쿼드-트리(quad tree) 및 이진-트리(binary tree) 등과 같은 하나 이상의 분할 방식을 이용하여 분할될 수 있다.
- CTU는 입력 영상의 분할에서와 같이, 영상의 복호화 및 부호화 과정에서의 처리 단위인 픽셀 블록을 지칭하기 위한 용어로서 사용될 수 있다.
부호화 트리 블록(Coding Tree Block; CTB): 부호화 트리 블록은 Y 부호화 트리 블록, Cb 부호화 트리 블록, Cr 부호화 트리 블록 중 어느 하나를 지칭하기 위한 용어로 사용될 수 있다.
주변 블록(neighbor block): 대상 블록에 인접한 블록을 의미한다. 대상 블록에 인접한 블록은 대상 블록에 경계가 맞닿은 블록 또는 대상 블록으로부터 소정의 거리 내에 위치한 블록을 의미할 수 있다. 주변 블록은 대상 블록의 꼭지점에 인접한 블록을 의미할 수 있다. 여기에서, 대상 블록의 꼭지점에 인접한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다. 주변 블록은 복원된 주변 블록을 의미할 수도 있다.
예측 유닛(prediction unit): 화면 간 예측, 인트라 예측, 인터 보상(compensation), 인트라 보상 및 움직임 보상 등의 예측에 대한 기반 단위를 의미할 수 있다.
- 하나의 예측 유닛은 더 작은 크기를 갖는 복수의 파티션(partition)들 또는 하위 예측 유닛들로 분할될 수도 있다. 복수의 파티션들 또한 예측 또는 보상의 수행에 있어서의 기반 단위일 수 있다. 예측 유닛의 분할에 의해 생성된 파티션 또한 예측 유닛일 수 있다.
예측 유닛 파티션(prediction unit partition): 예측 유닛이 분할된 형태를 의미할 수 있다.
재구축된 이웃 유닛(reconstructed neighboring unit): 재구축된 이웃 유닛은 대상 유닛의 주변에 이미 복호화되어 재구축된 유닛일 수 있다.
- 재구축된 이웃 유닛은 대상 유닛에 대한 공간적(spatial) 인접 유닛 또는 시간적(temporal) 인접 유닛일 수 있다.
- 재구축된 공간적 주변 유닛은 현재 픽처 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다.
- 재구축된 시간적 주변 유닛은 참조 영상 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다. 재구축된 시간적 주변 유닛의 참조 영상 내에서의 위치는 대상 유닛의 현재 픽처 내에서의 위치와 같거나, 대상 유닛의 현재 픽처 내에서의 위치에 대응할 수 있다.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다. 예를 들면, 파라미터 세트는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 등을 포함할 수 있다.
율-왜곡 최적화(rate-distortion optimization): 부호화 장치는 코딩 유닛의 크기, 예측 모드, 예측 유닛의 크기, 움직임 정보 및, 변환 유닛의 크기 등의 조합을 이용해서 높은 부호화 효율을 제공하기 위해 율-왜곡 최적화를 사용할 수 있다.
- 율-왜곡 최적화 방식은 상기의 조합들 중에서 최적의 조합을 선택하기 위해 각 조합의 율-왜곡 비용(rate-distortion cost)을 계산할 수 있다. 율-왜곡 비용은 아래의 수식 1을 이용하여 계산될 수 있다. 일반적으로 상기 율-왜곡 비용이 최소가 되는 조합이 율-왜곡 최적화 방식에 있어서의 최적의 조합으로 선택될 수 있다.
[수식 1]
Figure PCTKR2018003392-appb-I000001
- D는 왜곡을 나타낼 수 있다. D는 변환 유닛 내에서 원래의 변환 계수들 및 재구축된 변환 계수들 간의 차이 값들의 제곱들의 평균(mean square error)일 수 있다.
- R은 율을 나타낼 수 있다. R은 관련된 문맥 정보를 이용한 비트 율을 나타낼 수 있다.
- λ는 라그랑지안 승수(Lagrangian multiplier)를 나타낼 수 있다. R은 예측 모드, 움직임 정보 및 코드된 블록 플래그(coded block flag) 등과 같은 코딩 파라미터 정보뿐만 아니라, 변환 계수의 부호화에 의해 발생하는 비트도 포함할 수 있다.
- 부호화 장치는 정확한 D 및 R을 계산하기 위해 인터 예측 및/또는 인트라 예측, 변환, 양자화, 엔트로피 부호화, 역양자화, 역변환 등의 과정들을 수행할 수 있다. 이러한 과정들은 부호화 장치에서의 복잡도를 크게 증가시킬 수 있다.
비트스트림(bitstream): 비트스트림은 부호화된 영상 정보를 포함하는 비트의 열을 의미할 수 있다.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다.
- 파라미터 세트는 비디오 파라미터 세트(Video Parameter Set; VPS), 시퀀스 파라미터 세트(Sequence Parameter Set; SPS), 픽처 파라미터 세트(Picture Parameter Set; PPS) 및 적응 파라미터 세트(Adaptation Parameter Set; APS) 중 적어도 하나를 포함할 수 있다. 또한, 파라미터 세트는 슬라이스(slice) 헤더의 정보 및 타일(tile) 헤더의 정보를 포함할 수도 있다.
파싱(parsing): 파싱은 비트스트림을 엔트로피 복호화하여 구문 요소(syntax element)의 값을 결정하는 것을 의미할 수 있다. 또는, 파싱은 엔트로피 복호화 자체를 의미할 수 있다.
심볼(symbol): 부호화 대상 유닛 및/또는 복호화 대상 유닛의 구문 요소, 코딩 파라미터(coding parameter) 및 변환 계수(transform coefficient) 등 중 적어도 하나를 의미할 수 있다. 또한, 심볼은 엔트로피 부호화의 대상 또는 엔트로피 복호화의 결과를 의미할 수 있다.
참조 픽처(reference picture): 참조 픽처는 인터 예측 또는 움직임 보상을 위하여 유닛이 참조하는 영상을 의미할 수 있다. 또는, 참조 픽처는 인터 예측 또는 움직임 보상을 위해 대상 유닛이 참조하는 참조 유닛을 포함하는 영상일 수 있다.
이하, 용어 "참조 픽처" 및 "참조 영상"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
참조 픽처 리스트(reference picture list): 참조 픽처 리스트는 인터 예측 또는 움직임 보상에 사용되는 하나 이상의 참조 영상들을 포함하는 리스트일 수 있다.
- 참조 픽처 리스트의 종류는 리스트 조합(List Combined; LC), 리스트 0(List 0; L0), 리스트 1(List 1; L1), 리스트 2(List 2; L2) 및 리스트 3(List 3; L3) 등이 있을 수 있다.
- 인터 예측에는 하나 이상의 참조 픽처 리스트들이 사용될 수 있다.
인터 예측 지시자(inter prediction indicator): 인터 예측 지시자는 대상 유닛의 인터 예측의 방향을 가리킬 수 있다. 인터 예측은 단방향 예측 및 양방향 예측 등 중 하나일 수 있다. 또는, 인터 예측 지시자는 대상 유닛의 예측 유닛을 생성할 때 사용되는 참조 영상의 개수를 나타낼 수 있다. 또는, 인터 예측 지시자는 대상 유닛에 대한 인터 예측 혹은 움직임 보상을 위해 사용되는 예측 블록의 개수를 의미할 수 있다.
참조 픽처 색인(reference picture index): 참조 픽처 색인은 참조 픽처 리스트에서 특정 참조 영상을 지시하는 색인일 수 있다.
움직임 벡터(Motion Vector; MV): 움직임 벡터는 인터 예측 또는 움직임 보상에서 사용되는 2차원의 벡터일 수 있다. 움직임 벡터는 부호화 대상 영상/복호화 대상 영상 및 참조 영상 간의 오프셋을 의미할 수 있다.
- 예를 들면, MV는 (mvx, mvy)와 같은 형태로 표현될 수 있다. mvx는 수평(horizontal) 성분을 나타낼 수 있고, mvy 는 수직(vertical) 성분을 나타낼 수 있다.
탐색 영역(search range): 탐색 영역은 인터 예측 중 MV에 대한 탐색이 이루어지는 2차원의 영역일 수 있다. 예를 들면, 탐색 영역의 크기는 MxN일 수 있다. M 및 N은 각각 양의 정수일 수 있다.
움직임 벡터 후보(motion vector candidate): 움직임 벡터 후보는 움직임 벡터를 예측할 때 예측 후보인 블록 혹은 예측 후보인 블록의 움직임 벡터를 의미할 수 있다.
- 움직임 벡터 후보는 움직임 벡터 후보 리스트에 포함될 수 있다.
움직임 벡터 후보 리스트(motion vector candidate list): 움직임 벡터 후보 리스트는 하나 이상의 움직임 벡터 후보들을 이용하여 구성된 리스트를 의미할 수 있다.
움직임 벡터 후보 색인(motion vector candidate index): 움직임 벡터 후보 색인은 움직임 벡터 후보 리스트 내의 움직임 벡터 후보를 가리키는 지시자를 의미할 수 있다. 또는, 움직임 벡터 후보 색인은 움직임 벡터 예측기(motion vector predictor)의 색인(index)일 수 있다.
움직임 정보(motion information): 움직임 정보는 움직임 벡터, 참조 픽처 색인 및 인터 예측 지시자(inter prediction indicator) 뿐만 아니라 참조 픽처 리스트 정보, 참조 영상, 움직임 벡터 후보, 움직임 벡터 후보 색인, 머지 후보 및 머지 색인 등 중 적어도 하나를 포함하는 정보를 의미할 수 있다.
머지 후보 리스트(merge candidate list): 머지 후보 리스트는 머지 후보를 이용하여 구성된 리스트를 의미할 수 있다.
머지 후보(merge candidate): 공간적 머지 후보, 시간적 머지 후보, 조합된 머지 후보, 조합 양예측(combined bi-prediction) 머지 후보, 제로 머지 후보 등을 의미한다. 머지 후보는 인터 예측 지시자, 각 리스트에 대한 참조 픽처 색인 및 움직임 벡터 등의 움직임 정보를 포함할 수 있다.
머지 색인(merge index): 머지 색인은 머지 후보 리스트 내 머지 후보를 가리키는 지시자일 수 있다.
- 머지 색인은 대상 유닛에 공간적으로 인접한 재구축된 유닛 및 대상 유닛에 시간적으로 인접한 재구축된 유닛 중 머지 후보를 유도한 재구축된 유닛을 지시할 수 있다.
- 머지 색인은 머지 후보의 움직임 정보 중 적어도 하나를 지시할 수 있다.
변환 유닛(transform unit): 변환 유닛은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화 및 변환 계수 복호화 등과 같은 잔여 신호(residual signal) 부호화 및/또는 잔여 신호 복호화에 있어서의 기본 유닛일 수 있다. 하나의 변환 유닛은 더 작은 크기의 복수의 변환 유닛들로 분할될 수 있다.
스케일링(scaling): 스케일링은 변환 계수 레벨에 인수를 곱하는 과정을 의미할 수 있다.
- 변환 계수 레벨에 대한 스케일링의 결과로서, 변환 계수가 생성될 수 있다. 스케일링은 역양자화(dequantization)로 칭해질 수도 있다.
양자화 파라미터(Quantization Parameter; QP): 양자화 파라미터는 양자화에서 변환 계수에 대해 변환 계수 레벨(transform coefficient level)을 생성할 때 사용되는 값을 의미할 수 있다. 또는, 역양자화에서 변환 계수 레벨을 스케일링(scaling)함으로써 변환 계수를 생성할 때 사용되는 값을 의미할 수도 있다. 또는, 양자화 파라미터는 양자화 스텝 크기(step size)에 매핑된 값일 수 있다.
델타 양자화 파라미터(delta quantization parameter): 델타 양자화 파라미터는 예측된 양자화 파라미터 및 부호화/복호화 대상 유닛의 양자화 파라미터의 차분(differential) 값을 의미한다.
스캔(scan): 스캔은 유닛, 블록 또는 행렬 내의 계수들의 순서를 정렬하는 방법을 의미할 수 있다. 예를 들면, 2차원 배열을 1차원 배열 형태로 정렬하는 것을 스캔이라고 칭할 수 있다. 또는, 1차원 배열을 2차원 배열 형태로 정렬하는 것도 스캔 또는 역 스캔(inverse scan)이라고 칭할 수 있다.
변환 계수(transform coefficient): 변환 계수는 부호화 장치에서 변환을 수행함에 따라 생성된 계수 값일 수 있다. 또는, 변환 계수는 복호화 장치에서 엔트로피 복호화 및 역양자화 중 적어도 하나를 수행함에 따라 생성된 계수 값일 수 있다.
- 변환 계수 또는 잔여 신호에 양자화를 적용한 양자화된 레벨 또는 양자화된 변환 계수 레벨 또한 변환 계수의 의미에 포함될 수 있다.
양자화된 레벨(quantized level): 양자화된 레벨은 부호화 장치에서 변환 계수 또는 잔여 신호에 양자화를 수행함으로써 생성된 값을 의미할 수 있다. 또는, 양자화된 레벨은 복호화 장치에서 역양자화를 수행함에 있어서 역양자화의 대상이 되는 값을 의미할 수도 있다.
- 변환 및 양자화의 결과인 양자화된 변환 계수 레벨도 양자화된 레벨의 의미에 포함될 수 있다.
넌제로 변환 계수(non-zero transform coefficient): 넌제로 변환 계수는 0이 아닌 값을 갖는 변환 계수 또는 0이 아닌 값을 갖는 변환 계수 레벨을 의미할 수 있다. 또는, 넌제로 변환 계수는 값의 크기가 0이 아난 변환 계수 또는 값의 크기가 0이 아닌 변환 계수 레벨을 의미할 수 있다.
양자화 행렬(quantization matrix): 양자화 행렬은 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 혹은 역양자화 과정에서 이용되는 행렬을 의미할 수 있다. 양자화 행렬은 스케일링 리스트(scaling list)라고도 칭해질 수 있다.
양자화 행렬 계수(quantization matrix coefficient): 양자화 행렬 계수는 양자화 행렬 내의 각 원소(element)를 의미할 수 있다. 양자화 행렬 계수는 행렬 계수(matrix coefficient)라고도 칭해질 수 있다.
디폴트 행렬(default matrix): 기본 행렬은 부호화 장치 및 복호화 장치에서 기정의된 양자화 행렬일 수 있다.
비 디폴트 행렬(non-default matrix): 비 디폴트 행렬은 부호화 장치 및 복호화 장치에서 기정의되어 있지 않은 양자화 행렬일 수 있다. 비 디폴트 행렬은 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 비디오의 하나 이상의 영상들을 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
부호화 장치(100)는 인트라 모드 및/또는 인터 모드를 사용하여 대상 영상에 대한 부호화를 수행할 수 있다.
또한, 부호화 장치(100)는 대상 영상에 대한 부호화를 통해 부호화의 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있고, 유/무선 전송 매체를 통해 스트리밍될 수 있다.
예측 모드로서, 인트라 모드가 사용되는 경우, 스위치(115)는 인트라로 전환될 수 있다. 예측 모드로서, 인터 모드가 사용되는 경우, 스위치(115)는 인터로 전환될 수 있다.
부호화 장치(100)는 대상 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 대상 블록 및 예측 블록의 차분(residual)을 부호화할 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 대상 블록의 주변에 있는, 이미 부호화/복호화된 블록의 픽셀을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 대상 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 대상 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 예측부(110)는 움직임 예측부 및 움직임 보상부를 포함할 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부는, 움직임 예측 과정에서 참조 영상으로부터 대상 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 대상 블록 및 검색된 영역에 대한 움직임 벡터를 도출할 수 있다.
참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있으며, 참조 영상에 대한 부호화 및/또는 복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.
움직임 보상부는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 여기에서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터일 수 있다. 또한 움직임 벡터는 대상 영상 및 참조 영상 간의 오프셋(offset)을 나타낼 수 있다.
움직임 예측부 및 움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우 참조 영상 내의 일부 영역에 대해 보간 필터(interpolation filter)를 적용함으로써 예측 블록을 생성할 수 있다. 인터 예측 또는 움직임 보상을 수행하기 위해, CU를 기준으로 CU에 포함된 PU의 움직임 예측 및 움직임 보상의 방법이 스킵 모드(skip mode), 머지 모드(merge mode), 향상된 움직임 벡터 예측(advanced motion vector prediction; AMVP) 모드 및 현재 픽처 참조 모드 중 어떠한 방법인지 여부가 판단될 수 있고, 각 모드에 따라 인터 예측 또는 움직임 보상이 수행될 수 있다.
감산기(125)는 대상 블록 및 예측 블록의 차분인 잔여 블록(residual block)을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다.
잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나 양자화하거나 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위에 대한 잔여 신호일 수 있다.
변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수를 생성할 수 있고, 생성된 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다.
변환 스킵(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.
변환 계수에 양자화를 적용함으로써 양자화된 변환 계수 레벨(transform coefficient level) 또는 양자화된 레벨이 생성될 수 있다. 이하, 실시예들에서는 양자화된 변환 계수 레벨 및 양자화된 레벨도 변환 계수로 칭해질 수 있다.
양자화부(140)는 변환 계수를 양자화 파라미터에 맞춰 양자화함으로써 양자화된 변환 계수 레벨(quantized transform coefficient level) 또는 양자화된 레벨을 생성할 수 있다. 양자화부(140)는 생성된 양자화된 변환 계수 레벨 또는 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 및/또는 부호화 과정에서 산출된 코딩 파라미터 값들 등에 기초하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있다. 엔트로피 부호화부(150)는 생성된 비트스트림을 출력할 수 있다.
엔트로피 부호화부(150)는 영상의 픽셀에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.
코딩 파라미터는 부호화 및/또는 복호화를 위해 요구되는 정보일 수 있다. 코딩 파라미터는 부호화 장치(100)에서 부호화되어 부호화 장치(100)로부터 복호화 장치로 전달되는 정보를 포함할 수 있고, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 예를 들면, 복호화 장치로 전달되는 정보로서, 구문 요소가 있다.
예를 들면, 코딩 파라미터는 예측 모드, 움직임 벡터, 참조 픽처 인덱스(index), 부호화 블록 패턴(pattern), 잔여 신호의 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할(partition) 정보 등의 값 또는 통계를 포함할 수 있다. 예측 모드는 인트라 예측 모드 또는 인터 예측 모드를 가리킬 수 있다.
잔여 신호는 원 신호 및 예측 신호 간의 차분(difference)을 나타낼 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차분을 변환(transform)함으로써 생성된 신호일 수 있다. 또는, 잔여 신호는 원 신호 및 예측 신호 간의 차분을 변환 및 양자화함으로써 생성된 신호일 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당될 수 있고, 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당될 수 있다. 이러한 할당을 통해 심볼이 표현됨에 따라, 부호화의 대상인 심볼들에 대한 비트열(bitstring)의 크기가 감소될 수 있다. 따라서, 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 향상될 수 있다.
또한, 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential golomb), 문맥-적응형 가변 길이 코딩(Context-Adaptive Variable Length Coding; CAVLC) 및 문맥-적응형 이진 산술 코딩(Context-Adaptive Binary Arithmetic Coding; CABAC) 등과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 대상 심볼에 대한 이진화(binarization) 방법을 도출할 수 있다. 또한, 엔트로피 부호화부(150)는 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출할 수 있다. 엔트로피 부호화부(150)는 도출된 이진화 방법, 확률 모델 및 문맥 모델(context model)을 사용하여 산술 부호화를 수행할 수도 있다.
엔트로피 부호화부(150)는 변환 계수 레벨을 부호화하기 위해 변환 계수 스캐닝(transform coefficient scanning) 방법을 통해 2차원의 블록의 형태(form)의 계수를 1차원의 벡터의 형태로 변경할 수 있다.
코딩 파라미터(coding parameter)는 구문 요소와 같이 부호화 장치에서 부호화되고, 부호화 장치로부터 복호화 장치로 시그널링되는 정보(또는, 플래그, 인덱스 등)뿐만 아니라, 부호화 과정 또는 복호화 과정에서 유도되는 정보를 포함할 수 있다. 또한, 코딩 파라미터는 영상을 부호화하거나 복호화함에 있어서 요구되는 정보를 포함할 수 있다. 예를 들면, 유닛/블록의 크기, 유닛/블록의 깊이, 유닛/블록의 분할 정보, 유닛/블록의 분할 구조, 유닛/블록이 쿼드-트리 형태로 분할되는지 여부를 나타내는 정보, 유닛/블록이 이진-트리 형태로 분할되는지 여부를 나타내는 정보, 이진-트리 형태의 분할 방향(가로 방향 또는 세로 방향), 이진-트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할), 예측 방식(인트라 예측 또는 인터 예측), 인트라 예측 모드/방향, 참조 샘플 필터링 방법, 예측 블록 필터링 방법, 예측 블록 경계 필터링 방법, 필터링의 필터 탭, 필터링의 필터 계수, 인터 예측 모드, 움직임 정보, 움직임 벡터, 참조 픽처 색인, 인터 예측 방향, 인터 예측 지시자, 참조 픽처 리스트, 참조 영상, 움직임 벡터 예측기, 움직임 벡터 예측 후보, 움직임 벡터 후보 리스트, 머지 모드를 사용하는지 여부를 나타내는 정보, 머지 후보, 머지 후보 리스트, 스킵(skip) 모드를 사용하는지 여부를 나타내는 정보, 보간 필터의 종류, 보간 필터의 필터 탭, 보간 필터의 필터 계수, 움직임 벡터 크기, 움직임 벡터 표현 정확도, 변환 종류, 변환 크기, 1차 변환을 사용하는지 여부를 나타내는 정보, 추가(2차) 변환을 사용하는지 여부를 나타내는 정보, 1차 변환 인덱스, 2차 변환 인덱스, 잔여 신호의 유무를 나타내는 정보, 코드된 블록 패턴(coded block pattern), 코드된 블록 플래그(coded block flag), 양자화 파라미터, 양자화 행렬, 인트라-루프 필터에 대한 정보, 인트라-루프 필터를 적용하는지 여부에 대한 정보, 인트라-루프 필터의 계수, 인트라-루프의 필터 탭, 인트라 루프 필터의 모양(shape)/형태(form), 디블록킹 필터를 적용하는지 여부를 나타내는 정보, 디블록킹 필터 계수, 디블록킹 필터 탭, 디블록킹 필터 강도, 디블록킹 필터 모양/형태, 적응적 샘플 오프셋을 적용하는지 여부를 나타내는 정보, 적응적 샘플 오프셋 값, 적응적 샘플 오프셋 카테고리, 적응적 샘플 오프셋 종류, 적응적 루프-내(in-loop) 필터를 적용하는지 여부, 적응적 루프-내 필터 계수, 적응적 루프-내 필터 탭, 적응적 루프-내 필터 모양/형태, 이진화/역이진화 방법, 문맥 모델, 문맥 모델 결정 방법, 문맥 모델 업데이트 방법, 레귤러 모드를 수행하는지 여부, 바이패스 모드를 수행하는지 여부, 문맥 빈, 바이패스 빈, 변환 계수, 변환 계수 레벨, 변환 계수 레벨 스캐닝 방법, 영상의 디스플레이/출력 순서, 슬라이스 식별 정보, 슬라이스 타입, 슬라이스 분할 정보, 타일 식별 정보, 타일 타입, 타일 분할 정보, 픽처 타입, 비트 심도, 휘도 신호에 대한 정보 및 색차 신호에 대한 정보 중 적어도 하나의 값 또는 조합된 형태가 코딩 파라미터에 포함될 수 있다.
여기서, 플래그 또는 인덱스를 시그널링(signaling)한다는 것은 부호화 장치(100)에서는 플래그 또는 인덱스에 대한 엔트로피 부호화(entropy encoding)를 수행함으로써 생성된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스를 비트스트림(Bitstream)에 포함시키는 것을 의미할 수 있고, 복호화 장치(200)에서는 비트스트림으로부터 추출된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스에 대한 엔트로피 복호화(entropy decoding)를 수행함으로써 플래그 또는 인덱스를 획득하는 것을 의미할 수 있다.
부호화 장치(100)에 의해 인터 예측을 통한 부호화가 수행되기 때문에, 부호화된 대상 영상은 이후에 처리되는 다른 영상(들)에 대하여 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 대상 영상을 다시 재구축 또는 복호화할 수 있고, 재구축 또는 복호화된 영상을 참조 영상으로서 참조 픽처 버퍼(190)에 저장할 수 있다. 복호화를 위해 부호화된 대상 영상에 대한 역양자화 및 역변환이 처리될 수 있다.
양자화된 레벨은 역양자화부(160)에서 역양자화될(inversely quantized) 수 있고, 역변환부(170)에서 역변환될(inversely transformed) 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(175)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 재구축된(reconstructed) 블록이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화(dequantization) 및 역변환(inverse-transformation) 중 적어도 하나 이상이 수행된 계수를 의미할 수 있고, 재구축된 잔여 블록을 의미할 수 있다.
재구축된 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO) 및 적응적 루프 필터(Adaptive Loop Filter; ALF) 중 적어도 하나 이상을 재구축된 블록 또는 재구축된 픽처에 적용할 수 있다. 필터부(180)는 루프-내(in-loop) 필터로 칭해질 수도 있다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 적용할지 여부를 판단하기 위해, 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀(들)에 기반하여 대상 블록에 디블록킹 필터를 적용할지 여부가 판단될 수 있다. 대상 블록에 디블록킹 필터를 적용하는 경우, 적용되는 필터는 요구되는 디블록킹 필터링의 강도에 따라 다를 수 있다. 말하자면, 서로 다른 필터들 중 디블록킹 필터링의 강도에 따라 결정된 필터가 대상 블록에 적용될 수 있다.
SAO는 코딩 에러에 대한 보상을 위해 픽셀의 픽셀 값에 적정한 오프셋(offset)을 더할 수 있다. SAO는 디블록킹이 적용된 영상에 대해, 픽셀의 단위로 원본 영상 및 디블록킹이 적용된 영상 간의 차이에 대하여 오프셋을 사용하는 보정을 수행할 수 있다. 영상에 포함된 픽셀을 일정한 수의 영역들로 구분한 후, 구분된 영역들 중 오프셋이 수행될 영역을 결정하고 결정된 영역에 오프셋을 적용하는 방법이 사용될 수 있고, 영상의 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법이 사용될 수 있다.
ALF는 재구축된 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹들로 분할한 후, 분할된 그룹에 적용될 필터가 결정될 수 있고, 그룹 별로 차별적으로 필터링이 수행될 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 CU 별로 시그널링될 수 있다. 각 블록에 적용될 ALF 의 모양 및 필터 계수는 블록 별로 다를 수 있다.
필터부(180)를 거친 재구축된 블록 또는 재구축된 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 픽처는 필터부(180)를 거친 재구축된 블록들로 구성된 재구축된 픽처일 수 있다. 저장된 참조 픽처는 이후 인터 예측에 사용될 수 있다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신할 수 있고, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다.
복호화 장치(200)는 비트스트림에 대하여 인트라 모드 및/또는 인터 모드의 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 재구축된 영상 또는 복호화된 영상을 생성할 수 있고, 생성된 재구축된 영상 또는 복호화된 영상을 출력할 수 있다.
예를 들면, 복호화에 사용되는 예측 모드에 따른 인트라 모드 또는 인터 모드로의 전환은 스위치에 의해 이루어질 수 있다. 복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림을 복호화함으로써 재구축된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 재구축된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 재구축된 잔여 블록 및 예측 블록을 더함으로써 복호화의 대상이 되는 재구축된 블록을 생성할 수 있다.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 기초하여 비트스트림에 대한 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨(quantized level) 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법과 유사할 수 있다. 예를 들면, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화될 수 있다. 역양자화부(220)는 양자화된 계수에 대한 역양자화를 수행함으로써 역양자화된 계수를 생성할 수 있다. 또한, 역양자화된 계수는 역변환부(230)에서 역변환될 수 있다. 역변환부(230)는 역양자화된 계수에 대한 역변환을 수행함으로써 재구축된 잔여 블록을 생성할 수 있다. 양자화된 계수에 대한 역양자화 및 역변환이 수행된 결과로서, 재구축된 잔여 블록이 생성될 수 있다. 이때, 역양자화부(220)는 재구축된 잔여 블록을 생성함에 있어서 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하는 공간적 예측을 수행함으로써 예측 블록을 생성할 수 있다.
인터 예측부(250)는 움직임 보상부를 포함할 수 있다. 또는, 인터 예측부(250)는 움직임 보상부로 명명될 수 있다.
인터 모드가 사용되는 경우, 움직임 보상부는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장된 참조 영상을 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우, 참조 영상 내의 일부 영역에 대해 보간 필터를 적용할 수 있고, 보간 필터가 적용된 참조 영상을 사용하여 예측 블록을 생성할 수 있다. 움직임 보상부는 움직임 보상을 수행하기 위해 CU를 기준으로 CU에 포함된 PU를 위해 사용되는 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드 및 현재 픽처 참조 모드 중 어떤 모드인가를 결정할 수 있고, 결정된 모드에 따라 움직임 보상을 수행할 수 있다.
재구축된 잔여 블록 및 예측 블록은 가산기(255)를 통해 더해질 수 있다. 가산기(255)는 재구축된 잔여 블록 및 예측 블록을 더함으로써 재구축된 블록을 생성할 수 있다.
재구축된 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO 및 ALF 중 적어도 하나를 재구축된 블록 또는 재구축된 픽처에 적용할 수 있다.
필터부(260)를 거친 재구축된 블록은 참조 픽처 버퍼(270)에 저장될 수 있다. 필터부(260)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 재구축된 블록들로 구성된 영상일 수 있다. 저장된 참조 영상은 이후 인터 예측을 위해 사용될 수 있다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 3은 하나의 유닛이 복수의 하위 유닛들로 분할되는 예를 개략적으로 나타낼 수 있다.
영상을 효율적으로 분할하기 위해, 부호화 및 복호화에 있어서, 코딩 유닛(Coding Unit; CU)이 사용될 수 있다. 유닛은 1) 영상 샘플들을 포함하는 블록 및 2) 구문 요소(syntax element)을 합쳐서 지칭하는 용어일 수 있다. 예를 들면, "유닛의 분할"은 "유닛에 해당하는 블록의 분할"을 의미할 수 있다.
영상 부호화/복호화의 기반 단위로서 CU가 사용될 수 있다. 또한, CU는 영상 부호화/복호화에 있어서 인트라 모드 및 인터 모드 중 하나의 선택된 모드가 적용되는 단위로 사용될 수 있다. 말하자면, 영상 부호화/복호화에 있어서, 각 CU에 대해서 인트라 모드 및 인터 모드 중 어떤 모드가 적용될 것인가가 결정될 수 있다.
또한, CU는 예측, 변환, 양자화, 역변환, 역양자화 및 변환 계수의 부호화/복호화에 있어서 기반 단위일 수 있다.
도 3을 참조하면, 영상(300)은 최대 코딩 유닛(Largest Coding Unit; LCU)의 단위로 순차적으로 분할될 수 있고, 영상(300)의 분할 구조는 LCU에 따라서 결정될 수 있다. 여기서, LCU는 코딩 트리 유닛(Coding Tree Unit; CTU)과 동일한 의미로 사용될 수 있다.
유닛의 분할은 유닛에 해당하는 블록의 분할을 의미할 수 있다. 블록 분할 정보는 유닛의 깊이(depth)에 관한 깊이 정보를 포함할 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다. 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보를 가지고 계층적으로 하위 유닛들로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보일 수 있다. 깊이 정보는 각 CU마다 저장될 수 있다. 각 CU는 깊이 정보를 가질 수 있다.
분할 구조는 LCU(310) 내에서의, 영상을 효율적으로 부호화하기 위한, CU의 분포를 의미할 수 있다. 이러한 분포는 하나의 CU를 복수의 CU들로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU들의 개수는 2, 3, 4, 8 및 16 등을 포함하는 2 이상의 양의 정수일 수 있다. 분할에 의해 생성된 CU의 가로 크기 및 세로 크기는, 분할에 의해 생성된 CU들의 개수에 따라, 분할 전의 CU의 가로 크기 및 세로 크기보다 더 작을 수 있다.
분할된 CU는 동일한 방식으로 복수의 CU들로 재귀적으로 분할될 수 있다. 재귀적 분할에 의해, 분할된 CU의 가로 크기 및 세로 크기 중 적어도 하나의 크기가 분할 전의 CU의 가로 크기 및 세로 크기 중 적어도 하나에 비해 감소될 수 있다.
CU의 분할은 기정의된 깊이 또는 기정의된 크기까지 재귀적으로 이루어질 수 있다. 예를 들면, LCU의 깊이는 0일 수 있고, 최소 코딩 유닛(Smallest Coding Unit; SCU)의 깊이는 기정의된 최대 깊이일 수 있다. 여기서, LCU는 상술된 것과 같이 최대의 코딩 유닛 크기를 가지는 CU일 수 있고, SCU는 최소의 코딩 유닛 크기를 가지는 CU일 수 있다.
LCU(310)로부터 분할이 시작될 수 있고, 분할에 의해 CU의 가로 크기 및/또는 세로 크기가 줄어들 때마다 CU의 깊이는 1씩 증가할 수 있다.
예를 들면, 각각의 깊이 별로, 분할되지 않는 CU는 2Nx2N 크기를 가질 수 있다. 또한, 분할되는 CU의 경우, 2Nx2N 크기의 CU가 NxN 크기를 가지는 4개의 CU들로 분할될 수 있다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소할 수 있다.
도 3을 참조하면, 깊이가 0인 LCU는 64x64 픽셀들 또는 64x64 블록일 수 있다. 0은 최소 깊이일 수 있다. 깊이가 3인 SCU는 8x8 픽셀들 또는 8x8 블록일 수 있다. 3은 최대 깊이일 수 있다. 이때, LCU인 64x64 블록의 CU는 깊이 0으로 표현될 수 있다. 32x32 블록의 CU는 깊이 1로 표현될 수 있다. 16x16 블록의 CU는 깊이 2로 표현될 수 있다. SCU인 8x8 블록의 CU는 깊이 3으로 표현될 수 있다.
CU가 분할되는지 여부에 대한 정보는 CU의 분할 정보를 통해 표현될 수 있다. 분할 정보는 1비트의 정보일 수 있다. SCU를 제외한 모든 CU는 분할 정보를 포함할 수 있다. 예를 들면, 분할되지 않는 CU의 분할 정보의 값은 0일 수 있고, 분할되는 CU의 분할 정보의 값은 1일 수 있다.
예를 들면, 하나의 CU가 4 개의 CU들로 분할되는 경우, 분할에 의해 생성된 4 개의 CU들의 각 CU의 가로 크기 및 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 4 개의 CU들로 분할되는 경우, 분할된 4 개의 CU들의 크기들은 16x16일 수 있다. 하나의 CU가 4 개의 CU들로 분할되는 경우, CU가 쿼드-트리 형태로 분할되었다고 할 수 있다.
예를 들면, 하나의 CU가 2 개의 CU들로 분할되는 경우, 분할에 의해 생성된 2 개의 CU들의 각 CU의 가로 크기 또는 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 또는 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 2 개의 CU들로 세로로 분할되는 경우, 분할된 2 개의 CU들의 크기들은 16x32일 수 있다. 하나의 CU가 2 개의 CU들로 분할되는 경우, CU가 이진-트리(binary-tree) 형태로 분할되었다고 할 수 있다.
LCU(310)에는 쿼드-트리 형태의 분할 외에도 및 이진-트리 형태의 분할이 적용될 수 있다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛(Prediction Unit; PU)들로 분할될 수 있다.
PU는 예측에 대한 기반 단위일 수 있다. PU는 스킵(skip) 모드, 인터 모드 및 인트라 모드 중 어느 하나로 부호화 및 복호화될 수 있다. PU는 각 모드에 따라서 다양한 형태로 분할될 수 있다. 예를 들면, 도 1을 참조하여 전술된 대상 블록 및 도 2를 참조하여 전술된 대상 블록은 PU일 수 있다.
스킵 모드에서는, CU 내에 분할이 존재하지 않을 수 있다. 스킵 모드에서는 분할 없이 PU 및 CU의 크기들이 동일한 2Nx2N 모드(410)가 지원될 수 있다.
인터 모드에서는, CU 내에서 8가지로 분할된 형태들이 지원될 수 있다. 예를 들면, 인터 모드에서는 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440) 및 nRx2N 모드(445)가 지원될 수 있다.
인트라 모드에서는, 2Nx2N 모드(410) 및 NxN 모드(425)와, 2NxN 모드 및 Nx2N 가 지원될 수 있다.
2Nx2N 모드(410)에서는 2Nx2N의 크기의 PU가 부호화될 수 있다. 2Nx2N의 크기의 PU는 CU의 크기와 동일한 크기의 PU를 의미할 수 있다. 예를 들면, 2Nx2N의 크기의 PU는 64x64, 32x32, 16x16 또는 8x8의 크기를 가질 수 있다.
NxN 모드(425)에서는 NxN의 크기의 PU가 부호화될 수 있다.
예를 들면, 인트라 예측에서, PU의 크기가 8x8일 때, 4개의 분할된 PU들이 부호화될 수 있다. 분할된 PU의 크기는 4x4일 수 있다.
PU가 인트라 모드에 의해 부호화될 경우, PU는 복수의 인트라 예측 모드들 중 하나의 인트라 예측 모드를 사용하여 부호화될 수 있다. 예를 들면, 고 효율 비디오 코딩(High Efficiency Video Coding; HEVC) 기술에서는 35 개의 인트라 예측 모드들을 제공할 수 있고, PU는 35 개의 인트라 예측 모드들 중 하나의 인트라 예측 모드로 부호화될 수 있다.
PU가 2Nx2N 모드(410) 및 NxN 모드(425) 중 어느 모드에 의해 부호화될 것인가는 율-왜곡 비용(rate-distortion cost)에 의해 결정될 수 있다.
부호화 장치(100)는 2Nx2N 크기의 PU에 대해 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 2Nx2N 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 2Nx2N 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
또한, 부호화 장치(100)는 NxN으로 분할된 PU들의 각 PU에 대해서 순차적으로 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 NxN 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 NxN 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
변환 유닛(Transform Unit; TU)은 CU 내에서 변환, 양자화, 역변환, 역양자화, 엔트로피 부호화 및 엔트로피 복호화의 과정을 위해 사용되는 기반 단위일 수 있다. TU는 정사각형 형태 또는 직사각형 형태를 가질 수 있다.
LCU로부터 분할된 CU 중, 더 이상 CU들로 분할되지 않는 CU는 하나 이상의 TU들로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드-트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에서 도시된 것과 같이, 하나의 CU(510)가 쿼드-트리 구조에 따라서 한 번 혹은 그 이상 분할될 수 있다. 분할을 통해, 하나의 CU(510)는 다양한 크기의 TU들로 구성될 수 있다.
부호화 장치(100)에서, 64x64 크기의 부호화 트리 유닛(Coding Tree Unit; CTU)은 재귀적인 쿼드-크리 구조에 의해 더 작은 복수의 CU들로 분할될 수 있다. 하나의 CU는 동일한 크기들을 갖는 4개의 CU들로 분할될 수 있다. CU는 재귀적으로 분할될 수 있으며, 각 CU는 쿼드-트리의 구조를 가질 수 있다.
CU는 깊이를 가질 수 있다. CU가 분할되면, 분할에 의해 생성된 CU들은 분할된 CU의 깊이에서 1 증가한 깊이를 가질 수 있다.
예를 들면, CU의 깊이는 0 내지 3의 값을 가질 수 있다. CU의 크기는 CU의 깊이에 따라 64x64로부터 8x8까지의 크기일 수 있다.
CU에 대한 재귀적인 분할을 통해, 최소의 율-왜곡 비율을 발생시키는 최적의 분할 방법이 선택될 수 있다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 6의 그래프의 중심으로부터 외곽으로의 화살표들은 인트라 예측 모드들의 예측 방향들을 나타낼 수 있다. 또한, 화살표에 근접하게 표시된 숫자는 인트라 예측 모드 또는 인트라 예측 모드의 예측 방향에 할당된 모드 값의 일 예를 나타낼 수 있다.
인트라 부호화 및/또는 복호화는 대상 블록의 주변의 유닛의 참조 샘플을 이용하여 수행될 수 있다. 주변의 블록은 주변의 재구축된 블록일 수 있다. 예를 들면, 인트라 부호화 및/또는 복호화는 주변의 재구축된 블록이 포함하는 참조 샘플의 값 또는 코딩 파라미터를 이용하여 수행될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기초하여 대상 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기반하여 인트라 예측을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 적어도 하나의 재구축된 참조 샘플에 기반하여 방향성 예측 및/또는 비방향성 예측을 수행할 수 있다.
예측 블록은 인트라 예측의 수행의 결과로 생성된 블록을 의미할 수 있다. 예측 블록은 CU, PU 및 TU 중 적어도 하나에 해당할 수 있다.
예측 블록의 단위는 CU, PU 및 TU 중 적어도 하나의 크기일 수 있다. 예측 블록은 2Nx2N의 크기 또는 NxN의 크기를 갖는, 정사각형의 형태를 가질 수 있다. NxN의 크기는 4x4, 8x8, 16x16, 32x32 및 64x64 등을 포함할 수 있다.
또는, 예측 블록은 2x8, 4x8, 2x16, 4x16 및 8x16 등의 MxN 크기를 갖는 직사각형 모양의 블록일 수도 있다.
인트라 예측은 대상 블록에 대한 인트라 예측 모드에 따라 수행될 수 있다. 대상 블록이 가질 수 있는 인트라 예측 모드의 개수는 기정의된 고정된 값일 수 있으며, 예측 블록의 속성에 따라 다르게 결정된 값일 수 있다. 예를 들면, 예측 블록의 속성은 예측 블록의 크기 및 예측 블록의 타입 등을 포함할 수 있다.
예를 들면, 인트라 예측 모드의 개수는 예측 블록의 크기에 관계없이 35개로 고정될 수 있다. 또는, 예를 들면, 인트라 예측 모드의 개수는 3, 5, 9, 17, 34, 35 또는 36 등일 수 있다.
인트라 예측 모드는 비방향성(non-directional) 모드 또는 방향성(directional) 모드일 수 있다. 예를 들면, 인트라 예측 모드는 도 6에서 도시된 것과 같이 2개의 비방향성 모드들 및 33개의 방향성 모드들을 포함할 수 있다.
비방향성 모드는 디씨(DC) 모드 및 플래너(planar) 모드를 포함할 수 있다. 예를 들면, 디씨 모드의 모드 값은 1일 수 있다. 플래너 모드의 모드 값은 0일 수 있다.
방향성 모드들은 특정한 방향 또는 특정한 각도(angular)를 갖는 예측 모드일 수 있다. 복수의 인트라 예측 모드들 중 DC 모드 및 플래너 모드를 제외한 나머지의 모드는 방향성 모드일 수 있다.
인트라 예측 모드는 모드 번호, 모드 값, 모드 번호 및 모드 각도 중 적어도 하나로 표현될 수 있다. 인트라 예측 모드의 개수는 M 개일 수 있다. M은 1 이상일 수 있다. 말하자면, 인트라 예측 모드는 비방향성 모드의 개수 및 방향성 모드의 개수를 포함하는 M 개일 수 있다.
인트라 예측 모드의 개수는 블록의 크기에 관계없이 M 개로 고정될 수 있다. 또는, 인트라 예측 모드의 개수는 블록의 크기 및/또는 색 성분(color component)의 타입에 따라 상이할 수 있다. 예를 들면, 색 성분이 휘도(luma) 신호인지 아니면 색차(chroma) 신호인지에 따라 예측 모드의 개수가 다를 수 있다. 예를 들면, 블록의 크기가 커질수록 인트라 예측 모드의 개수는 많아질 수 있다. 또는 루마 성분 블록의 인트라 예측 모드의 개수는 색차 성분 블록의 인트라 예측 모드의 개수보다 많을 수 있다.
예를 들면, 모드 값이 26인 수직 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수직 방향으로 예측이 수행될 수 있다.
전술된 모드 이외의 방향성 모드인 경우에도 부호화 장치(100) 및 복호화 장치(200)는 방향성 모드에 대응하는 각도에 따라 참조 샘플을 이용하여 대상 유닛에 대한 인트라 예측을 수행할 수 있다.
수직 모드의 우측에 위치한 인트라 예측 모드는 수직 우측 모드(vertical-right mode)로 명명될 수 있다. 수평 모드의 하단에 위치한 인트라 예측 모드는 수형 하단 모드(horizontal-below mode)로 명명될 수 있다. 예를 들면, 도 6에서, 모드 값이 27, 28, 29, 30, 31, 32, 33 및 34 중 하나인 인트라 예측 모드들은 수직 우측 모드들(613)일 수 있다. 모드 값이 2, 3, 4, 5, 6, 7, 8 및 9 중 하나인 인트라 예측 모드들은 수평 하단 모드들(616)일 수 있다.
전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 단지 예시적인 것일 수 있다. 전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 실시예, 구현 및/또는 필요에 따라 다르게 정의될 수도 있다.
대상 블록에 대한 인트라 예측을 수행하기 위해 복원된 주변 블록에 포함되는 샘플들이 대상 블록의 참조 샘플로서 이용될 수 있는지 여부를 검사하는 단계가 수행될 수 있다. 주변 블록의 샘플들 중 현재 블록의 참조 샘플로 이용할 수 없는 샘플이 존재하는 경우, 복원된 주변 블록에 포함된 샘플들 중 적어도 하나의 샘플 값을 사용하는 복사 및/또는 보간에 의해 생성된 값이 참조 샘플로 이용할 수 없는 샘플의 샘플 값으로 대체될 수 있다. 복사 및/또는 보간에 의해 생성된 값이 샘플의 샘플 값으로 대체되면, 샘플이 대상 블록의 참조 샘플로서 이용될 수 있다.
인트라 예측 시, 인트라 예측 모드 및 대상 블록의 크기 중 적어도 하나에 기반하여 참조 샘플 또는 예측 샘플 중 적어도 하나에 필터가 적용될 수 있다.
인트라 예측 모드가 플래너 모드의 경우, 대상 블록의 예측 블록을 생성함에 있어서, 예측 대상 샘플의 예측 블록 내 위치에 따라, 대상 샘플의 상단 참조 샘플, 대상 샘플의 좌측 참조 샘플, 대상 블록의 우상단 참조 샘플 및 대상 블록의 좌하단 참조 샘플의 가중치가 부여된 합(weight-sum)을 이용하여 예측 대상 샘플의 샘플 값이 생성될 수 있다.
인트라 예측 모드가 DC 모드인 경우, 대상 블록의 예측 블록을 생성함에 있어서, 대상 블록의 상단 참조 샘플들 및 좌측 참조 샘플들의 평균 값이 이용될 수 있다.
인트라 예측 모드가 방향성 모드인 경우 대상 블록의 상단 참조 샘플, 좌측 참조 샘플, 우상단 참조 샘플 및/또는 좌하단 참조 샘플을 이용하여 예측 블록이 생성될 수 있다.
전술된 예측 샘플을 생성하기 위해 실수 단위의 보간이 수행될 수도 있다.
대상 블록의 인트라 예측 모드는 대상 블록의 주변 블록의 인트라 예측으로부터 예측될 수 있으며, 예측을 위해 사용되는 정보가 엔트로피 부호화/복호화될 수 있다.
예를 들면, 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하면 기정의된 플래그를 이용하여 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하다는 것이 시그널링될 수 있다.
예를 들면, 복수의 주변 블록들의 인트라 예측 모드들 중 대상 블록의 인트라 예측 모드와 동일한 인트라 예측 모드를 가리키는 지시자가 시그널링될 수 있다.
대상 블록 및 주변 블록의 인트라 예측 모드들이 서로 다르면, 주변 블록의 인트라 예측 모드에 기반하여 대상 블록의 인트라 예측 모드의 정보가 엔트로피 부호화/복호화될 수 있다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 7은 대상 블록의 인트라 예측을 위해 사용되는 참조 샘플의 위치를 도시한다. 도 7을 참조하면, 대상 블록의 인트라 예측에 사용되는 재구축된 참조 샘플은 하단 좌측(below-left) 참조 샘플들(731), 좌측(left) 참조 샘플들(733), 상단 좌측(above-left) 코너 참조 샘플(735), 상단(above) 참조 샘플들(737) 및 상단 우측(above-right) 참조 샘플들(739) 등을 포함할 수 있다.
예를 들면, 좌측 참조 샘플들(733)은 대상 블록의 좌측에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 참조 샘플들(737)은 대상 블록의 상단에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 좌측 코너 참조 샘플(735)은 대상 블록의 상단 좌측 코너에 위치한 재구축된 참조 픽셀을 의미할 수 있다. 또한, 하단 좌측 참조 샘플들(731)은 좌측 참조 샘플들(733)로 구성된 좌측 샘플 라인과 동일 선상에 위치한 샘플들 중에서 좌측 샘플 라인의 하단에 위치한 참조 샘플을 의미할 수 있다. 상단 우측 참조 샘플들(739)은 상단 참조 샘플들(737)로 구성된 상단 샘플 라인과 동일 선상에 위치한 샘플들 중에서 상단 픽셀 라인의 우측에 위치한 참조 샘플들을 의미할 수 있다.
대상 블록의 크기가 NxN일 때, 하단 좌측 참조 샘플들(731), 좌측 참조 샘플들(733), 상단 참조 샘플들(737) 및 상단 우측 참조 샘플들(739)은 각각 N개일 수 있다.
대상 블록에 대한 인트라 예측을 통해 예측 블록이 생성될 수 있다. 예측 블록의 생성은 예측 블록의 픽셀들의 값이 결정되는 것을 포함할 수 있다. 대상 블록 및 예측 블록의 크기는 동일할 수 있다.
대상 블록의 인트라 예측에 사용되는 참조 샘플은 대상 블록의 인트라 예측 모드에 따라 달라질 수 있다. 인트라 예측 모드의 방향은 참조 샘플들 및 예측 블록의 픽셀들 간의 의존 관계를 나타낼 수 있다. 예를 들면, 특정된 참조 샘플의 값이 예측 블록의 특정된 하나 이상의 픽셀들의 값으로서 사용될 수 있다. 이 경우, 특정된 참조 샘플 및 예측 블록의 특정된 하나 이상의 픽셀들은 인트라 예측 모드의 방향의 직선으로 지정되는 샘플 및 픽셀들일 수 있다. 말하자면, 특정된 참조 샘플의 값은 인트라 예측 모드의 방향의 역방향에 위치한 픽셀의 값으로 복사될 수 있다. 또는, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 인트라 예측 모드의 방향에 위치한 참조 샘플의 값일 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 26인 수직 모드인 경우, 상단 참조 샘플들(737)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수직 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 수직으로 위에 위치한 참조 샘플의 값일 수 있다. 따라서, 대상 블록에 상단으로 인접한 상단 참조 샘플들(737)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 행의 픽셀들의 값들은 상단 참조 샘플들(737)의 값들과 동일할 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드의 모드 값이 18인 경우 좌측 참조 샘플들(733)의 적어도 일부, 상단 좌측 코너 참조 샘플(735) 및 상단 참조 샘플들(737)의 적어도 일부 인트라 예측에 사용될 수 있다. 인트라 예측 모드의 모드 값이 18인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 대각선으로 상단 좌측에 위치한 참조 샘플의 값일 수 있다.
예측 블록의 하나의 픽셀의 픽셀 값을 결정하기 위해 사용되는 참조 샘플은 1개일 수 있고, 2개 이상일 수도 있다.
전술된 것과 같이 예측 블록의 픽셀의 픽셀 값은 상기의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치에 따라 결정될 수 있다. 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치인 경우, 정수 위치가 가리키는 하나의 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다.
픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치가 아닌 경우, 참조 샘플의 위치에 가장 가까운 2개의 참조 샘플들에 기반하여 보간된(interpolated) 참조 샘플이 생성될 수 있다. 보간된 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다. 말하자면, 예측 블록의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 2개의 참조 샘플들 간의 사이를 나타낼 때, 상기의 2개의 샘플들의 값들에 기반하여 보간된 값이 생성될 수 있다.
예측에 의해 생성된 예측 블록은 원래의 대상 블록과는 동일하지 않을 수 있다. 말하자면, 대상 블록 및 예측 블록 간의 차이(difference)인 예측 오차(prediction error)가 존재할 수 있으며, 대상 블록의 픽셀 및 예측 블록의 픽셀 간에도 예측 오차가 존재할 수 있다.
이하에서, 용어들 "차이(difference)", "오차(error)" 및 "잔여(residual)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
예를 들면, 방향성 인트라 예측의 경우, 예측 블록의 픽셀 및 참조 샘플 간의 거리가 더 멀수록 더 큰 예측 오차가 발생할 수 있다. 이러한 예측 오차에 등 의해 생성된 예측 블록 및 주변 블록 간에는 불연속성이 발생할 수 있다.
예측 오차의 감소를 위해 예측 블록에 대한 필터링이 사용될 수 있다. 필터링은 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역에 대해 적응적으로 필터를 적용하는 것일 수 있다. 예를 들면, 큰 예측 오차를 갖는 것으로 간주되는 영역은 예측 블록의 경계일 수 있다. 또한, 인트라 예측 모드에 따라서 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역이 다를 수 있으며, 필터의 특징이 다를 수 있다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8에 도시된 사각형은 영상(또는, 픽처)를 나타낼 수 있다. 또한, 도 8에서 화살표는 예측 방향을 나타낼 수 있다. 즉, 영상은 예측 방향에 따라 부호화 및/또는 복호화될 수 있다.
각 영상은 부호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-prediction Picture) 및 B 픽처(Bi-prediction Picture)로 분류될 수 있다. 각 픽처는 각 픽처의 부호화 타입에 따라 부호화될 수 있다.
부호화의 대상인 대상 영상이 I 픽처인 경우, 대상 영상은 다른 영상을 참조하는 인터 예측 없이 영상 자체 내의 데이터를 사용하여 부호화될 수 있다. 예를 들면, I 픽처는 인트라 예측으로만 부호화될 수 있다.
대상 영상이 P 픽처인 경우, 대상 영상은 단방향에 존재하는 참조 픽처만을 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 단방향은 순방향 또는 역방향일 수 있다.
대상 영상이 B 픽처인 경우, 대상 영상은 양방향에 존재하는 참조 픽처들을 이용하는 인터 예측 또는 순방향 및 역방향 중 일 방향에 존재하는 참조 픽처를 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 양방향은 순방향 및 역방향일 수 있다.
참조 픽처를 이용하여 부호화 및/또는 복호화되는 P 픽처 및 B 픽처는 인터 예측이 사용되는 영상으로 간주될 수 있다.
아래에서, 실시예에 따른 인터 모드에서의 인터 예측에 대해 구체적으로 설명된다.
인터 예측은 움직임 정보를 이용하여 수행될 수 있다.
인터 모드에서, 부호화 장치(100)는 대상 블록에 대한 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 복호화 장치(200)는 대상 블록에 대하여 부호화 장치(100)에서의 인터 예측 및/또는 움직임 보상에 대응하는 인터 예측 및/또는 움직임 보상을 수행할 수 있다.
대상 블록에 대한 움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다. 움직임 정보는 복원된 주변 블록의 움직임 정보, 콜 블록(collocated block; col block)의 움직임 정보 및/또는 콜 블록에 인접한 블록의 움직임 정보를 이용하여 도출될 수 있다. 콜 블록은 이미 복원된 콜 픽처(collocated picture; col picture) 내의 블록일 수 있다. 콜 블록의 콜 픽처 내에서의 위치는 대상 블록의 대상 영상 내의 위치에 대응할 수 있다. 콜 픽처는 참조 픽처 리스트에 포함된 적어도 하나의 참조 픽처 중 하나의 픽처일 수 있다.
예를 들면, 부호화 장치(100) 또는 복호화 장치(200)는 공간적 후보(spatial candidate) 및/또는 시간적 후보(temporal candidate)의 움직임 정보를 대상 블록의 움직임 정보로 사용함으로써 예측 및/또는 움직임 보상을 수행할 수 있다. 대상 블록은 PU 및/또는 PU 파티션을 의미할 수 있다.
공간적 후보는 대상 블록에 공간적으로 인접한 재구축된 블록일 수 있다.
시간적 후보는 이미 재구축된 콜 픽처(collocated picture; col picture) 내의 대상 블록에 대응하는 재구축된 블록일 수 있다.
인터 예측에 있어서, 부호화 장치(100) 및 복호화 장치(200)는 공간적 후보 및/또는 시간적 후보의 움직임 정보를 이용함으로써 부호화 효율 및 복호화 효율을 향상시킬 수 있다. 공간적 후보의 움직임 정보는 공간적 움직임 정보로 칭해질 수 있다. 시간적 후보의 움직임 정보는 시간적 움직임 정보로 칭해질 수 있다.
이하에서, 공간적 후보의 움직임 정보는, 공간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 시간적 후보의 움직임 정보는, 시간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 후보 블록의 움직임 정보는, 후보 블록을 포함하는 PU의 움직임 정보일 수 있다.
인터 예측은 참조 픽처를 이용하여 수행될 수 있다.
참조 픽처(reference picture)는 대상 픽처의 이전 픽처 또는 대상 픽처의 이후 픽처 중 적어도 하나일 수 있다. 참조 픽처는 대상 블록의 예측에 이용되는 영상을 의미할 수 있다.
인터 예측에 있어서, 참조 픽처를 지시하는 참조 픽처 인덱스(또는, refIdx) 및 후술될 움직임 벡터(motion vector) 등을 이용함으로써 참조 픽처 내의 영역이 특정될 수 있다. 여기에서, 참조 픽처 내의 특정된 영역은 참조 블록을 나타낼 수 있다.
인터 예측은 참조 픽처를 선택할 수 있고, 참조 픽처 내에서 대상 블록에 대응하는 참조 블록을 선택할 수 있다. 또한, 인터 예측은 선택된 참조 블록을 사용하여 대상 블록에 대한 예측 블록을 생성할 수 있다.
움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다.
공간적 후보는, 1) 대상 픽처 내의 존재하며, 2) 이미 부호화 및/또는 복호화를 통해 재구축되었고, 3) 대상 블록에 인접하거나, 대상 블록의 코너에 위치한 블록일 수 있다. 여기에서, 대상 블록의 코너에 위치한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록의 코너에 인접한 블록"과 동일한 의미일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록에 인접한 블록"에 포함될 수 있다.
예를 들면, 공간적 후보는 대상 블록의 좌측에 위치한 재구축된 블록, 대상 블록의 상단에 위치한 재구축된 블록, 대상 블록의 좌측 하단 코너에 위치한 재구축된 블록, 대상 블록의 우측 상단 코너에 위치한 재구축된 블록 또는 대상 블록의 좌측 상단 코너에 위치한 재구축된 블록일 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 콜(col) 픽처 내에서 대상 블록에 공간적으로 대응하는 위치에 존재하는 블록을 식별할 수 있다. 대상 픽처 내의 대상 블록의 위치 및 콜 픽처 내의 식별된 블록의 위치는 서로 대응할 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 식별된 블록에 대하여 기정의된 상대적인 위치에 존재하는 콜(col) 블록을 시간적 후보로서 결정할 수 있다. 기정의된 상대적인 위치는 식별된 블록의 내부의 위치 및/또는 외부의 위치일 수 있다.
예를 들면, 콜 블록은 제1 콜 블록 및 제2 콜 블록을 포함할 수 있다. 식별된 블록의 좌표들이 (xP, yP)이고, 식별된 블록의 크기가 (nPSW, nPSH)일 때, 제1 콜 블록은 좌표들 (xP + nPSW, yP + nPSH)에 위치한 블록일 수 있다. 제2 콜 블록은 좌표들 (xP + (nPSW >> 1), yP + (nPSH >> 1))에 위치한 블록일 수 있다. 제2 콜 블록은 제1 콜 블록이 가용하지 않을(unavailable) 경우 선택적으로 사용될 수 있다.
대상 블록의 움직임 벡터는 콜 블록의 움직임 벡터에 기반하여 결정될 수 있다. 부호화 장치(100) 및 복호화 장치(200)의 각각은 콜 블록의 움직임 벡터를 스케일(scale)할 수 있다. 콜 블록의 스케일된(scale) 움직임 벡터가 대상 블록의 움직임 벡터로서 이용될 수 있다. 또한, 리스트에 저장되는 시간적 후보의 움직임 정보의 움직임 벡터는 스케일된 움직임 벡터일 수 있다.
대상 블록의 움직임 벡터 및 콜 블록의 움직임 벡터의 비율(ratio)은 제1 거리 및 제2 거리의 비율과 같을 수 있다. 제1 거리는 대상 블록의 참조 픽처 및 대상 픽처 간의 거리일 수 있다. 제2 거리는 콜 블록의 참조 픽처 및 콜 픽처 간의 거리일 수 있다.
움직임 정보의 도출 방식은 대상 블록의 인터 예측 모드에 따라 변할 수 있다. 예를 들면, 인터 예측을 위해 적용되는 인터 예측 모드로서, 향상된 움직임 벡터 예측자(Advanced Motion Vector Predictor; AMVP) 모드, 머지(merge) 모드 및 스킵(skip) 모드 및 현재 픽처 참조 모드 등이 있을 수 있다. 머지 모드는 움직임 머지 모드(motion merge mode)로 칭해질 수도 있다. 아래에서는, 모드들의 각각에 대해서 상세하게 설명된다.
1) AMVP 모드
AMVP 모드가 사용되는 경우, 부호화 장치(100)는 대상 블록의 주변에서 유사한 블록을 검색할 수 있다. 부호화 장치(100)는 검색된 유사한 블록의 움직임 정보를 이용하여 대상 블록에 대한 예측을 수행함으로써 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록 간의 차이인 잔여 블록을 부호화할 수 있다.
1-1) 예측 움직임 벡터 후보 리스트의 작성
예측 모드로서 AMVP 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터를 이용하여 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 예측 움직임 벡터 후보 리스트는 하나 이상의 예측 움직임 벡터 후보들을 포함할 수 있다. 공간적 후보의 움직임 벡터의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터 중 적어도 하나가 예측 움직임 벡터 후보로서 결정 및 사용될 수 있다.
이하에서, 용어들 "예측 움직임 벡터 (후보)" 및 "움직임 벡터 (후보)"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
공간적 움직임 후보는 복원된 공간적 주변 블록을 포함할 수 있다. 말하자면, 복원된 주변 블록의 움직임 벡터는 공간적 예측 움직임 벡터 후보(spatial prediction motion vector candidate)라 칭해질 수 있다.
시간적 움직임 후보는 콜 블록 및 콜 블록에 인접한 블록을 포함할 수 있다. 말하자면, 콜 블록의 움직임 벡터 또는 콜 블록에 인접한 블록의 움직임 벡터는 시간적 예측 움직임 벡터 후보(temporal prediction motion vector candidate)로 칭해질 수 있다.
제로 벡터는 (0, 0) 움직임 벡터일 수 있다.
예측 움직임 벡터 후보는 움직임 벡터의 예측을 위한 움직임 벡터 예측자(motion vector predictor)일 수 있다. 또한, 부호화 장치(100)에 있어서 예측 움직임 벡터 후보는 움직임 벡터 초기 검색 위치일 수 있다.
1-2) 예측 움직임 벡터 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 예측 움직임 벡터 후보 리스트를 사용하여 검색 범위 내에서 대상 블록의 부호화를 위해 사용될 움직임 벡터를 결정할 수 있다. 또한, 부호화 장치(100)는 예측 움직임 벡터 후보 리스트의 예측 움직임 벡터 후보들 중 대상 블록의 예측 움직임 벡터로 사용할 예측 움직임 벡터 후보를 결정할 수 있다.
대상 블록의 부호화를 위해 사용될 움직임 벡터는 최소의 비용으로 부호화될 수 있는 움직임 벡터일 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 AMVP 모드를 사용할지 여부를 결정할 수 있다.
1-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) AMVP 모드를 사용하는지 여부를 나타내는 모드 정보, 2) 예측 움직임 벡터 인덱스, 3) 움직임 벡터 차분(MVD: Motion Vector Difference), 4) 참조 방향 및 5) 참조 픽처 인덱스를 포함할 수 있다.
또한, 인터 예측 정보는 잔여 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 AMVP 모드를 사용하는 것을 나타낼 경우 엔트로피 복호화를 통해 예측 움직임 벡터 인덱스, 움직임 벡터 차분, 참조 방향 및 참조 픽처 인덱스를 비트스트림으로부터 획득할 수 있다.
예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 대상 블록의 예측을 위해 사용되는 예측 움직임 벡터 후보를 가리킬 수 있다.
1-4) 인터 예측 정보를 사용하는 AMVP 모드의 인터 예측
복호화 장치(200)는 예측 움직임 벡터 후보 리스트를 이용하여 예측 움직임 벡터 후보를 유도할 수 있고, 유도된 예측 움직임 벡터 후보에 기반하여 대상 블록의 움직임 정보를 결정할 수 있다.
복호화 장치(200)는 예측 움직임 벡터 인덱스를 사용하여 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서 대상 블록에 대한 움직임 벡터 후보를 결정할 수 있다. 복호화 장치(200)는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 예측 움직임 벡터 인덱스가 가리키는 예측 움직임 벡터 후보를 대상 블록의 예측 움직임 벡터로서 선택할 수 있다.
대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 예측 움직임 벡터와 일치하지 않을 수 있다. 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 및 예측 움직임 벡터 간의 차분을 나타내기 위해 MVD가 사용될 수 있다. 부호화 장치(100)는 가능한 작은 크기의 MVD를 사용하기 위해 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터와 유사한 예측 움직임 벡터를 도출할 수 있다.
MVD는 대상 블록의 움직임 벡터 및 예측 움직임 벡터 간의 차분일 수 있다. 부호화 장치(100)는 MVD를 계산할 수 있고, MVD를 엔트로피 부호화할 수 있다.
MVD는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 복호화 장치(200)는 수신된 MVD를 복호화할 수 있다. 복호화 장치(200)는 복호화된 MVD 및 예측 움직임 벡터를 합함으로써 대상 블록의 움직임 벡터를 유도(derive)할 수 있다. 말하자면, 복호화 장치(200)에서 도출되는 대상 블록의 움직임 벡터는 엔트로피 복호화된 MVD 및 움직임 벡터 후보의 합일 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 수 있다. 예를 들면, 참조 방향은 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1 중 하나를 가리킬 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 뿐, 참조 픽처들의 방향들이 순방향(forward direction) 또는 역방향(backward direction)으로 제한된다는 것을 나타내는 것을 아닐 수 있다. 말하자면, 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1의 각각은 순방향 및/또는 역방향의 픽처들을 포함할 수 있다.
참조 방향이 단방향(uni-direction)이란 것은 하나의 참조 픽처 리스트가 사용된다는 것을 의미할 수 있다. 참조 방향이 양방향(bi-direction)이란 것은 2 개의 참조 픽처 리스트들이 사용된다는 것을 의미할 수 있다. 말하자면, 참조 방향은, 참조 픽처 리스트 L0만이 사용된다는 것, 참조 픽처 리스트 L1만이 사용된다는 것 및 2 개의 참조 픽처 리스트들 것 중 하나를 가리킬 수 있다.
참조 픽처 인덱스는 참조 픽처 리스트의 참조 픽처들 중 대상 블록의 예측을 위해 사용되는 참조 픽처를 가리킬 수 있다. 참조 픽처 인덱스는 부호화 장치(100)에 의해 엔트로피 부호화될 수 있다. 엔트로피 부호화된 참조 픽처 인덱스는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.
대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우. 각 참조 픽처 리스트에 대해 하나의 참조 픽처 인덱스 및 하나의 움직임 벡터가 사용될 수 있다. 또한, 대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우, 대상 블록에 대해 2 개의 예측 블록들이 특정될 수 있다. 예를 들면, 대상 블록에 대한 2 개의 예측 블록들의 평균 또는 가중치가 부여된 합(weighed-sum)을 통해 대상 블록의 (최종적인) 예측 블록이 생성될 수 있다.
예측 움직임 벡터 인덱스, MVD, 참조 방향 및 참조 픽처 인덱스에 의해 대상 블록의 움직임 벡터가 유도될 수 있다.
복호화 장치(200)는 유도된 움직임 벡터 및 참조 픽처 인덱스에 기반하여 대상 블록에 대한 예측 블록을 생성할 수 있다. 예를 들면, 예측 블록은 참조 픽처 인덱스가 가리키는 참조 픽처 내의 유도된 움직임 벡터가 가리키는 참조 블록일 수 있다.
대상 블록의 움직임 벡터 자체를 부호화하지 않고, 예측 움직임 벡터 인덱스 및 MVD를 부호화함에 따라 부호화 장치(100)로부터 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
대상 블록에 대해서 재구축된 주변 블록의 움직임 정보가 사용될 수 있다. 특정한 인터 예측 모드에서는, 부호화 장치(100)가 대상 블록에 대한 움직임 정보 자체는 별도로 부호화하지 않을 수도 있다. 대상 블록의 움직임 정보가 부호화되지 않고, 재구축된 주변 블록의 움직임 정보를 통해 대상 블록의 움직임 정보를 유도할 수 있는 다른 정보가 대신 부호화될 수 있다. 다른 정보가 대신 부호화됨에 따라, 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
예를 들면, 이러한 대상 블록의 움직임 정보가 직접적으로 부호화되지 않는 인터 예측 모드로서, 스킵 모드(skip mode) 및/또는 머지 모드(merge mode) 등이 있을 수 있다. 이때, 부호화 장치(100) 및 복호화 장치(200)는 재구축된 주변 유닛들 중 어떤 유닛의 움직임 정보가 대상 유닛의 움직임 정보로서 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다.
2) 머지 모드
대상 블록의 움직임 정보를 도출하는 방식으로서, 머지(merge)가 있다. 머지는 복수의 블록들에 대한 움직임들의 병합을 의미할 수 있다. 머지는 하나의 블록의 움직임 정보를 다른 블록에도 함께 적용시키는 것을 의미할 수 있다. 말하자면, 머지 모드는 대상 블록의 움직임 정보가 주변 블록의 움직임 정보로부터 유도되는 모드를 의미할 수 있다.
머지 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 대상 블록의 움직임 정보에 대한 예측을 수행할 수 있다. 공간적 후보는 대상 블록에 공간적으로 인접한 복원된 공간적 주변 블록을 포함할 수 있다. 공간적으로 인접한 블록은 좌측 인접 블록 및 상단 인접 블록을 포함할 수 있다. 시간적 후보는 콜 블록을 포함할 수 있다. 용어들 "공간적 후보" 및 "공간적 머지 후보"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 용어들 "시간적 후보" 및 "시간적 머지 후보"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
부호화 장치(100)는 예측을 통해 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록의 차이인 잔여 블록을 부호화할 수 있다.
2-1) 머지 후보 리스트(merge candidate list)의 작성
머지 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 머지 후보 리스트를 생성할 수 있다. 움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스, 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 단방향 또는 양방향일 수 있다.
머지 후보 리스트는 머지 후보들을 포함할 수 있다. 머지 후보는 움직임 정보일 수 있다. 말하자면, 머지 후보 리스트는 움직임 정보들이 저장된 리스트일 수 있다.
머지 후보들은 시간적 후보 및/또는 공간적 후보 등의 움직임 정보들일 수 있다. 또한, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 머지 후보들의 조합에 의해 생성된 새로운 머지 후보를 포함할 수 있다. 말하자면, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 움직임 정보들의 조합에 의해 생성된 새로운 움직임 정보를 포함할 수 있다.
또한, 머지 후보 리스트는 제로 벡터의 움직임 정보를 포함할 수 있다. 제로 벡터는 제로 머지 후보로 칭해질 수도 있다.
말하자면, 머지 후보 리스트 내의 움직임 정보들은, 1) 공간적 후보의 움직임 정보, 2) 시간적 후보의 움직임 정보, 3) 이미 머지 후보 리스트에 존재하는 움직임 정보들의 조합에 의해 생성된 움직임 정보, 4) 제로 벡터 중 적어도 하나일 수 있다.
움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 인터 예측 지시자로 칭해질 수도 있다. 참조 방향은 단방향 또는 양방향일 수 있다. 단방향의 참조 방향은 L0 예측 또는 L1 예측을 나타낼 수 있다.
머지 후보 리스트는 머지 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
머지 후보 리스트의 머지 후보들의 개수는 기정의될 수 있다. 머지 후보 리스트가 기정의된 개수의 머지 후보들을 갖도록 부호화 장치(100) 및 복호화 장치(200)는 기정의된 방식 및 기정의된 순위에 따라서 머지 후보 리스트에 머지 후보를 추가할 수 있다. 기정의된 방식 및 기정의된 순위를 통해 부호화 장치(100)의 머지 후보 리스트 및 복호화 장치(200)의 머지 후보 리스트는 동일하게 될 수 있다.
머지는 CU 단위 또는 PU 단위로 적용될 수 있다. CU 단위 또는 PU 단위로 머지가 수행되는 경우, 부호화 장치(100)는 기정의된 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 예를 들면, 기정의된 정보는, 1) 블록 파티션(partition) 별로 머지를 수행할지 여부를 나타내는 정보, 2) 대상 블록에 대하여 공간적 후보 및/또는 시간적 후보인 블록들 중 어떤 블록과 머지를 할 것인가에 대한 정보를 포함할 수 있다.
2-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행하고, 머지 후보들에 대한 잔여 블록들을 생성할 수 있다. 부호화 장치(100)는 예측과 잔여 블록의 부호화에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 머지 모드를 사용할지 여부를 결정할 수 있다.
2-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 부호화 장치(100)는 인터 예측 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 인터 예측 정보를 생성할 수 있고, 엔트로피 부호화된 인터 예측 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 비트스트림을 통해, 엔트로피 부호화된 인터 예측 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.
복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 머지 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 머지 인덱스를 포함할 수 있다.
또한, 인터 예측 정보는 잔여 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 머지 모드를 사용하는 것을 나타낼 경우에만 머지 인덱스를 비트스트림으로부터 획득할 수 있다.
모드 정보는 머지 플래그일 수 있다. 모드 정보의 단위는 블록일 수 있다. 블록에 대한 정보는 모드 정보를 포함할 수 있고, 모드 정보는 블록에 대하여 머지 모드가 적용되는지 여부를 나타낼 수 있다.
머지 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다. 또는, 머지 인덱스는 대상 블록에 공간적 또는 시간적으로 인접한 주변 블록들 중 어떤 블록과의 머지가 수행되는가를 가리킬 수 있다.
2-4) 인터 예측 정보를 사용하는 머지 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 머지 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
머지 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
3) 스킵 모드
스킵 모드는 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 그대로 대상 블록에 적용하는 모드일 수 있다. 또한, 스킵 모드는 잔여 신호를 사용하지 않는 모드일 수 있다. 말하자면, 스킵 모드가 사용될 때, 재구축된 블록은 예측 블록일 수 있다.
머지 모드 및 스킵 모드의 차이는 잔여 신호의 전송 또는 사용의 여부일 수 있다. 말하자면, 스킵 모드는 잔여 신호가 전송 또는 사용되지 않는다는 점을 제외하고는 머지 모드와 유사할 수 있다.
스킵 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보 또는 시간적 후보인 블록들 중 어떤 블록의 움직임 정보가 대상 블록의 움직임 정보로서 이용되는 지를 나타내는 정보를 비트스트림을 통해 복호화 장치(200)에 전송할 수 있다. 부호화 장치(100)는 이러한 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 정보를 생성할 수 있고, 비트스트림을 통해 엔트로피 부호화된 정보를 복호화 장치(200)로 시그널링할 수 있다.
또한, 스킵 모드가 사용되는 경우 부호화 장치(100)는 MVD와 같은 다른 구문 요소 정보는 복호화 장치(200)에 전송하지 않을 수 있다. 예를 들면, 스킵 모드와 사용되는 경우, 부호화 장치(100)는 MVC, 코드된 블록 플래그 및 변환 계수 레벨 중 적어도 하나에 관한 구문 요소를 복호화 장치(200)에 시그널링하지 않을 수 있다.
3-1) 머지 후보 리스트의 작성
스킵 모드 또한 머지 후보 리스트를 사용할 수 있다. 말하자면, 머지 후보 리스트는 머지 모드 및 스킵 모드의 양자에서 사용될 수 있다. 이러한 측면에서, 머지 후보 리스트는 "스킵 후보 리스트" 또는 "머지/스킵 후보 리스트"로 명명될 수도 있다.
또는, 스킵 모드는 머지 모드와는 다른 별개의 후보 리스트를 사용할 수도 있다. 이러한 경우, 아래의 설명에서 머지 후보 리스트 및 머지 후보는 스킵 후보 리스트 및 스킵 후보로 각각 대체될 수 있다.
머지 후보 리스트는 스킵 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
3-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행할 수 있다. 부호화 장치(100)는 예측에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 스킵 모드를 사용할지 여부를 결정할 수 있다.
3-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 스킵 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 스킵 인덱스를 포함할 수 있다.
스킵 인덱스는 전술된 머지 인덱스와 동일할 수 있다.
스킵 모드가 사용될 경우, 대상 블록은 잔여 신호 없이 부호화될 수 있다. 인터 예측 정보는 잔여 신호를 포함하지 않을 수 있다. 또는, 비트스트림은 잔여 신호를 포함하지 않을 수 있다.
복호화 장치(200)는 모드 정보가 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다. 전술된 것과 같이, 머지 인덱스 및 스킵 인덱스는 동일한 것일 수 있다. 복호화 장치(200)는 모드 정보가 머지 모드 또는 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다.
스킵 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다.
3-4) 인터 예측 정보를 사용하는 스킵 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 스킵 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
스킵 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
4) 현재 픽처 참조 모드
현재 픽처 참조 모드는 대상 블록이 속한 현재 픽처 내의 기-복원된 영역을 이용하는 예측 모드를 의미할 수 있다.
기-복원된 영역을 특정하기 위한 벡터가 정의될 수 있다. 대상 블록이 현재 픽처 참조 모드로 부호화되는지 여부는 대상 블록의 참조 픽처 인덱스를 이용하여 판단될 수 있다.
대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부를 나타내는 플래그 혹은 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다. 또는, 대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부는 대상 블록의 참조 픽처 인덱스를 통해 유추될 수도 있다.
대상 블록이 현재 픽처 참조 모드로 부호화된 경우, 현재 픽처는 대상 블록을 위한 참조 픽처 리스트 내에서 고정된 위치 또는 임의의 위치에 추가될 수 있다.
예를 들면, 고정된 위치는 참조 픽처 인덱스가 0인 위치 또는 가장 마지막의 위치일 수 있다.
현재 픽처가 참조 픽처 리스트 내의 임의의 위치에 추가되는 경우, 이러한 임의의 위치를 나타내는 별도의 참조 픽처 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.
전술된 AMVP 모드, 머지 모드 및 스킵 모드에서는 리스트에 대한 인덱스를 통해 리스트 내의 움직임 정보들 중 대상 블록의 예측을 위해 사용될 움직임 정보가 특정될 수 있다.
부호화 효율의 향상을 위해서, 부호화 장치(100)는 리스트의 요소들 중 대상 블록의 인터 예측에 있어서 최소의 비용을 유발하는 요소의 인덱스만을 시그널링할 수 있다. 부호화 장치(100)는 인덱스를 부호화할 수 있으며, 부호화된 인덱스를 시그널링할 수 있다.
따라서, 전술된 리스트들(즉, 예측 움직임 벡터 후보 리스트 및 머지 후보 리스트)은 부호화 장치(100) 및 복호화 장치(200)에서 동일한 데이터에 기반하여 동일한 방식으로 유도되어야 할 수 있다. 여기에서, 동일한 데이터는 재구축된 픽처 및 재구축된 블록을 포함할 수 있다. 또한, 인덱스로 요소를 특정하기 위해, 리스트 내에서 요소들의 순서는 일정해야 할 수 있다.
도 9은 일 예에 따른 공간적 후보들을 나타낸다.
도 9에서는, 공간적 후보들의 위치가 도시되었다.
가운데의 큰 블록은 대상 블록을 나타낼 수 있다. 5 개의 작은 블록들은 공간적 후보들을 나타낼 수 있다.
대상 블록의 좌표들은 (xP, yP)일 수 있고, 대상 블록의 크기는 (nPSW, nPSH)일 수 있다.
공간적 후보 A0은 대상 블록의 좌측 하단의 코너에 인접한 블록일 수 있다. A0은 좌표들 (xP - 1, yP + nPSH + 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 A1은 대상 블록의 좌측에 인접한 블록일 수 있다. A1은 대상 블록의 좌측에 인접한 블록들 중 최 하단의 블록일 수 있다. 또는, A1은 A0의 상단에 인접한 블록일 수 있다. A1은 좌표들 (xP - 1, yP + nPSH)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B0은 대상 블록의 우측 상단의 코너에 인접한 블록일 수 있다. B0은 좌표들 (xP + nPSW + 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B1은 대상 블록의 상단에 인접한 블록일 수 있다. B1은 대상 블록의 상단에 인접한 블록들 중 최 우측의 블록일 수 있다. 또는, B1은 B0의 좌측에 인접한 블록일 수 있다. B1은 좌표들 (xP + nPSW, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B2는 대상 블록의 좌측 상단의 코너에 인접한 블록일 수 있다. B2는 좌표들 (xP - 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 및 시간적 후보의 가용성(availability)의 판단
공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 리스트에 포함시키기 위해서는, 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보가 가용한지 여부가 판단되어야 한다.
이하에서, 후보 블록은 공간적 후보 및 시간적 후보를 포함할 수 있다.
예를 들면, 상기의 판단은 아래의 단계 1) 내지 단계 4)를 순차적으로 적용함으로써 이루어질 수 있다.
단계 1) 후보 블록을 포함하는 PU가 픽처의 경계의 밖에 있으면 후보 블록의 가용성은 거짓(false)으로 설정될 수 있다. "가용성이 거짓으로 설정된다"는 것은 "비가용한 것으로 설정된다"는 것과 동일한 의미일 수 있다.
단계 2) 후보 블록을 포함하는 PU가 슬라이스의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 슬라이스들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 3) 후보 블록을 포함하는 PU가 타일의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 타일들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 4) 후보 블록을 포함하는 PU의 예측 모드가 인트라 예측 모드이면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 후보 블록을 포함하는 PU가 인터 예측을 사용하지 않으면 후보 블록의 가용성은 거짓으로 설정될 수 있다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 10에서 도시된 것처럼, 공간적 후보들의 움직임 정보들을 머지 리스트에 추가함에 있어서, A1, B1, B0, A0 및 B2의 순서가 사용될 수 있다. 즉, A1, B1, B0, A0 및 B2의 순서로, 가용한 공간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다.
머지 모드 및 스킵 모드에서의 머지 리스트의 유도 방법
전술된 것과 같이, 머지 리스트 내의 머지 후보들의 최대 개수는 설정될 수 있다. 설정된 최대 개수를 N으로 표시한다. 설정된 개수는 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 슬라이스의 슬라이스 헤더는 N을 포함할 수 있다. 말하자면, 슬라이스 헤더에 의해 슬라이스의 대상 블록에 대한 머지 리스트의 머지 후보들의 최대 개수가 설정될 수 있다. 예를 들면, 기본적으로 N의 값은 5일 수 있다.
움직임 정보(즉, 머지 후보)는 아래의 단계 1) 내지 단계 4)의 순서로 머지 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 머지 리스트에 추가될 수 있다. 가용한 공간적 후보들의 움직임 정보들은 도 10에서 도시된 순서대로 머지 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다. 리스트 내에 존재하는 다른 움직임 정보와 중복되는지 여부를 검사하는 것은 "중복성 검사"로 약술될 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 3) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 대상 슬라이스의 타입이 "B"이면, 조합된 양방향 예측(combined bi-prediction)에 의해 생성된 조합된 움직임 정보가 머지 리스트에 추가될 수 있다.
대상 슬라이스는 대상 블록을 포함하는 슬라이스일 수 있다.
조합된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보의 조합일 수 있다. L0 움직임 정보는 참조 픽처 리스트 L0만을 참조하는 움직임 정보일 수 있다. L1 움직임 정보는 참조 픽처 리스트 L1만을 참조하는 움직임 정보일 수 있다.
머지 리스트 내에서, L0 움직임 정보는 하나 이상일 수 있다. 또한, 머지 리스트 내에서, L1 움직임 정보는 하나 이상일 수 있다.
조합된 움직임 정보는 하나 이상일 수 있다. 조합된 움직임 정보를 생성함에 있어서 하나 이상의 L0 움직임 정보들 및 하나 이상의 L1 움직임 정보들 중 어떤 L0 움직임 정보 및 어떤 L1 움직임 정보를 사용할 것인가는 기정의될 수 있다. 하나 이상의 조합된 움직임 정보는 머지 리스트 내의 서로 다른 움직임 정보들의 쌍(pair)을 사용하는 조합된 양방향 예측에 의해 기정의된 순서로 생성될 수 있다. 서로 다른 움직임 정보들의 쌍 중 하나는 L0 움직임 정보고 다른 하나는 L1 움직임 정보일 수 있다.
예를 들면, 최우선적으로 추가되는 조합된 움직임 정보는 머지 인덱스가 0인 L0 움직임 정보 및 머지 인덱스가 1인 L1 움직임 정보의 조합일 수 있다. 머지 인덱스가 0인 움직임 정보가 L0 움직임 정보가 아니거나, 머지 인덱스가 1인 움직임 정보가 L1 움직임 정보가 아니면 상기의 조합된 움직임 정보는 생성 및 추가되지 않을 수 있다. 다음으로 추가되는 움직임 정보는 머지 인덱스가 1인 L0 움직임 정보 및 머지 인덱스가 0인 L1 움직임 정보의 조합일 수 있다. 이하의 구체적인 조합은 동영상의 부호화/복호화 분야의 다른 조합을 따를 수 있다.
이 때, 조합된 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 조합된 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 4) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다.
제로 벡터 움직임 정보는 움직임 벡터가 제로 벡터인 움직임 정보일 수 있다.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다. 예를 들면, 첫 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 0일 수 있다. 두 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 1일 수 있다.
제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 내의 참조 픽처들의 개수와 동일할 수 있다.
제로 벡터 움직임 정보의 참조 방향은 양방향일 수 있다. 2 개의 움직임 벡터들은 모두 제로 벡터들일 수 있다. 제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수 중 더 작은 것일 수 있다. 또는, 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수가 서로 다를 경우, 하나의 참조 픽처 리스트에만 적용될 수 있는 참조 픽처 인덱스에 대해서는 단방향의 참조 방향이 사용될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 머지 리스트에 추가할 수 있다.
제로 벡터 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
전술된 단계 1) 내지 단계 4)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
AMVP 모드에서의 예측 움직임 벡터 후보 리스트의 유도 방법
예측 움직임 벡터 후보 리스트 내의 예측 움직임 벡터 후보들의 최대 개수는 기정의될 수 있다. 기정의된 최대 개수를 N으로 표시한다. 예를 들면, 기정의된 최대 개수는 2일 수 있다.
움직임 정보(즉, 예측 움직임 벡터 후보)는 아래의 단계 1) 내지 단계 3)의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 공간적 후보들은 제1 공간적 후보 및 제2 공간적 후보를 포함할 수 있다.
제1 공간적 후보는 A0, A1, 스케일된(scaled) A0 및 스케일된 A1 중 하나일 수 있다. 제2 공간적 후보는 B0, B1, B2, 스케일된 B0, 스케일된 B1 및 스케일된 B2 중 하나일 수 있다.
가용한 공간적 후보들의 움직임 정보들은 제1 공간적 후보 및 제2 공간적 후보의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다. 말하자면, N의 값이 2인 경우, 제2 공간적 후보의 움직임 정보가 제1 공간적 후보의 움직임 정보와 동일하면 제2 공간적 후보의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
단계 3) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 예측 움직임 벡터 후보 리스트에 추가할 수 있다.
제로 벡터 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
머지 리스트에 대해 전술된 제로 벡터 움직임 정보에 대한 설명은 제로 벡터 움직임 정보에도 적용될 수 있다. 중복되는 설명은 생략된다.
전술된 단계 1) 내지 단계 3)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
도 11은 일 예에 따른 변환 및 양자화의 과정을 설명한다.
도 11에 도시된 바와 같이 잔여 신호에 변환 및/또는 양자화 과정을 수행하여 양자화된 레벨이 생성될 수 있다.
잔여 신호는 원본 블록과 예측 블록 간의 차분으로 생성될 수 있다. 여기에서, 예측 블록은 인트라 예측 또는 인터 예측에 의해 생성된 블록일 수 있다.
변환은 1차 변환 및 2차 변환 중 적어도 하나를 포함할 수 있다. 잔여 신호에 대해서 1차 변환을 수행함으로써 변환 계수가 생성될 수 있고, 변환 계수에 2차 변환을 수행함으로써 2차 변환 계수가 생성될 수 있다.
1차 변환(primary transform)은 기-정의된 복수의 변환 방법들 중 적어도 하나를 이용하여 수행될 수 있다. 일 예로, 기-정의된 복수의 변환 방법들은 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 사인 변환(Discrete Sine Transform; DST) 및 카루넨-루베 변환(Karhunen-Loㅸve Transform; KLT) 기반 변환 등을 포함할 수 있다.
1차 변환의 수행에 의해 생성된 변환 계수에 2차 변환(secondary transform)이 수행될 수 있다.
1차 변환 및/또는 2차 변환에 적용되는 변환 방법(들)은 대상 블록 및/또는 주변 블록에 대한 코딩 파라미터들 중 적어도 하나에 따라 결정될 수 있다. 또는 변환 방법을 지시하는 변환 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.
1차 변환 및/또는 2차 변환의 수행에 의해 생성된 결과 또는 잔여 신호에 양자화를 수행함으로써 양자화된 레벨이 생성될 수 있다.
양자화된 레벨은 인트라 예측 모드, 블록 크기 및 블록 형태 중 적어도 하나에 따라서, 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 적어도 하나에 따라서 스캐닝(scanning) 될 수 있다.
예를 들면, 우상단(up-right) 대각 스캐닝을 이용하여 블록의 계수들을 스캔함으로써 계수들이 1차원 벡터 형태로 변경될 수 있다. 또는, 변환 블록의 크기 및/또는 인트라 예측 모드에 따라 우상단 대각 스캔 대신 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔이나 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다.
스캐닝된 양자화 레벨은 엔트로피 부호화될 수 있고, 비트스트림은 엔트로피 부호화된 양자화 레벨을 포함할 수 있다.
복호화 장치(200)는 비트스트림에 대한 엔트로피 복호화를 통해 양자화된 레벨을 생성할 수 있다. 양자화된 레벨은 역 스캐닝(inverse scanning)을 통해 2차원의 블록 형태로 정렬될 수 있다. 이때, 역 스캐닝의 방법으로서, 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 적어도 하나가 수행될 수 있다.
양자화된 레벨에 역양자화가 수행될 수 있다. 역양자화의 수행에 의해 생성된 결과에 대하여, 2차 역변환의 수행 여부에 따라서, 2차 역변환이 수행될 수 있다. 또한, 2차 역변환의 수행에 의해 생성된 결과에 대하여, 1차 역변환의 수행 여부에 따라서, 1차 역변환이 수행될 수 있다. 2차 역변환의 수행에 의해 생성된 결과에 대하여 1차 역변환을 수행함으로써 복원된 잔여 신호가 생성될 수 있다.
도 12는 일 실시예에 따른 부호화 장치의 구조도이다.
부호화 장치(1200)는 전술된 부호화 장치(100)에 대응할 수 있다.
부호화 장치(1200)는 버스(1290)를 통하여 서로 통신하는 처리부(1210), 메모리(1230), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1250), UI 출력 디바이스(1260) 및 저장소(storage)(1240)를 포함할 수 있다. 또한, 부호화 장치(1200)는 네트워크(1299)에 연결되는 통신부(1220)를 더 포함할 수 있다.
처리부(1210)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1230) 또는 저장소(1240)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1210)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(1210)는 부호화 장치(1200)로 입력되거나, 부호화 장치(1200)에서 출력되거나, 부호화 장치(1200)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1210)에 의해 수행될 수 있다.
처리부(1210)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 부호화 장치(1200)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 부호화 장치(1200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 부호화 장치(1200)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
처리부(1210)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)의 명령어 또는 코드를 실행할 수 있다.
저장부는 메모리(1230) 및/또는 저장소(1240)를 나타낼 수 있다. 메모리(1230) 및 저장소(1240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1230)는 롬(ROM)(1231) 및 램(RAM)(1232) 중 적어도 하나를 포함할 수 있다.
저장부는 부호화 장치(1200)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 부호화 장치(1200)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
부호화 장치(1200)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 부호화 장치(1200)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1230)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1210)에 의하여 실행되도록 구성될 수 있다.
부호화 장치(1200)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1220)를 통해 수행될 수 있다.
예를 들면, 통신부(1220)는 비트스트림을 후술될 복호화 장치(1300)로 전송할 수 있다.
도 13은 일 실시예에 따른 복호화 장치의 구조도이다.
복호화 장치(1300)는 전술된 복호화 장치(200)에 대응할 수 있다.
복호화 장치(1300)는 버스(1390)를 통하여 서로 통신하는(1310), 메모리(1330), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1350), UI 출력 디바이스(1360) 및 저장소(storage)(1340)를 포함할 수 있다. 또한, 복호화 장치(1300)는 네트워크(1399)에 연결되는 통신부(1320)를 더 포함할 수 있다.
처리부(1310)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1330) 또는 저장소(1340)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1310)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(1310)는 복호화 장치(1300)로 입력되거나, 복호화 장치(1300)에서 출력되거나, 복호화 장치(1300)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1310)에 의해 수행될 수 있다.
처리부(1310)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 복호화 장치(1300)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 복호화 장치(1300)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 복호화 장치(1300)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
처리부(1310)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)의 명령어 또는 코드를 실행할 수 있다.
저장부는 메모리(1330) 및/또는 저장소(1340)를 나타낼 수 있다. 메모리(1330) 및 저장소(1340)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1330)는 롬(ROM)(1331) 및 램(RAM)(1332) 중 적어도 하나를 포함할 수 있다.
저장부는 복호화 장치(1300)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 복호화 장치(1300)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
복호화 장치(1300)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 복호화 장치(1300)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1330)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1310)에 의하여 실행되도록 구성될 수 있다.
복호화 장치(1300)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1320)를 통해 수행될 수 있다.
예를 들면, 통신부(1320)는 부호화 장치(1200)로부터 비트스트림을 수신할 수 있다.
도 14는 일 실시예에 따른 예측 방법의 흐름도이다.
예측 방법은 부호화 장치(1200) 및/또는 복호화 장치(1300)에 의해 수행될 수 있다.
예를 들면, 부호화 장치(1200)는 대상 블록 및/또는 복수의 분할된 블록들에 대한 복수의 예측 방식들의 효율들을 비교하기 위해 실시예의 예측 방법을 수행할 수 있고, 대상 블록에 대한 재구축된 블록을 생성하기 위해 실시예의 예측 방법을 수행할 수 있다.
일 실시예에서, 대상 블록은 CTU, CU, PU, TU, 특정된 크기를 갖는 블록 및 기정의된 범위의 크기 내의 블록 중 적어도 하나일 수 있다.
예를 들면, 복호화 장치(1300)는 대상 블록에 대한 재구축된 블록을 생성하기 위해 실시예의 예측 방법을 수행할 수 있다.
이하에서, 처리부는 부호화 장치(1200)의 처리부(1210) 및/또는 복호화 장치(1300)의 처리부(1310)에 대응할 수 있다.
단계(1410)에서, 처리부는 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
처리부는 대상 블록과 관련된 코딩 파라미터를 사용하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
일 실시예에서, 처리부는 대상 블록의 크기 및 대상 블록의 형태 중 하나 이상에 기반하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
예를 들면, 대상 블록은 복수의 분할된 블록들을 포함할 수 있다. 복수의 분할된 블록들은 복수의 서브 블록들로 명명될 수도 있다.
단계(1410)의 일 예에 대하여, 아래에서 도 15를 참조하여 상세하게 설명된다.
일 실시예에 있어서, 단계(1410)의 실시 여부, 즉 대상 블록을 분할하여 복수의 분할된 블록들을 생성할지 여부는 대상 블록과 관련된 정보에 의해 결정될 수 있다. 처리부는 대상 블록과 관련된 정보에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
일 실시예에서, 대상 블록과 관련된 정보는 대상 블록에 대한 코딩 파라미터, 대상 블록을 포함하는 대상 픽처의 픽처에 관련된 정보, 대상 블록을 포함하는 슬라이스에 관련된 정보, 대상 블록의 양자화 파라미터(Quantization Parameter; QP), 대상 블록의 코드된 블록 플래그(Coded Block Flag; CBF), 대상 블록의 크기, 대상 블록의 깊이, 대상 블록의 형태, 대상 블록의 엔트로피 부호화 방식, 대상 블록의 참조 블록의 분할 정보, 대상 블록의 시간적 레이어 레벨(temporal layer level) 및 블록 분할 지시자 중 적어도 하나를 포함할 수 있다.
참조 블록은 대상 블록에 공간적으로 인접한 블록 및 대상 블록에 시간적으로 인접한 블록 중 하나 이상을 포함할 수 있다.
1) 일 실시예에 있어서, 처리부는 대상 픽처의 픽처에 관련된 정보에 따라서 대상 블록의 분할의 적용 여부를 결정할 수 있다. 예를 들면, 대상 픽처의 픽처 파라미터 세트(Picture Parameter Set; PPS)는 대상 픽처의 블록의 분할 여부를 나타내는 정보를 포함할 수 있다. PPS를 통해 대상 픽처의 블록의 분할 여부를 나타내는 정보가 부호화 및/또는 복호화될 수 있다. 또는, PPS를 통해 블록을 분할하도록 설정된 픽처 또는 블록을 분할하지 않도록 설정된 픽처가 식별될 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록이 블록을 분할하도록 지정된 픽처에 포함되는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
2) 일 실시예에 있어서, 처리부는 특정된 픽처의 정보에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다. 예를 들면, 특정된 픽처는 대상 픽처의 이전의 픽처일 수 있다.
예를 들면, 처리부는 대상 픽처의 이전의 픽처의 블록에 대해 분할이 적용되었는지 여부에 따라서 대상 블록의 분할의 적용의 여부를 결정할 수 있다.
예를 들면, 처리부는 대상 픽처의 이전의 픽처에서, 비-정사각형의 형태의 블록이 정사각형의 형태의 블록들로 분할된 경우, 대상 픽처의 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
3) 일 실시예에 있어서, 처리부는 슬라이스의 정보에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다. 슬라이스는 대상 블록을 포함할 수 있다. 또는, 슬라이스는 참조 블록을 포함할 수 있다.
예를 들면, 처리부는 슬라이스의 타입에 따라서 대상 블록의 분할의 적용 여부를 결정할 수 있다. 슬라이스의 타입은 I 슬라이스, B 슬라이스 및 P 슬라이스를 포함할 수 있다.
예를 들면, 처리부는 비-정사각형의 형태의 대상 블록이 I 슬라이스에 포함되는 경우, 대상 픽처의 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
예를 들면, 처리부는 비-정사각형의 형태의 대상 블록이 P 슬라이스 또는 B 슬라이스에 포함되는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
4) 일 실시예에 있어서, 처리부는 다른 슬라이스의 정보에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 다른 슬라이스는 대상 블록을 포함하는 슬라이스의 이전의 슬라이스 또는 이후의 슬라이스일 수 있다. 다른 슬라이스는 대상 블록의 참조 블록을 포함하는 슬라이스일 수 있다.
예를 들면, 처리부는 다른 슬라이스의 타입에 따라서 대상 블록의 분할의 적용 여부를 결정할 수 있다. 다른 슬라이스의 타입은 I 슬라이스, B 슬라이스 및 P 슬라이스를 포함할 수 있다.
예를 들면, 처리부는 다른 슬라이스가 I 슬라이스인 경우, 대상 픽처의 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
예를 들면, 처리부는 다른 슬라이스가 P 슬라이스 또는 B 슬라이스인 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
5) 일 실시예에 있어서, 처리부는 대상 블록의 양자화 파라미터에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 양자화 파라미터가 특정된 범위 내에 잇는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
6) 일 실시예에 있어서, 처리부는 대상 블록의 CBF에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 CBF의 값이 특정된 값과 동일하거나, 특정된 값에 대응하는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
7) 일 실시예에 있어서, 처리부는 대상 블록의 크기에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 크기가 1) 특정된 크기와 동일하거나, 2) 특정된 범위 내에 있는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 가로 길이 및 세로 길이의 합이 1) 특정된 값과 동일하나, 2) 특정된 값의 이상이거나, 3) 특정된 값의 이하이거나, 4) 특정된 범위 내에 있는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다. 예를 들면, 특정된 값은 16일 수 있다.
8) 일 실시예에 있어서, 처리부는 대상 블록의 깊이에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 깊이가 1) 특정된 깊이와 동일하거나, 2) 특정된 범위 내에 있는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
9) 일 실시예에 있어서, 처리부는 대상 블록의 형태에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 가로 길이 및 세로 길이의 비율이 1) 특정된 값과 동일하거나, 2) 특정된 범위 내에 있는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
10) 일 실시예에 있어서, 처리부는 블록 분할 지시자에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
블록 분할 지시자는 대상 블록의 분할의 여부를 나타내는 지시자일 수 있다. 또한, 블록 분할 지시자는 블록의 분할의 유형을 나타낼 수 있다.
분할의 유형은 분할의 방향을 포함할 수 있다. 분할의 방향은 수직 방향 또는 수평 방향일 수 있다.
분할의 유형은 분할에 의해 생성되는 분할된 블록들의 개수를 포함할 수 있다.
실시예들에 있어서, 지시자는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 명시적으로 시그널링되는 정보일 수 있다. 일 실시예에 있어서, 지시자는 블록 분할 지시자를 포함할 수 있다.
블록 분할 지시자가 사용되는 경우, 복호화 장치(1300)에서는 대상 블록의 분할의 여부 및 분할의 유형이 부호화 장치(1200)로부터 제공된 블록 분할 지시자에 직접적으로 결정될 수 있다.
블록 분할 지시자는 선택적일 수 있다. 블록 분할 지시자가 사용되지 않는 경우, 처리부는 대상 블록과 관련된 정보를 사용하는 조건에 따라서 대상 블록의 분할의 여부 및 분할의 유형을 결정할 수 있다. 따라서, 대상 블록의 분할의 여부가 부가적인 정보의 시그널링 없이도 결정될 수 있다.
예를 들면, 처리부는 블록 분할 지시자가 대상 블록이 분할된다는 것을 나타내면 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
블록 분할 지시자는 SPS, PPS, 슬라이스 헤더, 타일 헤더, CTU, CU, PU 및 TU 중 적어도 하나의 단위에 대하여 부호화 및/또는 복호화될 수 있다. 말하자면, 블록 분할 지시자가 제공되는 단위는 SPS, PPS, 슬라이스 헤더, 타일 헤더, CTU, CU, PU 및 TU 중 적어도 하나일 수 있다. 특정된 단위에 대해 제공된 블록 분할 지시자는 상기의 특정된 단위에 포함되는 하나 이상의 대상 블록들에게 공통적으로 적용될 수 있다.
11) 일 실시예에 있어서, 처리부는 참조 블록의 분할의 정보에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
참조 블록은 공간적 인접 블록 및/또는 시간적 인접 블록일 수 있다.
예를 들면, 분할 정보는 쿼드-트리의 분할 정보, 이진-트리의 분할 정보 및 쿼드-트리 플러스 이진-트리의 정보 중 적어도 하나일 수 있다.
예를 들면, 처리부는 참조 블록의 분할의 정보가 대상 블록이 분할된다는 것을 나타내면 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
12) 일 실시예에 있어서, 처리부는 대상 블록의 시간적 레이어 레벨에 기반하여 대상 블록의 분할의 적용 여부를 결정할 수 있다.
예를 들면, 처리부는 비-정사각형 형태의 대상 블록의 시간적 레이어 레벨이 1) 특정된 값과 동일하거나, 2) 특정된 범위 내에 있는 경우, 비-정사각형의 형태의 대상 블록을 정사각형의 형태의 블록들로 분할할 수 있다.
13) 또한, 일 실시예에 있어서, 대상 블록과 관련된 정보는 전술된 대상 블록의 부호화 및/또는 복호화에 사용되는 정보를 더 포함할 수 있다.
전술된 실시예들 1) 내지 13)에서, 특정된 값, 특정된 범위 및/또는 특정된 단위는 부호화 장치(1200) 또는 복호화 장치(1300)에 의해 결정될 수 있다. 특정된 값, 특정된 범위 및 특정된 단위가 부호화 장치(1200)에 의해 결정되는 경우 결정된 특정된 값, 결정된 특정된 범위 및/또는 결정된 특정된 단위는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다.
또는, 특정된 값, 특정된 범위 및/또는 특정된 단위는 다른 코딩 파라미터에 의해 유도될 수 있다. 코딩 파라미터가 비트스트림을 통해 부호화 장치(1200) 및 복호화 장치(1300) 간에 공유되거나, 기정의된 유도 방식에 의해 부호화 장치(1200) 및 복호화 장치(1300)에게서 동일하게 도출될 수 있는 경우, 특정된 값, 특정된 범위 및/또는 특정된 단위는 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링되지 않을 수 있다.
전술된 실시예들 1) 내지 13)에서 대상 블록의 분할의 여부가 대상 블록의 형태의 기준에 의해 결정되는 것은 일 예에 불과한 것이다. 전술된 실시예들 1) 내지 13)에 있어서 대상 블록의 분할의 여부는, 대상 블록의 크기와 같은, 실시예에서 설명되는 다른 기준과 결합될 수 있다.
단계(1420)에서, 처리부는 복수의 분할된 블록들 중 적어도 일부의 블록에 대하여 예측 모드를 유도할 수 있다.
일 실시예에 있어서, 예측은 인트라 예측 또는 인터 예측일 수 있다.
단계(1420)의 일 예에 대하여, 아래에서 도 21을 참조하여 상세하게 설명된다.
단계(1430)에서, 처리부는 유도된 예측 모드에 기반하여 복수의 분할된 블록들에 대한 예측들을 수행할 수 있다.
일 실시예에 있어서, 처리부는 유도된 예측 모드를 사용하여 복수의 분할된 블록들 중 적어도 일부의 블록에 대한 예측을 수행할 수 있다. 처리부는 유도된 예측 모드에 기반하여 생성된 예측 모드를 사용하여 복수의 분할된 블록들 중 나머지의 블록에 대한 예측을 수행할 수 있다.
분할된 블록에 대한 예측에 대해서, 아래에서 도 22, 도 23, 도 24, 도 25, 도 26, 도 27 및 도 28을 참조하여 설명된다.
도 15는 일 실시예에 따른 블록 분할 방법의 흐름도이다.
실시예의 블록 분할 방법은 전술된 단계(1410)에 대응할 수 있다. 단계(1410)는 단계들(1510 및 1520) 중 적어도 하나를 포함할 수 있다.
단계(1410)에서, 처리부는 대상 블록의 크기 및 대상 블록의 형태 중 하나 이상에 기반하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
대상 블록의 크기는 대상 블록의 가로 길이 및/또는 대상 블록의 세로 길이를 의미할 수 있다.
대상 블록의 형태는 대상 블록이 정사각형인지 여부를 나타낼 수 있다. 대상 블록의 형태는 대상 블록이 정사각형인지 비-정사각형인지를 나타낼 수 있다. 대상 블록의 형태는 대상 블록의 가로 길이 및 세로 길이의 비(ratio)일 수 있다.
처리부는 단계(1510)의 예측 모드의 선택 방법 및 단계(1520)의 예측 모드의 선택 방법 중 적어도 하나를 이용하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
단계(1510)에서, 처리부는 대상 블록의 가로 길이 또는 세로 길이에 기반하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
일 실시예에 있어서, 처리부는 대상 블록의 가로 길이 및 세로 길이가 서로 다른 경우 대상 블록의 분할을 수행할 수 있다.
일 실시예에 있어서, 처리부는 대상 블록의 가로 길이 및 세로 길이 중 더 큰 길이를 적어도 한 번 분할할 수 있다.
일 실시예에 있어서, 처리부는 분할된 블록의 가로 길이 및 세로 길이가 동일하도록 대상 블록을 분할할 수 있다. 또는, 분할에 의해 생성된 분할된 블록의 가로 길이 및 세로 길이는 대상 블록의 가로 길이 및 세로 길이 중 더 작은 길이의 이상일 수 있다.
대상 블록의 예 및 길이에 기반한 대상 블록의 분할에 대해 아래에서 도 16, 도 17, 도 18, 도 19 및 도 20을 참조하여 예시된다.
일 실시예에서, 처리부는 대상 블록의 크기가 특정된 크기 보다 더 작고, 대상 블록의 가로 길이 및 세로 길이가 서로 다른 경우 대상 블록을 분할할 수 있다.
일 실시예에서, 처리부는 대상 블록의 가로 길이 및 세로 길이의 합이 특정된 값 보다 더 작고, 대상 블록의 가로 길이 및 세로 길이가 서로 다른 경우 대상 블록을 분할할 수 있다.
일 실시예에서, 처리부는 대상 블록의 크기가 특정된 범위 내에 포함되고, 대상 블록의 가로 길이 및 세로 길이가 서로 다른 경우 대상 블록을 분할할 수 있다.
단계(1520)에서, 처리부는 대상 블록의 형태에 기반하여 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
처리부는 대상 블록의 형태가 정사각형인 경우에는 대상 블록을 분할하지 않을 수 있다.
처리부는 대상 블록의 형태가 비-정사각형인 경우 대상 블록을 정사각형의 형태로 분할할 수 있다. 정사각형의 형태로의 분할에 대해서 아래에서 도 16, 도 17, 도 18 및 도 20을 참조하여 예시된다.
단계(1510) 및 단계(1520)에서 전술된 것과 같이, 처리부는 대상 블록의 분할 여부를 판단함에 있어서 대상 블록의 크기 및 대상 블록의 형태를 사용할 뿐, 대상 블록의 분할 여부를 직접적으로 나타내는 정보를 사용하지 않을 수 있다. 따라서, 블록의 분할 여부를 나타내는 정보는 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링되지 않을 수 있고, 블록의 분할 여부는 대상 블록의 크기 및/또는 형태에 기반하여 유도될 수 있다.
도 16은 일 예에 따른 8x4 크기의 대상 블록을 나타낸다.
도 17에서 상기의 대상 블록에 대한 분할이 설명된다.
도 17은 일 예에 따른 4x4 크기의 분할된 블록들을 나타낸다.
제1 분할된 블록 및 제2 분할된 블록의 각각의 크기는 4x4일 수 있다.
도 17에서 도시된 것과 같이, 대상 블록의 가로의 길이가 세로의 길이보다 더 큰 경우, 도 16에서 도시된 대상 블록의 가로의 길이를 수직으로 분할함으로써 2 개의 분할된 블록들이 유도될 수 있다.
도 18은 일 예에 따른 4x16 크기의 대상 블록을 나타낸다.
도 19 및 도 20에서 상기의 대상 블록에 대한 분할이 설명된다.
도 19는 일 예에 따른 8x4 크기의 분할된 블록들을 나타낸다.
제1 분할된 블록 및 제2 분할된 블록의 각각의 크기는 8x4일 수 있다.
도 20은 일 예에 따른 4x4 크기의 분할된 블록들을 나타낸다.
제1 분할된 블록, 제2 분할된 블록, 제3 분할된 블록 및 제4 분할된 블록의 각각의 크기는 4x4일 수 있다.
도 19 및 도 20에서 도시된 것과 같이, 대상 블록의 세로의 길이가 가로의 길이보다 더 큰 경우, 도 18에서 도시된 대상 블록의 세로의 길이를 수평으로 분할함으로써 2 개의 분할된 블록들 또는 4 개의 분할된 블록들이 유도될 수 있다.
도 21은 일 예에 따른 분할된 블록에 대한 예측 모드의 유도 방법의 흐름도이다.
실시예의 예측 모드의 유도 방법은 전술된 단계(1420)에 대응할 수 있다. 단계(1420)는 단계들(2110, 2120 및 2130) 중 적어도 하나를 포함할 수 있다.
대상 블록의 분할에 의해 생성된 복수의 분할된 블록들에 대하여, 1) 복수의 분할된 블록들에 대해 예측 모드들이 각각 유도될 수 있고, 2) 복수의 분할된 블록들 중 특정된 분할된 블록에 대해 예측 모드가 유도될 수 있고, 3) 복수의 분할된 블록들의 모두에 대하여 공통되는 예측 모드가 유도될 수 있다.
유도된 예측 모드의 대상에 따라, 단계들(2110, 2120 및 2130) 중 적어도 하나가 수행될 수 있다.
단계(2110)에서, 처리부는 복수의 분할된 블록들에 대하여 예측 모드들을 각각 유도할 수 있다.
처리부는 실시예들에서 전술된 예측 모드의 유도 방법을 사용하여 복수의 분할된 블록들의 각각에 대하여 예측 모드를 유도할 수 있다.
단계(2120)에서, 처리부는 복수의 분할된 블록들 중 특정된 분할된 블록에 대하여 예측 모드를 유도할 수 있다.
특정된 분할된 블록은 복수의 분할된 블록들 중 특정된 위치의 블록일 수 있다.
예를 들면, 특정된 분할된 블록은 복수의 분할된 블록들 중 최상단의 블록, 최하단의 블록, 최좌측의 블록, 최우측의 블록, 상단에서 n 번째의 블록, 하단에서 n 번째의 블록, 좌측에서 n 번째의 블록 및 우측에서 n 번째의 블록 중 하나 이상일 수 있다. n은 1 이상, 분할된 블록들의 개수 이하의 정수일 수 있다.
일 실시예에 있어서, 처리부는 실시예들에서 전술된 예측 모드의 유도 방법을 사용하여 복수의 분할된 블록들 중 특정된 분할된 블록에 대해 예측 모드를 유도할 수 있다.
일 실시예에 있어서, 복수의 분할된 블록들 중에서 특정된 분할된 블록을 제외한 나머지의 블록들에 대해서는 유도된 예측 모드가 사용될 수 있다. 처리부는 복수의 분할된 블록들 중 특정된 분할된 블록을 제외한 나머지의 블록들에 대해 유도된 예측 모드를 사용할 수 있다.
일 실시예에 있어서, 복수의 분할된 블록들 중에서 특정된 분할된 블록을 제외한 나머지의 블록들에 대해서는 유도된 예측 모드 및 다른 예측 모드의 조합이 사용될 수 있다. 처리부는 복수의 분할된 블록들 중 특정된 분할된 블록을 제외한 나머지의 블록들에 대해 유도된 예측 모드 및 다른 예측 모드의 조합에 의해 결정된 예측 모드를 사용할 수 있다.
예를 들면, 다른 예측 모드는 나머지의 블록들의 각 나머지의 블록과 관련된 코딩 파라미터를 사용하여 결정될 수 있다. 처리부는 나머지의 블록과 관련된 코딩 파라미터를 사용하여 부가적인 예측 모드를 결정할 수 있고, 전술된 특정된 블록에 대하여 유도된 예측 모드 및 부가적인 예측 모드의 조합을 사용하여 나머지의 블록에 대한 예측 모드를 결정할 수 있다.
예를 들면, 예측 모드들의 조합은 예측 모드들의 방향들의 사이의 방향을 나타내는 예측 모드일 수 있다. 예측 모드들의 조합은 예측 모드들 중 특정된 우선 순위에 의해 선택된 예측 모드일 수 있다. 예측 모드들의 조합을 사용하여 결정된 예측 모드는 조합을 위해 사용된 예측 모드들의 각각과는 다를 수 있다.
단계(2130)에서, 처리부는 복수의 분할된 블록들의 모두에 대해 공통되는 예측 모드를 유도할 수 있다. 말하자면, 복수의 분할된 블록들에 대해 공통되는 하나의 예측 모드가 유도될 수 있다.
예를 들면, 처리부는 복수의 분할된 블록들의 모두에 대해 공통되는 코딩 파라미터를 사용하여 분할된 블록들의 모두에 대해 공통되는 예측 모드를 유도할 수 있다.
최고 확률 모드(Most Probable Mode; MPM)을 이용하는 예측 모드의 유도
전술된 분할된 블록의 예측 모드의 유도에 있어서, 처리부는 MPM을 사용할 수 있다.
MPM을 사용하기 위해, 처리부는 MPM 리스트를 구성할 수 있다.
MPM 리스트는 하나 이상의 MPM 후보 모드들을 포함할 수 있다. 하나 이상의 MPM 후보 모드들은 N 개일 수 있다. N은 양의 정수일 수 있다.
일 실시예에 있어서, 처리부는 대상 블록의 크기 및/또는 형태에 따라 N의 값을 정할 수 있다. 또는, 처리부는 분할된 블록의 크기, 형태 및/또는 개수에 따라 N의 값을 정할 수 있다.
하나 이상의 MPM 후보 모드들의 각 MPM 후보 모드는 기정의된 인트라 예측 모드들 중 하나의 인트라 예측 모드일 수 있다.
처리부는 대상 블록의 하나 이상의 참조 블록들의 하나 이상의 예측 모드들에 기반하여 MPM 리스트의 하나 이상의 MPM 후보 모드들을 구성할 수 있다. 참조 블록은 기정의된 위치의 블록일 수 있고, 대상 블록에 인접한 블록일 수 있다. 예를 들면, 하나 이상의 참조 블록들은 대상 블록의 상단에 인접한 블록 및 대상 블록의 좌측에 인접한 블록일 수 있다.
하나 이상의 MPM 후보 모드들은 참조 블록들의 예측 모드들에 기반하여 결정된 하나 이상의 예측 모드들일 수 있다. 처리부는 하나 이상의 참조 블록들의 예측 모드들을 참조하여 특정된 하나 이상의 예측 모드들을 하나 이상의 MPM 후보 모드들로서 결정할 수 있다. 말하자면, 하나 이상의 MPM 후보 모드들은 대상 블록의 예측 모드일 확률이 높은 예측 모드일 수 있다. 이러한 확률은 실험 등에 의해 계산된 것일 수 있다. 예를 들면, 참조 블록 및 대상 블록 간의 지역적인 연관성에 의해 참조 블록의 예측 모드가 대상 모드의 예측 모드로서 사용될 가능성이 높다는 것이 알려져 있다. 따라서, 참조 블록의 예측 모드는 하나 이상의 MPM 후보 모드들에 포함될 수 있다.
일 실시예에 있어서, MPM 리스트는 하나 이상일 수 있으며, 복수일 수 있다. 예를 들면, MPM 리스트들은 M 개일 수 있다. M은 양의 정수일 수 있다. 처리부는 서로 상이한 방법들을 사용하여 복수의 MPM 리스트들의 각 MPM 리스트를 구성할 수 있다.
예를 들면, 처리부는 제1 MPM 리스트, 제2 MPM 리스트 및 제3 MPM 리스트를 구성할 수 있다.
하나 이상의 MPM 리스트들 내의 MPM 후보 모드들은 서로 다를 수 있다. 또는, 하나 이상의 MPM 리스트들의 MPM 후보 모드들은 서로 중복되지 않을 수 있다. 예를 들면, 특정된 인트라 예측 모드가 하나의 MPM 리스트에 포함될 경우, 상기의 특정된 인트라 예측 모드가 다른 MPM 리스트에는 포함되지 않도록 복수의 MPM 리스트들이 구성될 수 있다.
하나 이상의 MPM 리스트들 중 대상 블록의 부호화 및/또는 복호화에 사용되는 예측 모드를 포함하는 MPM 리스트를 특정할 수 있도록 MPM 리스트 지시자가 사용될 수 있다. 말하자면, 하나 이상의 MPM 리스트들 중 MPM 리스트 지시자가 가리키는 MPM 리스트가 특정될 수 있고, 처리부는 특정된 MPM 리스트의 하나 이상의 MPM 후보 모드들 중에서 하나의 MPM 후보를 대상 블록에 대한 예측에 사용할 수 있다.
MPM 리스트 지시자는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다.
MPM 리스트 지시자가 사용되는 경우, 복호화 장치(1300)에서는 하나 이상의 리스트들 중 어느 MPM 리스트의 MPM 후보 모드가 대상 블록에 대한 예측을 위해 사용될 것인지가 부호화 장치(1200)로부터 제공된 MPM 리스트 지시자에 직접적으로 결정될 수 있다.
일 실시에 있어서, MPM 사용 지시자는 MPM 리스트를 사용하여 예측 모드를 결정할지 여부를 지시할 수 있다.
MPM 사용 지시자는 구성된 MPM 리스트 내의 하나 이상의 MPM 후보 모드들 중에서 대상 블록의 예측 모드가 존재하는지 여부를 나타낼 수 있다.
MPM 사용 지시자가 하나 이상의 MPM 후보 모드들 중에서 대상 블록의 예측 모드가 존재한다는 것을 나타내는 경우, 처리부는 인덱스 지시자를 사용하여 하나 이상의 MPM 후보 모드들 중에서 대상 블록의 예측 모드를 결정할 수 있다.
인덱스 지시자는 MPM 리스트의 하나 이상의 MPM 후보 모드들 중 대상 블록에 대한 예측에 사용될 MPM 후보 모드를 가리킬 수 있다. 처리부는 MPM 리스트의 하나 이상의 MPM 후보 모드들 중 인덱스 지시사가 가리키는 MPM 후보 모드를 대상 블록의 예측 모드로서 결정할 수 있다. 인덱스 지시자는 MPM 인덱스로도 명명될 수 있다.
하나 이상의 MPM 리스트들 중에서 MPM 리스트 지시자에 의해 MPM 리스트가 지시되는 경우, MPM 리스트에 의해 지시된 MPM 리스트의 하나 이상의 MPM 후보 모드들 중 어떤 MPM 후보 모드가 대상 블록에 대한 예측을 위해 사용되는 것인 가를 지시하기 위해 인덱스 지시자가 사용될 수 있다. 말하자면, 대상 블록의 예측 모드는 MPM 리스트 지시자 및 인덱스 지시자에 의해 특정될 수 있다.
MPM 사용 지시자가 MPM 리스트의 하나 이상의 MPM 후보 모드들 중에서 대상 블록의 예측 모드가 존재하지 않는다는 것을 나타내는 경우, 처리부는 대상 블록의 예측 모드를 나타내는 예측 모드 지시자를 사용하여 대상 블록의 예측 모드를 결정할 수 있다. 예측 모드 지시자는 대상 블록의 예측 모드를 나타낼 수 있다.
예측 모드 지시자는 MPM 리스트(또는, 하나 이상의 MPM 리스트들)에 포함되지 않은 예측 모드들 중 하나를 가리킬 수 있다. 말하자면, MPM 리스트 또는 하나 이상의 MPM 리스트들에 포함되지 않은 하나 이상의 예측 모드들이 기정의된 순서로 예측 모드 리스트로서 구성될 수 있으며, 예측 모드 지시자는 예측 모드 리스트의 하나 이상의 예측 모드들 중 하나의 예측 모드를 가리킬 수 있다.
예측 모드 리스트의 하나 이상의 예측 모드들은 오름차순 또는 내림차순으로 정렬될 수 있다. 여기에서, 정렬의 기준은 예측 모드의 번호일 수 있다.
MPM 리스트가 복수일 때, 복수의 MPM 리스트들의 각각에 대해 별도의 MPM 사용 지시자가 사용될 수 있다. 또는, MPM 리스트가 복수일 때, 복수의 MPM 리스트들의 일부에 대해 MPM 사용 지시자가 존재할 수 있다.
예를 들면, 제n MPM 리스트에 대한 제n MPM 사용 지시자는 제n MPM 리스트 내에 대상 블록의 예측 모드가 존재하는지 여부를 나타낼 수 있다.
우선, 처리부는 제1 MPM 사용 지시자를 사용하여 제1 MPM 리스트 내에 대상 블록의 예측 모드가 존재하는지 여부를 판단할 수 있다. 제1 MPM 리스트 내에 대상 블록의 예측 모드가 존재하는 경우, 처리부는 제1 MPM 리스트 내에서 인덱스 지시자가 가리키는 MPM 후보 모드를 대상 블록의 예측 모드로서 유도할 수 있다. 제1 MPM 리스트 내에 대상 블록의 예측 모드가 존재하지 않는 경우, 처리부는 제2 MPM 사용 지시자를 사용하여 제2 MPM 리스트 내에 대상 블록의 예측 모드가 존재하는지 여부를 판단할 수 있다.
처리부는 제n MPM 사용 지시자를 사용하여 제n MPM 리스트 내에 대상 블록의 예측 모드가 존재하는지 여부를 판단할 수 있다. 제n MPM 리스트 내에 대상 블록의 예측 모드가 존재하는 경우, 처리부는 인덱스 지시자를 사용하여 제n MPM 리스트 내에서 대상 블록의 예측 모드를 가리키는 MPM 후보 모드를 결정할 수 있다. 제1 MPM 리스트 내에 대상 블록의 예측 모드가 존재하지 않는 경우, 처리부는 다음의 제n+1 MPM 사용 지시자를 사용하여 제n+1 MPM 리스트 내에 대상 블록의 예측 모드가 존재하는지 여부를 판단할 수 있다.
하나의 MPM 사용 지시자가 MPM 리스트 내에 대상 블록의 예측 모드가 존재한다는 것을 나타내는 경우, 상가의 MPM 사용 지시자의 다음의 MPM 사용 지시자들은 시그널링되지 않을 수 있다.
MPM 사용 지시자, 인덱스 지시자 및/또는 예측 모드 지시자는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다.
MPM 사용 지시자, 인덱스 지시자 및/또는 예측 모드 지시자가 사용될 경우, 복호화 장치(1300)에서는 1) 하나 이상의 MPM 리스트들의 MPM 후보 모드들 및 2) 하나 이상의 리스트들에 포함되지 않은 하나 이상의 예측 모드들 중에서, 어느 MPM 후보 모드 또는 예측 모드가 대상 블록에 대한 예측을 위해 사용될 것인지가 부호화 장치(1200)로부터 제공된 MPM 사용 지시자, 인덱스 지시자 및/또는 예측 모드 지시자에 의해 직접적으로 결정될 수 있다.
MPM 리스트는 특정된 단위에 대해서 구성될 수 있다.
일 실시예에 있어서, 특정된 단위는 특정된 크기의 블록 또는 대상 블록일 수 있다.
특정된 단위가 분할될 경우, 처리부는 구성된 MPM 리스트를 분할에 의해 생성된 복수의 분할된 블록들의 예측에 사용할 수 있다.
일 실시예에서, 대상 블록의 크기가 특정된 크기와 동일하거나 특정된 크기에 대응하는 경우, 처리부는 대상 블록에 대하여 MPM 리스트를 구성할 수 있다. 대상 블록이 복수의 분할된 블록들로 분할되는 경우, 처리부는 대상 블록에 대하여 구성된 MPM 리스트를 사용하여 복수의 분할된 블록들의 각 분할된 블록의 예측 모드를 유도할 수 있다.
예를 들어, 대상 블록의 크기가 8x8이고, 분할된 블록들이 4개의 4x4 크기의 블록들인 경우, 8x8 크기의 블록에 대한 MPM 리스트가 구성될 수 있고, 4x4 크기의 4 개의 블록들의 각각에 대해 구성된 MPM 리스트가 사용될 수 있다.
일 실시예에 있어서, MPM 리스트를 구성함에 있어서, 처리부는 특정된 크기의 블록 내의 분할된 블록들의 각각에 대한 MPM 리스트를 특정된 크기의 블록을 기준으로 구성할 수 있다. 말하자면, 특정된 크기의 블록에 대해 생성된 MPM 리스트가 분할된 블록들에게 공통적으로 사용될 수 있다.
예를 들어, 대상 블록의 크기가 상기의 특정된 크기인 경우, 대상 블록 내의 각 분할된 블록에 대한 MPM 리스트는, (분할된 블록이 아닌) 대상 블록의 하나 이상의 참조 블록들의 예측 모드들을 이용하여 구성될 수 있다.
예를 들어, 대상 블록의 크기가 8x8이고, 분할된 블록들이 4 개의 4x4 크기의 블록들일 경우, 처리부는 대상 블록의 하나 이상의 참조 블록들에 기반하여 4 개의 분할된 블록들에 대한 MPM 리스트들을 각각 구성할 수 있다. 이러한 경우, 대상 블록의 참조 블록의 예측 모드는 이미 획득된 것이기 때문에, 처리부는 4 개의 분할된 블록들에 대한 MPM 리스트들을 병렬로 구성할 수 있다.
도 22는 일 예에 따른 분할된 블록에 대한 예측을 나타낸다.
도 22에서, 제1 블록은 분할된 블록들 중 특정된 블록일 수 있다. 예를 들면, 제1 블록은 분할된 블록들 중 첫 번째로 예측이 수행되는 블록일 수 있다.
처리부는 제1 블록에 대한 예측에 있어서 제1 블록에 대하여 예측 모드를 유도할 수 있다.
도 22에서 도시된 것과 같이, 처리부는 제1 블록에 대한 예측에 있어서 제1 블록에 인접한 참조 샘플들을 사용할 수 있다. 또는, 참조 샘플들은 제1 블록의 주변의 픽셀들일 수 있다. 참조 샘플들은 제1 블록에 인접한 재구축된 블록의 픽셀들일 수 있다.
도 23은 일 예에 따른 분할된 블록의 재구축된 블록을 사용하는 분할된 블록에 대한 예측을 나타낸다.
도 23에서, 제2 블록은 분할된 블록들 중 특정된 블록일 수 있다. 예를 들면, 제2 블록은 분할된 블록들 중, 2) 두 번째로 예측이 수행되는 블록, 3) 마지막으로 예측이 수행되는 블록, 3) 제1 블록에 대한 예측의 다음으로 예측이 수행되는 블록 4) 제1 블록에 대한 예측의 이후에 예측이 수행되는 블록, 또는 5) 적어도 하나의 분할된 블록에 대한 예측의 이후에 예측이 수행되는 블록일 수 있다.
전술된 것과 같이, 처리부는 제2 블록에 대한 예측에 있어서, 제1 블록에 대하여 유도된 예측 모드를 사용할 수 있다.
도 22에서 도시된 것과 같이, 처리부는 제2 블록에 대한 예측에 있어서 제2 블록에 인접한 참조 샘플들을 사용할 수 있다.
참조 샘플들은 제2 블록에 인접한 재구축된 블록의 픽셀들일 수 있다. 참조 샘플들은 제1 블록의 재구축된 블록의 재구축된 픽셀들을 포함할 수 있다.
또는, 참조 샘플들은 제2 블록에 대한 예측 이전에 예측된 다른 분할된 블록의 재구축된 블록의 재구축된 픽셀들을 포함할 수 있다. 말하자면, 제2 블록에 대한 예측에 있어서, 복수의 분할된 블록들 중 제2 블록에 대한 예측 이전에 예측된 다른 분할된 블록이 사용될 수 있다.
도 24는 일 예에 따른 분할된 블록의 외부의 참조 픽셀을 사용하는 분할된 블록에 대한 예측을 나타낸다.
처리부는 분할된 블록에 대한 예측에 있어서, 복수의 분할된 블록들의 외부의 픽셀을 참조 샘플로서 사용할 수 있다. 말하자면, 처리부는 분할된 블록에 대한 예측에 있어서, 복수의 분할된 블록들의 내부의 픽셀은 참조 샘플에서 제외할 수 있다. 참조 샘플에서 제외되는 픽셀은 1) 상기의 제외되는 픽셀의 방향과 동일한 방향에 있는 가장 근접한 픽셀로 대체되거나, 또는 2) 상기의 제외되는 픽셀의 방향과 동일한 방향에 있는 대상 블록에 인접한 픽셀로 대체될 수 있다.
일 실시예에 있어서, 복수의 분할된 블록들의 예측들에 있어서, 상기의 예측들에 사용되는 참조 샘플들은 (각 분할된 블록이 아닌) 대상 블록에 인접한 재구축된 픽셀들일 수 있다.
예를 들면, 도 24에서 도시된 것과 같이, 처리부는 제2 블록에 대한 예측에 있어서, 제1 블록의 재구축된 블록 내의 픽셀들을 참조 샘플에서 제외할 수 있고, 대신 참조 블록에 인접한 재구축된 픽셀들을 참조 샘플들로서 사용할 수 있다.
예를 들면, 처리부는 대상 블록의 분할에 의해 생성된 복수의 분할된 블록들의 각 분할된 블록에 대한 예측에 대해서, 대상 블록에 인접한 재구축된 픽셀을 참조 샘플들로서 사용할 수 있다. 이러한 참조 샘플의 결정을 통해, 복수의 분할된 블록들의 예측들의 이전에, 복수의 분할된 블록들의 예측들에 사용되는 모든 참조 샘플들의 값이 결정될 수 있다. 따라서, 처리부는 복수의 분할된 블록들의 예측들의 이전에, 복수의 분할된 블록들의 예측들에 사용되는 모든 참조 샘플들의 값을 결정할 수 있고, 복수의 분할된 블록들의 예측들을 병렬로 수행할 수 있다.
도 25는 일 예에 따른 4 개의 분할된 블록들의 예측을 나타낸다.
도 25에서 도시된 것과 같이 대상 블록의 분할에 의해 제1 블록, 제2 블록, 제3 블록 및 제4 블록의 4 개의 분할된 블록들이 생성될 수 있다.
전술된 것과 같이, 처리부는 복수의 분할된 블록들 중 특정된 분할된 블록에 대한 예측 모드를 유도할 수 있다.
도 25에서는, 예시적으로 최하단의 블록인 제4 블록에 대해 예측 모드가 유도될 수 있다. 나머지의 블록들인 제1 블록, 제2 블록 및 제3 블록에 대해서는 유도된 예측 모드가 사용될 수 있다.
처리부는 복수의 분할된 블록들 중 예측 모드가 유도된 특정된 분할된 블록에 대해 우선적으로 예측을 수행할 수 있다. 다음으로, 처리부는 복수의 블록들 중 상기의 특정된 블록을 제외한 나머지의 블록들에 대해 유도된 예측 모드를 사용하여 예측을 수행할 수 있다.
처리부는 예측 모드가 유도된 특정된 분할된 블록에 대한 예측을 수행함에 있어서, 특정된 분할된 블록 및/또는 대상 블록의 주변의 복원된 픽셀들을 참조 샘플들로서 사용할 수 있다.
도 25에 따르면, 제4 블록에 대한 예측의 시점에서 제4 블록의 상단에 인접한 재구축된 픽셀은 존재하지 않을 수 있다. 따라서, 처리부는 제4 블록에 대한 예측에 있어서, 대상 블록의 상단에 인접한 재구축된 픽셀들을 참조 픽셀들로서 사용할 수 있다.
처리부는 기정의된 순서에 따라 복수의 분할된 블록들의 예측들을 수행할 수 있다. 기정의된 순서는 분할에 의해 생성된 것이 아닌 일반적인 블록들에 대한 순서와는 다를 수 있다. 예를 들면, 기정의된 순서는 1) 최하단의 블록으로부터 최상단의 블록으로의 순서일 수 있고, 또는 2) 최우측의 블록으로부터 최좌측의 블록으로의 순서일 수 있다. 또는, 기정의된 순서는 3) 최하단의 블록이 가장 먼저 선택된 뒤, 다음으로는 최상단의 블록으로부터 최하단에서 2번째의 블록까지 순차적으로 선택되는 순서일 수 있고, 또는 4) 최우측의 블록이 가장 먼저 선택된 뒤, 다음으로는 최좌측의 블록으로부터 최우측에서 2번째의 블록까지 순차적으로 선택되는 순서일 수 있다.
또는, 기정의된 순서는 부호화 장치(1200) 및/또는 복호화 장치(1300)에 의해 임의로 결정될 수 있다. 부호화 장치(1200)에 의해 기정의된 순서가 결정된 경우, 결정된 기정의된 순서는 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다.
예측 순서 지시자는 복수의 분할된 블록들에 대한 예측들의 순서를 지시할 수 있다. 부호화 장치(1200)는 예측 순서 지시자의 값을 결정할 수 있다. 예측 순서 지시자는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다.
또는, 기정의된 순서는 부호화 장치(1200) 및/또는 복호화 장치(1300)의 각각에서 동일한 기정의된 방식에 따라서 유도될 수 있다. 처리부는 대상 블록에 관련된 코딩 파라미터 등을 사용하여 기정의된 순서를 유도할 수 있다.
도 26은 일 예에 따른 제4 블록에 대한 예측이 수행된 이후에 제1 블록에 대한 예측을 나타낸다.
전술된 것과 같이, 복수의 분할된 블록들의 예측들을 수행함에 있어서, 기정의된 순서가 사용될 수 있다.
도 26에서 예시된 기정의된 순서는 복수의 분할된 블록들 중 최하단의 블록에 대한 예측이 제일 먼저 수행된 뒤, 다음으로는 최상단의 블록으로부터 최하단에서 2번째의 블록까지 위에서 아래로 순차적으로 블록에 대한 예측이 수행되는 것일 수 있다. 실시예의 순서에서, "최하단"은 "최우측"으로, "최상단"은 "최좌측"으로 각각 대체될 수 있다.
기정의된 순서에 따라 복수의 분할된 블록들의 예측들을 수행하기 때문에, 도 26에 도시된 것과 같이, 기존의 순서에 따라 복수의 분할된 블록들의 예측들을 수행하는 것에 비해 추가의 참조 샘플들이 가용해질 수 있다. 따라서, 일반적인 인트라 예측에 비해 추가로 가용해진 참조 샘플들을 사용하는 다른 방향의 인트라 예측이 사용될 수 있다.
처리부는 복수의 분할된 블록들의 각 분할된 블록에 대한 예측을 수행함에 있어서, 상기의 각 분할된 블록에 대한 예측의 이전에 예측된 분할된 블록의 재구축된 블록의 픽셀들을 참조 샘플들로서 사용할 수 있다.
예를 들면, 도 26에서 도시된 것과 같이, 처리부는 제1 블록에 대한 예측에 있어서, 이전에 예측된 제4 블록의 재구축된 블록의 픽셀들을 참조 샘플들로서 사용할 수 있다.
이러한 기정의된 순서의 사용 및 이전에 예측된 분할된 블록의 재구축된 블록의 픽셀의 사용에 따라서, 일반적인 순서로만 분할된 블록에 대한 예측을 수행하는 것에 비해 더 많은 방향들에서의 참조 샘플들이 제공될 수 있다. 예를 들면, 도 26에서 도시된 것과 같이, 제1 블록에 대하여 아래에 위치한 참조 샘플들이 제공될 수 있다.
일 실시예에 있어서, 처리부는 분할된 블록에 대한 예측에 있어서, 분할된 블록의 하단에 인접한 참조 샘플들을 사용하는 인트라 예측을 수행할 수 있고, 분할된 블록의 우측에 인접한 참조 샘플들을 사용하는 인트라 예측을 수행할 수 있다.
예를 들면, 분할된 블록의 하단에 인접한 참조 샘플들은 상향, 좌상향 및/또는 우상향으로 예측 블록 내에 복사될 수 있다. 분할된 블록의 우측에 인접한 참조 샘플들은 좌향, 좌상향 및/또는 좌하향으로 예측 블록 내에 복사될 수 있다.
도 27은 일 예에 따른 제2 블록에 대한 예측을 나타낸다.
제2 블록에 대한 예측은 제4 블록에 대한 예측 및 제1 블록에 대한 예측의 이후에 수행될 수 있다. 따라서, 전술된 것과 같이, 제2 블록에 대한 예측에 사용되는 참조 샘플들로서 제4 블록의 재구축된 블록의 픽셀 및 제1 블록의 재구축된 블록의 픽셀이 포함될 수 있다.
말하자면, 처리부는 복수의 분할된 블록들 중 특정된 분할된 블록에 대한 예측을 수행함에 있어서, 다른 분할된 블록들의 재구축된 블록들의 픽셀들을 참조 샘플들로서 사용할 수 있다. 여기에서, 다른 분할된 블록들은 복수의 분할된 블록들 중 특정된 분할된 블록에 대한 예측의 이전에 예측이 수행된 블록들일 수 있다.
또는, 제2 블록에 대한 예측보다 제3 블록에 대한 예측이 더 먼저 수행되는 경우, 도 27에서 도시된 참조 샘플들은 제3 블록에 대한 예측을 위해 사용될 수도 있다.
도 28은 일 에에 따른 제3 블록에 대한 예측을 나타낸다.
제3 블록에 대한 예측은 제4 블록에 대한 예측, 제1 블록에 대한 예측 및 제2 블록에 대한 예측의 이후에 마지막으로 수행될 수 있다.
도 28은 제3 블록에 대한 예측에 있어서 가용한 참조 샘플들을 나타낼 수 있다.
일 실시예에 있어서, 분할된 블록에 있어서, 복수의 참조 샘플 타입들 중 분할된 블록에 대한 예측에 사용될 참조 샘플 타입이 선택될 수 있다.
예를 들면, 처리부는 제3 블록에 대한 예측에 있어서, 도 25에서 도시된 참조 샘플들, 도 26에서 도시된 참조 샘플들, 도 27에서 도시된 참조 샘플들 및 도 28에서 도시된 참조 샘플들 중 하나를 사용할 수 있다.
처리부는 특정된 분할된 블록에 대한 예측을 수행함에 있어서 복수의 참조 샘플 타입들 중 하나의 참조 샘플 타입에 따른 참조 샘플들을 사용할 수 있다.
복수의 참조 샘플 타입들은 제1 참조 샘플 타입, 제2 참조 샘플 타입 및 제3 참조 샘플 타입을 포함할 수 있다.
제1 참조 샘플 타입의 참조 샘플들은 대상 블록에 인접한 재구축된 픽셀들일 수 있다. 말하자면, 제1 참조 샘플 타입의 참조 샘플들은 도 25에서 도시된 참조 샘플들일 수 있다.
제2 참조 샘플 타입의 참조 샘플들은 제1 참조 샘플 타입의 참조 샘플들 및 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들일 수 있다. 말하자면, 제2 참조 샘플 타입의 참조 샘플들은 도 26 또는 도 27에서 도시된 참조 샘플들일 수 있다.
일 실시예에 있어서, 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들은 단지 대상 블록에 인접한 재구축된 픽셀들에 의해서는 커버되지 않는 방향에 대해 사용될 수 있다. 말하자면, 대상 블록에 인접한 재구축된 픽셀들이 분할된 블록의 재구축된 블록의 픽셀들보다 더 우선적으로 사용될 수 있다. (예를 들면, 도 26에서 도시된 참조 샘플들)
또는, 일 실시예에 있어서, 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들은 대상 블록에 인접한 재구축된 픽셀들의 적어도 일부를 대체할 수 있다. (예를 들면, 도 27에서 도시된 참조 샘플들)
말하자면, 대상 블록에 인접한 재구축된 픽셀들에 비해 분할된 블록의 재구축된 블록의 픽셀들이 더 우선적으로 사용될 수 있다.
즉, 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들이 대상 블록에 인접한 재구축된 샘플들보다 특정된 분할된 블록에 더 가깝기 때문에, 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들이 (대상 블록에 인접한 재구축된 픽셀들 대신) 특정된 분할된 블록에 대한 예측을 위해 사용될 수 있고, 대상 블록에 인접한 재구축된 픽셀들은 이전에 예측이 수행된 분할된 블록의 재구축된 블록의 픽셀들에 의해 커버되지 않는 방향에 대해서만 사용될 수 있다.
제3 참조 샘플 타입의 참조 샘플들은 특정된 분할된 블록에 인접한 재구축된 픽셀들일 수 있다. 말하자면, 제3 참조 샘플 타입의 참조 샘플들은 도 28에서 도시된 참조 샘플들일 수 있다.
일 실시예에 있어서, 처리부는 대상 블록 또는 분할된 블록에 관련된 정보를 사용하여 분할된 블록에 대한 예측에서 사용될 참조 샘플들을 결정할 수 있다.
일 실시예에 있어서, 처리부는 참조 샘플 지시자에 기반하여 분할된 블록에 대한 예측에서 사용될 참조 샘플들을 결정할 수 있다.
참조 샘플 지시자는 블록에 대한 예측에서 사용될 참조 샘플들을 지시하는 지시자일 수 있다. 참조 샘플 지시자는 복수의 참조 샘플 타입들 중 블록에 대한 예측에서 사용될 참조 샘플 타입을 나타낼 수 있다.
처리부는 참조 샘플 지시자의 값을 결정할 수 있다.
참조 샘플 지시자는 비트스트림을 통해 부호화 장치(1200)로부터 복호화 장치(1300)로 시그널링될 수 있다. 또는, 참조 샘플 지시자를 적어도 부분적으로 결정하기 위해 참조 블록 또는 분할된 블록과 관련된 코딩 파라미터가 사용될 수 있다.
참조 샘플 지시자가 사용될 경우, 복호화 장치(1300)에서는 분할된 블록에 대한 예측에 사용될 참조 샘플들이 부호화 장치(1200)로부터 제공된 참조 샘플 지시자에 의해 직접적으로 결정될 수 있다.
참조 샘플들에 대한 필터링
전술된 예측의 이전에, 처리부는 참조 샘플들에 대한 필터링을 수행할 수 있고, 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
일 실시예에서, 처리부는 대상 블록의 크기 및/또는 형태에 기반하여 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
일 실시예에서, 처리부는 분할된 블록의 크기 및/또는 형태에 기반하여 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
일 실시예에서, 처리부는 분할된 블록의 참조 블록으로서 대상 블록에 인접한 재구축된 블록을 사용하는지 여부에 따라서 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
일 실시예에서, 처리부는 분할된 블록들의 예측들을 병렬로 수행하는지 여부에 따라서 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
또는, 일 실시예에서, 처리부는 실시예에서 설명된 특정된 기능, 동작 및 처리의 수행 여부에 따라서 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
또는, 일 실시예에서, 처리부는 대상 블록에 관련된 코딩 파라미터 또는 분할된 블록에 관련된 코딩 파라미터에 기반하여 참조 샘플들에 대한 필터링의 수행 여부를 결정할 수 있다.
도 29는 일 실시예에 따른 예측 방법의 흐름도이다.
도 14를 참조하여 전술된 실시예에서는 단계(1410)에서 대상 블록을 분할함으로써 복수의 분할된 블록들이 생성되고, 단계(1420)에서 복수의 분할된 블록들의 예측 모드들 중 적어도 일부의 블록에 대하여 예측 모드가 유도되는 것으로 설명되었다.
본 실시예에서는, 우선 예측 모드가 유도된 후, 대상 블록을 분할함으로써 복수의 분할된 블록들이 생성될 수 있다.
단계(2910)에서, 처리부는 예측 모드를 유도할 수 있다.
예를 들면, 유도된 예측 모드는 대상 블록에 대한 예측 모드일 수 있다. 처리부는 전술된 대상 블록에 대한 예측 모드를 유도하는 방식에 따라서 예측 모드를 유도할 수 있다.
예를 들면, 유도된 예측 모드는 대상 블록에 대한 분할이 수행되는 경우에, 대상 블록의 분할에 의해 생성되는 복수의 분할된 블록들의 예측들에 사용되는 예측 모드일 수 있다. 말하자면, 유도된 예측 모드는 대상 블록이 분할되는 경우에 사용되는 예측 모드일 수 있다.
일 실시예에서, 유도된 예측 모드는 복수일 수 있다.
예를 들면, 복수의 유도된 예측 모드들은 대상 블록의 분할에 의해 생성되는 복수의 분할된 블록들의 예측들에 각각 사용될 수 있다.
전술된 실시예에서의 분할된 블록의 예측 모드의 유도에 관련된 설명은 본 실시예의 예측 모드의 유도에 대해서도 적용될 수 있다. 예를 들면, 예측 모드의 유도에 있어서 MPM이 사용될 수 있다. 중복되는 설명은 생략된다.
단계(2920)에서, 처리부는 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성할 수 있다.
단계(1410) 등을 참조하여 전술된 대상 블록의 분할에 관련된 설명은 단계(2920)에도 적용될 수 있다. 중복되는 설명은 생략된다.
단계(2930)에서, 처리부는 유도된 예측 모드를 사용하여 복수의 분할된 블록들 중 적어도 일부의 블록에 대한 예측을 수행할 수 있다.
단계(1430) 등을 참조하여 전술된 복수의 분할된 블록들 중 적어도 일부의 블록에 대한 예측에 관련된 설명은 단계(2930)에도 적용될 수 있다. 단, 단계들(1420 및 1430)을 참조한 설명에서는, 복수의 분할된 블록들 중 특정된 분할된 블록에 대해서 예측 모드가 유도되고, 특정된 분할된 블록을 제외한 나머지의 블록들에 대해서는 특정된 분할된 블록에 대하여 상기의 유도된 예측 모드 또는 상기의 유도된 예측 모드에 기반하여 결정된 예측 모드가 사용되는 것으로 설명되었다. 이러한 설명은, 단계(2910)에서 예측 모드가 유도되고, 단계(2910)에서 유도된 예측 모드 또는 상기의 유도된 예측 모드에 기반하여 결정된 예측 모드가 복수의 분할된 블록들에 대해 사용되는 것으로 이해될 수 있다. 중복되는 설명은 생략된다.
도 30은 일 예에 따른 대상 블록에 대한 예측 모드의 유도를 나타낸다.
도 29의 실시예에서 전술된 것과 같이, 단계(2910)에서는 대상 블록에 대한 예측 모드가 유도될 수 있다. 대상 블록에 대한 예측 모드가 유도되면, 도 22, 도 23 및 도 24를 참조하여 전술된 것과 유사하게, 유도된 예측 모드를 사용하여 제1 블록 및 제2 블록에 대한 예측들이 수행될 수 있다.
또는, 단계(2910)에서는 대상 블록에 대하여 복수의 예측 모드들이 유도될 수 있다. 복수의 유도된 예측 모드들은 분할된 블록들의 예측들을 위해 각각 사용될 수 있다.
처리부는 복수의 유도된 예측 모드들 중 어떤 예측 모드를 어떤 분할된 블록의 예측을 위해 사용할 것인가에 대해서 대상 블록과 관련된 코딩 파라미터 등을 사용하는 방식에 따라서 결정할 수 있다.
도 31은 일 실시예에 따른 대상 블록의 예측 방법 및 비트스트림 생성 방법의 흐름도이다.
실시예의 대상 블록의 예측 방법 및 비트스트림 생성 방법은 부호화 장치(1200)에 의해 수행될 수 있다. 실시예는 대상 블록의 부호화 방법 또는 비디오 부호화 방법의 일부일 수 있다.
단계(3110)에서, 처리부(1210)는 블록의 분할 및 예측 모드의 유도를 수행할 수 있다.
단계(3110)는 도 14를 참조하여 전술된 단계(1410) 및 단계(1420)에 대응할 수 있다. 단계(3110)는 도 29를 참조하여 전술된 단계(2910) 및 단계(2920)에 대응할 수 있다.
단계(3120)에서, 처리부(1210)는 유도된 예측 모드를 사용하는 예측을 수행할 수 있다.
단계(3120)는 도 14를 참조하여 전술된 단계(1430)에 대응할 수 있다. 단계(3120)는 도 29를 참조하여 전술된 단계(2930)에 대응할 수 있다.
단계(3130)에서, 처리부(1210)는 예측 정보를 생성할 수 있다. 예측 정보는 단계(3110) 또는 단계(3120)에서 적어도 부분적으로 생성될 수 있다.
예측 정보는 전술된 블록의 분할 및 예측 모드의 유도를 위해 사용되는 정보일 수 있다. 예를 들면, 예측 정보는 전술된 지시자들을 포함할 수 있다.
단계(3140)에서, 처리부(1210)는 비트스트림을 생성할 수 있다.
비트스트림은 부호화된 대상 블록에 대한 정보를 포함할 수 있다. 예를 들면, 부호화된 대상 블록에 대한 정보는 대상 블록 및/또는 분할된 블록의 변환 및 양자화된 계수를 포함할 수 있고, 대상 블록 및/또는 분할된 블록의 코딩 파라미터를 포함할 수 있다. 비트스트림은 예측 정보를 포함할 수 있다.
처리부(1210)는 예측 정보에 대한 엔트로피 부호화를 수행할 수 있고, 엔트로피 부호화된 예측 정보를 포함하는 비트스트림을 생성할 수 있다.
처리부(1210)은 생성된 비트스트림을 저장소(1240)에 저장할 수 있다. 또는, 통신부(1220)는 비트스트림을 복호화 장치(1300)로 전송할 수 있다.
도 32는 일 실시예에 따른 비트스트림을 사용하는 대상 블록의 예측 방법의 흐름도이다.
실시예의 비트스트림을 사용하는 대상 블록의 예측 방법은 복호화 장치(1300)에 의해 수행될 수 있다. 실시예는 대상 블록의 복호화 방법 또는 비디오 복호화 방법의 일부일 수 있다.
단계(3210)에서, 통신부(1320)는 비트스트림을 획득할 수 있다. 통신부(1320)는 부호화 장치(1200)로부터 비트스트림을 수신할 수 있다.
비트스트림은 부호화된 대상 블록에 대한 정보를 포함할 수 있다. 예를 들면, 부호화된 대상 블록에 대한 정보는 대상 블록 및/또는 분할된 블록의 변환 및 양자화된 계수를 포함할 수 있고, 대상 블록 및/또는 분할된 블록의 코딩 파라미터를 포함할 수 있다. 비트스트림은 예측 정보를 포함할 수 있다.
처리부(1310)는 획득된 비트스트림을 저장소(1240)에 저장할 수 있다.
단계(3220)에서, 처리부(1310)는 비트스트림으로부터 예측 정보를 획득할 수 있다.
처리부(1310)는 비트스트림의 엔트로피 부호화된 예측 정보에 대한 엔트로피 복호화를 수행함으로써 예측 정보를 획득할 수 있다.
단계(3230)에서, 처리부(1210)는 예측 정보를 사용하여 블록의 분할 및 예측 모드의 유도를 수행할 수 있다.
단계(3230)는 도 14를 참조하여 전술된 단계(1410) 및 단계(1420)에 대응할 수 있다. 단계(3230)는 도 29를 참조하여 전술된 단계(2910) 및 단계(2920)에 대응할 수 있다.
단계(3240)에서, 처리부(1210)는 유도된 예측 모드를 사용하는 예측을 수행할 수 있다.
단계(3240)는 도 14를 참조하여 전술된 단계(1430)에 대응할 수 있다. 단계(3240)는 도 29를 참조하여 전술된 단계(2930)에 대응할 수 있다.
분할 지시자를 사용하는 블록의 분할
전술된 실시예에서는 대상 블록의 크기 및 또는 형태에 기반하여 대상 블록이 분할되는 것으로 설명되었다.
블록의 분할에 있어서, 분할 지시자가 사용될 수 있다. 블록의 분할 지시자는 블록의 부호화 및 복호화에 있어서, 블록을 분할함으로써 2 개 이상의 분할된 블록들을 생성하고, 생성된 분할된 블록들의 각 분할된 블록을 부호화 및 복호화의 단위로서 사용할 것인가를 나타낼 수 있다.
전술된 실시예들에서 설명된 블록의 분할 및 블록의 예측에 관련된 설명은 아래의 실시예들에도 적용될 수 있다.
일 실시예에 있어서, 블록의 분할 지시자는 블록을 이진-트리의 형태로 분할할지 여부를 나타내는 이진 트리 분할 지시자일 수 있다. 예를 들면, 이진 트리 분할 지시자의 명칭은 "binarytree_flag" 또는 "BTsplitFlag"일 수 있다.
또는, 블록의 분할 지시자는 블록을 쿼드-트리의 형태로 분할할지 여부를 나타내는 쿼드 트리 분할 지시자일 수 있다.
일 실시예에 있어서, 분할 지시자의 값들 중 제1 기정의된 값은 블록을 분할하지 않음을 나타낼 수 있고, 제2 기정의된 값은 블록을 분할함을 나타낼 수 있다.
블록의 분할 지시자가 제1 기정의된 값을 갖는 경우, 처리부는 블록을 분할하지 않을 수 있다.
일 실시예에서, 블록의 분할 지시자가 존재하고, 분할 지시자가 제1 기정의된 값을 갖는 경우, 블록이 분할이 적용되는 모양 및 형태를 갖는 경우에도 블록이 분할되지 않을 수 있다.
일 실시예에서, 블록의 분할 지시자가 제2 기정의된 값을 갖는 경우, 처리부는 블록을 분할하여 분할된 블록들을 생성할 수 있고, 분할된 블록들에 대한 부호화 및/또는 복호화를 수행할 수 있다. 또한, 블록의 분할 지시자가 제2 기정의된 값을 갖는 경우, 처리부는 블록을 분할하여 분할된 블록들을 생성할 수 있고, 분할된 블록이 분할된 블록의 형태 및/또는 모양에 의해 재-분할될 수도 있다.
일 실시예에 있어서, 대상 블록의 분할 지시자는 대상 블록에 대해서 대상 블록의 분할 여부를 지시할 수 있다. 또한, 대상 블록의 상위 블록의 분할 지시자는 상위 블록의 분할 여부를 지시할 수 있다. 상위 블록의 분할 지시자가 상위 블록이 복수의 블록들로 분할됨을 나타내면, 처리부는 상위 블록을 대상 블록을 포함하는 복수의 블록들로 분할할 수 있다. 즉, 실시예들에서 전술된 대상 블록 또한 분할 지시자 등에 의한 분할에 의해 생성된 블록으로 간주될 수 있다.
도 33은 일 예에 따른 상위 블록의 분할을 나타낸다.
예를 들면, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값이면, 상위 블록은 대상 블록을 포함하는 복수의 블록들로 분할될 수 있고, 대상 블록을 포함하는 복수의 블록들이 각각 부호화 및/또는 복호화의 특정된 처리의 대상 또는 단위가 될 수 있다.
도 34는 일 예에 따른 대상 블록의 분할을 나타낸다.
예를 들면, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 상위 블록의 분할에 의해 생성된 대상 블록이 분할이 적용되는 크기 및/또는 형태를 갖는 경우, 대상 블록은 다시 복수의 블록들로 분할될 수 있다. 복수의 분할된 블록들의 각 분할된 블록이 부호화 및/또는 복호화의 특정된 처리의 대상 또는 단위가 될 수 있다.
블록의 변환 등을 위한 블록의 분할
전술된 실시예에서는, 분할된 블록들이 예측의 단위인 것으로 설명되었다. 실시예의 분할된 블록들은 예측 외의 부호화 및/또는 복호화에 있어서 다른 처리의 단위일 수도 있다.
아래의 실시예들에서는, 블록의 부호화 및/또는 복호화에 있어서 예측, 변환, 양자화, 역변환 및 역양자화 등에 대하여 대상 블록 또는 분할된 블록을 처리의 단위로서 사용하는 실시예가 설명된다.
도 35는 일 실시예에 따른 영상의 부호화 및 복호화 방법을 나타내는 신호 흐름도이다.
단계(3510)에서, 부호화 장치(1200)의 처리부(1210)는 대상 블록과 관련된 예측을 수행할 수 있다.
단계(3520)에서, 부호화 장치(1200)의 처리부는(1210)는 상기의 예측에 기반하여 대상 블록과 관련된 변환을 수행할 수 있다.
단계(3530)에서, 부호화 장치(1200)의 처리부(1210)는 변환의 결과를 포함하는 비트스트림을 생성할 수 있다.
단계(3540)에서, 부호화 장치(1200)의 통신부(1220)는 비트스트림을 복호화 장치(1300)의 통신부(1320)로 전송할 수 있다.
단계(3550)에서, 복호화 장치(1300)의 처리부(1310)는 변환의 결과를 추출할 수 있다.
단계(3560)에서, 복호화 장치(1300)의 처리부(1310)는 대상 블록과 관련된 역변환을 수행할 수 있다.
단계(3570)에서, 복호화 장치(1300)의 처리부는(1310)는 대상 블록과 관련된 예측을 수행할 수 있다.
단계들(3510, 3520, 3530, 3540, 3550, 3560 및 3570)의 구체적인 기능과, 단계들(3510, 3520, 3560 및 3570)에서의 예측들, 변환 및 역변환의 구체적인 대상은 아래에서 상세하게 설명된다.
분할된 블록들이 변환 및 역변환의 단위인 경우
단계(3510)에서, 처리부(1210)는 대상 블록에 대한 예측을 수행하여 대상 블록에 대한 잔차 블록을 생성할 수 있다.
단계(3520)에서, 처리부(1210)는 분할된 블록 단위의 변환을 수행할 수 있다. 말하자면, 처리부(1210)는 잔차 블록을 분할함으로써 분할된 잔차 블록들을 생성할 수 있고, 분할된 잔차 블록들의 각각에 대하여 변환을 수행하여 분할된 블록의 계수들을 생성할 수 있다.
이하에서, 변환은 변환 외에도 및 양자화를 포함하는 것으로 해석될 수 있다. 역변환은 역양자화를 포함하고, 이후 역변환이 수행되는 것으로 해석될 수 있다. 또한, 계수는 변환 및 양자화된 계수를 의미하는 것으로 해석될 수 있다.
단계(3530)의 변환의 결과는 복수의 분할된 블록들의 계수들을 포함할 수 있다.
단계(3560)에서, 처리부(1310)는 분할된 블록의 계수들을 사용하여 분할된 블록 단위의 역변환을 수행할 수 있다. 말하자면, 처리부(1210)는 분할된 블록의 계수들에 대한 역변환을 수행함으로써 복원된 분할된 잔차 블록을 생성할 수 있다.
복수의 분할된 블록들에 대한 복수의 복원된 분할된 잔차 블록들은 대상 블록에 대한 복원된 잔차 블록을 구성할 수 있다. 또는, 대상 블록에 대한 복원된 잔차 블록은 복수의 복원된 분할된 잔차 블록들을 포함할 수 있다.
단계(3570)에서, 처리부(1310)는 대상 블록에 대한 예측을 수행하여 대상 블록에 대한 예측 블록을 생성할 수 있고, 예측 블록 및 복원된 잔차 블록을 합함으로써 복원된 블록을 생성할 수 있다. 복원된 블록은 복원된 샘플들을 포함할 수 있다.
일 실시예에 있어서, TU 분할 지시자는 분할된 블록의 단위로 변환 및 역변환이 수행되는지 여부를 지시할 수 있다. 예를 들면, TU 분할 지시자의 명칭은 "TUsplitFlag"일 수 있다.
TU 분할 지시자는 비트스트림을 통해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록이 변환 및 역변환의 단계들에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 변환 및 역변환이 수행될지 여부가 TU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록이 변환 및 역변환의 단계들에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 변환 및 역변환이 수행될지 여부가 TU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록이 변환 및 역변환의 단계들에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 변환 및 역변환이 수행될지 여부가 TU 분할 지시자에 의해 시그널링될 수 있다.
여기에서, 분할이 적용되는 모양 및/형태는, 예를 들면, 비-정사각형의 형태와 같이, 전술된 다른 실시예에서 대상 블록의 분할이 이루어지는 것으로 설명된 모양 및/형태일 수 있다. 또는, 분할이 적용되는 모양 및/형태는 전술된 다른 실시예에서 대상 블록의 분할이 이루어지는 것으로 설명된 상태 및/또는 조건을 포함하여 의미할 수 있다. 이하에서도 동일하다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록이 변환 및 역변환의 단계들에서 정사각형의 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 변환 및 역변환이 수행될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록이 변환 및 역변환의 단계들에서 정사각형의 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 변환 및 역변환이 수행될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록이 변환 및 역변환의 단계들에서 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 변환 및 역변환이 수행될 수 있다.
분할된 블록들이 변환, 역변환 및 예측의 단위인 경우
단계(3510)에서, 처리부(1210)는 분할된 블록 단위의 예측을 수행할 수 있다. 말하자면, 처리부(1210)는 분할된 블록에 대한 예측을 수행함으로써 분할된 블록에 대한 분할된 잔차 블록을 생성할 수 있다.
일 실시예에서, 예측은 인트라 예측일 수 있다.
단계(3520)에서, 처리부(1210)는 분할된 블록 단위의 변환을 수행할 수 있다. 말하자면, 처리부(1210)는 분할된 잔차 블록에 대한 변환을 수행하여 분할된 블록의 계수들을 생성할 수 있다.
단계(3530)의 변환의 결과는 복수의 분할된 블록들의 계수들을 포함할 수 있다.
단계(3560)에서, 처리부(1310)는 분할된 블록 단위의 역변환을 수행할 수 있다. 말하자면, 처리부(1210)는 분할된 잔차 블록의 계수들에 대한 역변환을 수행함으로써 복원된 분할된 잔차 블록을 생성할 수 있다.
단계(3570)에서, 처리부(1310)는 분할된 블록 단위의 예측을 수행할 수 있다. 말하자면, 처리부(1310)는 분할된 블록에 대한 예측을 수행함으로써 분할된 예측 블록을 생성할 수 있고, 분할된 예측 블록 및 복원된 잔차 블록을 합함으로써 분할된 복원된 블록을 생성할 수 있다.
복수의 분할된 블록들의 분할된 복원된 블록들은 대상 블록에 대한 복원된 블록을 구성할 수 있다. 또는, 대상 블록에 대한 복원된 블록은 분할된 복원된 블록들을 포함할 수 있다. 복원된 블록은 복원된 샘플들을 포함할 수 있다.
일 실시예에 있어서, PU 분할 지시자는 분할된 블록의 단위로 예측, 변환 및 역변환이 수행되는지 여부를 지시할 수 있다. 예를 들면, PU 분할 지시자의 명칭은 "Intra_PU_SplitFlag"일 수 있다.
PU 분할 지시자는 비트스트림을 통해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록이 예측의 단계에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될지 여부가 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 현재 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록이 예측의 단계에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될지 여부가 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록이 예측의 단계에서 복수의 분할된 블록들로 분할되고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될지 여부가 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록이 예측의 단계에서 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록이 예측의 단계에서 정사각형의 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록이 예측의 단계에서 복수의 분할된 블록들로 분할될 수 있고, 분할된 블록에 대하여 예측, 변환 및 역변환이 수행될 수 있다.
분할된 블록들이 예측의 단위이고, 대상 블록이 변환 및 역변환의 단위인 경우
단계(3510)에서, 처리부(1210)는 분할된 블록 단위의 예측을 수행할 수 있다. 말하자면, 처리부(1210)는 분할된 블록에 대한 예측을 수행하여 분할된 블록에 대한 분할된 잔차 블록을 생성할 수 있다.
복수의 분할된 블록들의 분할된 잔차 블록은 대상 블록의 잔차 블록을 구성할 수 있다.
단계(3520)에서, 처리부(1210)는 대상 블록 단위의 변환을 수행할 수 있다. 예를 들면, 처리부(1210)는 복수의 분할된 블록들의 분할된 잔차 블록들을 사용하여 대상 블록의 잔차 블록을 구성할 수 있다. 또는, 대상 블록의 잔차 블록은 복수의 분할된 블록들의 분할된 잔차 블록들을 포함할 수 있다.
처리부(120)는 대상 블록의 잔차 블록에 대하여 변환을 수행하여 대상 블록의 계수들을 생성할 수 있다.
단계(3530)의 변환의 결과는 대상 블록의 계수들을 포함할 수 있다.
단계(3560)에서, 처리부(1310)는 대상 블록들의 계수들을 사용하여 대상 블록 단위의 역변환을 수행할 수 있다. 말하자면, 처리부(1210)는 대상 블록의 계수들에 대한 역변환을 수행함으로써 복원된 잔차 블록을 생성할 수 있다.
복원된 잔차 블록은 복수의 복원된 분할된 잔차 블록들을 구성할 수 있다. 또는, 처리부(1310)는 복원된 잔차 블록을 분할함으로써 복수의 복원된 분할된 잔차 블록들을 생성할 수 있다. 또는, 복원된 잔차 블록은 복수의 복원된 분할된 잔차 블록들을 포함할 수 있다.
단계(3570)에서, 처리부(1310)는 분할된 블록 단위의 예측을 수행할 수 있다.
말하자면, 처리부(1210)는 분할된 블록에 대한 예측을 수행하여 분할된 블록에 대한 분할된 예측 블록을 생성할 수 있고, 분할된 예측 블록 및 복원된 분할된 잔차 블록을 합함으로써 복원된 분할된 블록을 생성할 수 있다.
분할된 블록에 대한 예측을 수행함에 따라, 분할된 복수의 블록들에 대해서 상이한 예측 모드들이 각각 적용될 수 있다.
복수의 분할된 블록들에 대한 복수의 복원된 분할된 블록들은 대상 블록에 대한 복원된 블록을 구성할 수 있다. 또는, 대상 블록에 대한 복원된 블록은 복수의 복원된 분할된 블록들을 포함할 수 있다.
일 실시예에 있어서, TU 머지 PU 분할 지시자는 분할된 블록의 단위로 예측이 수행되고, 대상 블록의 단위로 변환 및 역변환이 수행되는지 여부를 지시할 수 있다. 예를 들면, TU 머지 PU 분할 지시자의 명칭은 "TU_Merge_PU_splitFlag"일 수 있다.
TU 머지 PU 분할 지시자는 비트스트림을 통해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록에 대하여 변환 및 역변환이 수행되고, 분할된 블록에 대하여 예측이 수행될지 여부가 TU 머지 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록에 대하여 변환 및 역변환이 수행되고, 분할된 블록에 대하여 예측이 수행될지 여부가 TU 머지 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록에 대하여 변환 및 역변환이 수행되고, 분할된 블록에 대하여 예측이 수행될지 여부가 TU 머지 PU 분할 지시자에 의해 시그널링될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 분할된 블록에 대해서 예측이 수행될 수 있고, 분할된 블록들에 대한 예측 이후에 대상 블록에 대한 변환이 수행될 수 있다. 또한, 상위 블록의 분할 지시자의 값이 제2 기정의된 값인 경우, 대상 블록에 대해서 역변환이 수행될 수 있고, 대상 블록에 대한 역변환의 이후에 분할된 블록들에 대한 예측들이 수행될 수 있으며, 대상 블록에 대한 복원 샘플이 생성될 수 있다.
일 실시예에 있어서, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 분할된 블록에 대해서 예측이 수행될 수 있고, 분할된 블록들에 대한 예측 이후에 대상 블록에 대한 변환이 수행될 수 있다. 또한, 상위 블록의 분할 지시자의 값이 제2 기정의된 값이고, 대상 블록의 분할 지시자의 값이 제1 기정의된 값인 경우, 대상 블록에 대해서 역변환이 수행될 수 있고, 대상 블록에 대한 역변환의 이후에 분할된 블록들에 대한 예측들이 수행될 수 있으며, 대상 블록에 대한 복원 샘플이 생성될 수 있다.
일 실시예에 있어서, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 분할된 블록에 대해서 예측이 수행될 수 있고, 분할된 블록들에 대한 예측 이후에 대상 블록에 대한 변환이 수행될 수 있다. 또한, 대상 블록의 모양 및/또는 형태가 분할이 적용되는 모양 및/형태일 경우, 대상 블록에 대해서 역변환이 수행될 수 있고, 대상 블록에 대한 역변환의 이후에 분할된 블록들에 대한 예측들이 수행될 수 있으며, 대상 블록에 대한 복원 샘플이 생성될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계;
    상기 복수의 분할된 블록들 중 적어도 일부에 대하여 예측 모드를 유도하는 단계; 및
    상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계
    를 포함하는 부호화 방법.
  2. 대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계;
    상기 복수의 분할된 블록들 중 적어도 일부에 대하여 예측 모드를 유도하는 단계; 및
    상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계
    를 포함하는 복호화 방법.
  3. 제2항에 있어서,
    상기 대상 블록의 분할의 여부는 상기 대상 블록과 관련된 정보에 기반하여 결정되는 복호화 방법.
  4. 제2항에 있어서,
    상기 대상 블록의 분할의 여부 및 상기 분할의 유형은 블록 분할 지시자에 기반하여 결정되는 복호화 방법.
  5. 제2항에 있어서,
    상기 대상 블록은 상기 대상 블록의 크기에 기반하여 분할되는 복호화 방법.
  6. 제2항에 있어서,
    상기 대상 블록은 상기 대상 블록의 형태에 기반하여 분할되는 복호화 방법.
  7. 제2항에 있어서,
    상기 복수의 분할된 블록들 중 특정된 분할된 블록에 대하여 예측 모드가 유도되고,
    상기 특정된 분할된 블록은 상기 복수의 분할된 블록들 중 특정된 위치의 블록인 복호화 방법.
  8. 제7항에 있어서,
    상기 복수의 분할된 블록들 중 상기 특정된 분할된 블록을 제외한 나머지의 블록에 대해서는 상기 특정된 분할된 블록에 대하여 유도된 예측 모드가 사용되는 복호화 방법.
  9. 제7항에 있어서,
    상기 복수의 분할된 블록들 중 상기 특정된 분할된 블록을 제외한 나머지의 블록에 대해서는 상기 특정된 분할된 블록에 대하여 유도된 예측 모드 및 다른 예측 모드의 조합에 의해 결정된 예측 모드가 사용되는 복호화 방법.
  10. 제2항에 있어서,
    상기 예측 모드의 유도에 있어서 최고 확률 모드(Most Probable Mode; MPM) 리스트가 사용되는 복호화 방법.
  11. 제10항에 있어서,
    상기 MPM 리스트는 복수이고,
    상기 복수의 MPM 리스트의 MPM 후보 모드들은 서로 중복되지 않는 복호화 방법.
  12. 제10항에 있어서,
    상기 MPM 리스트는 특정된 단위에 대해서 구성되고,
    상기 특정된 단위는 상기 대상 블록인 복호화 방법.
  13. 제10항에 있어서,
    상기 복수의 분할된 블록들에 대한 MPM 리스트들은 상기 대상 블록의 하나 이상의 참조 블록들에 기반하여 구성되는 복호화 방법.
  14. 제2항에 있어서,
    상기 복수의 분할된 블록들 중 제2 블록에 대한 예측에 있어서 상기 복수의 분할된 블록들 중 제1 블록에 대하여 유도된 예측 모드가 사용되는 복호화 방법.
  15. 제14항에 있어서,
    상기 제1 블록의 재구축된 픽셀이 상기 제2 블록에 대한 예측의 참조 샘플들로서 사용되는 복호화 방법.
  16. 제14항에 있어서,
    상기 복수의 분할된 블록들의 예측들에 사용되는 참조 샘플들은 상기 대상 블록에 인접한 재구축된 픽셀들인 복호화 방법.
  17. 제2항에 있어서,
    상기 복수의 분할된 블록들 중 최하단의 블록 또는 최우측의 블록에 대해서 상기 예측 모드가 유도되는 복호화 방법.
  18. 제17항에 있어서,
    상기 최하단의 블록에 대한 예측에 있어서 상기 대상 블록의 상단에 인접한 재구축된 픽셀들이 참조 픽셀들로서 사용되는 복호화 방법.
  19. 제2항에 있어서,
    상기 복수의 분할된 블록들의 예측들은 기정의된 순서에 따라 수행되고,
    상기 기정의된 순서는 최하단의 블록으로부터 최상단의 블록으로의 순서, 최우측의 블록으로부터 최좌측의 블록으로의 순서, 최하단의 블록이 가장 먼저 선택된 뒤, 다음으로는 최상단의 블록으로부터 최하단에서 2번째의 블록까지 순차적으로 선택되는 순서 또는 최우측의 블록이 가장 먼저 선택된 뒤, 다음으로는 최좌측의 블록으로부터 최우측에서 2번째의 블록까지 순차적으로 선택되는 순서인 복호화 방법.
  20. 예측 모드를 유도하는 단계;
    대상 블록을 분할함으로써 복수의 분할된 블록들을 생성하는 단계; 및
    상기 유도된 예측 모드에 기반하여 상기 복수의 분할된 블록들에 대한 예측들을 수행하는 단계
    를 포함하는 복호화 방법.
PCT/KR2018/003392 2017-03-22 2018-03-22 블록 형태에 기반한 예측 방법 및 장치 WO2018174617A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202311481738.XA CN117255196A (zh) 2017-03-22 2018-03-22 基于块形式的预测方法和装置
CN202311482423.7A CN117255197A (zh) 2017-03-22 2018-03-22 基于块形式的预测方法和装置
US16/494,507 US11284076B2 (en) 2017-03-22 2018-03-22 Block form-based prediction method and device
CN201880020454.1A CN110476425B (zh) 2017-03-22 2018-03-22 基于块形式的预测方法和装置
CN202311484265.9A CN117255198A (zh) 2017-03-22 2018-03-22 基于块形式的预测方法和装置
US17/667,141 US11917148B2 (en) 2017-03-22 2022-02-08 Block form-based prediction method and device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20170036257 2017-03-22
KR10-2017-0036257 2017-03-22
KR10-2017-0155097 2017-11-20
KR20170155097 2017-11-20
KR1020180033424A KR102310730B1 (ko) 2017-03-22 2018-03-22 블록 형태에 기반한 예측 방법 및 장치
KR10-2018-0033424 2018-03-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/494,507 A-371-Of-International US11284076B2 (en) 2017-03-22 2018-03-22 Block form-based prediction method and device
US17/667,141 Continuation US11917148B2 (en) 2017-03-22 2022-02-08 Block form-based prediction method and device

Publications (1)

Publication Number Publication Date
WO2018174617A1 true WO2018174617A1 (ko) 2018-09-27

Family

ID=63584453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003392 WO2018174617A1 (ko) 2017-03-22 2018-03-22 블록 형태에 기반한 예측 방법 및 장치

Country Status (2)

Country Link
US (2) US11284076B2 (ko)
WO (1) WO2018174617A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125795A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Indication of two step cross-component prediction mode
WO2021136508A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Inter-prediction with multiple-parameter model
WO2022063035A1 (zh) * 2020-09-23 2022-03-31 腾讯科技（深圳）有限公司 上下文模型的选择方法、装置、设备及存储介质
EP4018656A4 (en) * 2019-08-21 2022-11-23 Zhejiang Dahua Technology Co., Ltd METHODS AND ENCODERS FOR LINEAR MODEL PREDICTION
US11968368B2 (en) 2019-12-31 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Cross-component prediction with multiple-parameter model

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN111327899A (zh) * 2018-12-16 2020-06-23 华为技术有限公司 视频译码器及相应方法
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11223846B1 (en) * 2019-12-04 2022-01-11 Amazon Technologies, Inc. Complexity-based motion search for video encoder

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583200B1 (ko) * 2010-09-27 2016-01-07 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
KR101608895B1 (ko) * 2014-11-13 2016-04-21 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
KR20160095932A (ko) * 2015-02-04 2016-08-12 한국전자통신연구원 비디오 부호화 장치 및 방법
KR101697154B1 (ko) * 2009-06-30 2017-01-18 한국전자통신연구원 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US20170041616A1 (en) * 2015-08-03 2017-02-09 Arris Enterprises Llc Intra prediction mode selection in video coding

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314209B1 (en) * 1996-07-08 2001-11-06 Hyundai Electronics Industries, Co., Ltd. Video information coding method using object boundary block merging/splitting technique
KR100667808B1 (ko) 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101458471B1 (ko) 2008-10-01 2014-11-10 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
WO2010131903A2 (en) * 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
US9467705B2 (en) 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
CN106412600B (zh) 2010-01-12 2019-07-16 Lg电子株式会社 视频信号的处理方法和设备
US8738656B2 (en) * 2010-08-23 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for processing a group of resource identifiers
US9202289B2 (en) 2010-09-30 2015-12-01 Electronics And Telecommunications Research Institute Method for coding and decoding target block partition information using information about neighboring blocks
KR101912307B1 (ko) * 2010-12-08 2018-10-26 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
EP3413564A1 (en) * 2011-03-10 2018-12-12 Sharp Kabushiki Kaisha Image decoding device
PL2755389T3 (pl) 2011-09-09 2019-06-28 Lg Electronics Inc. Sposób predykcji inter i urządzenie do niego
WO2013042912A2 (ko) * 2011-09-21 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
MX367994B (es) * 2011-11-08 2019-09-13 Kt Corp Método y aparato para codificar imágenes, y método y aparato para decodificar imágenes.
US9686559B2 (en) * 2012-07-03 2017-06-20 Sharp Kabushiki Kaisha Image decoding device, and image encoding device
WO2014050989A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
TW201419864A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
WO2014103529A1 (ja) * 2012-12-28 2014-07-03 シャープ株式会社 画像復号装置、およびデータ構造
US10244253B2 (en) * 2013-09-13 2019-03-26 Qualcomm Incorporated Video coding techniques using asymmetric motion partitioning
US20160255371A1 (en) * 2013-10-18 2016-09-01 Lg Electronics Inc. Method and apparatus for coding/decoding 3d video
US10178384B2 (en) * 2013-12-19 2019-01-08 Sharp Kabushiki Kaisha Image decoding device, image coding device, and residual prediction device
KR101737861B1 (ko) 2014-01-20 2017-05-19 한국전자통신연구원 변환 깊이 기반 dct 사이즈 결정 장치 및 방법
KR20170128389A (ko) * 2015-03-13 2017-11-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
KR20180005186A (ko) * 2015-05-12 2018-01-15 삼성전자주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
US20180176595A1 (en) * 2015-05-12 2018-06-21 Samsung Electronics Co., Ltd. Image decoding method for performing intra prediction and device thereof, and image encoding method for performing intra prediction and device thereof
US20180160118A1 (en) * 2015-06-18 2018-06-07 Sharp Kabushiki Kaisha Arithmetic decoding device and arithmetic coding device
US10574984B2 (en) * 2015-09-10 2020-02-25 Lg Electronics Inc. Intra prediction method and device in video coding system
KR102646890B1 (ko) * 2015-10-13 2024-03-12 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN115278228A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
JP6866369B2 (ja) * 2015-11-24 2021-04-28 サムスン エレクトロニクス カンパニー リミテッド 符号化順序符号化方法及びその装置、該復号方法及びその装置
CN108293115A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 用于对图像进行编码/解码的方法及设备
US10863207B2 (en) * 2015-11-27 2020-12-08 Mediatek Inc. Method and apparatus of entropy coding and context modelling for video and image coding
US10798403B2 (en) * 2016-01-29 2020-10-06 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
US11153600B2 (en) * 2016-02-08 2021-10-19 Sharp Kabushiki Kaisha Motion vector generation device, prediction image generation device, video decoding device, and video coding device
KR20180107097A (ko) * 2016-02-16 2018-10-01 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
KR102254162B1 (ko) * 2016-05-12 2021-05-20 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10880548B2 (en) * 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
WO2018030599A1 (ko) * 2016-08-08 2018-02-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3306929A1 (en) * 2016-10-07 2018-04-11 Thomson Licensing Method and apparatus for encoding a video
KR102367136B1 (ko) * 2016-10-10 2022-02-24 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
EP3506632A4 (en) * 2016-10-10 2019-08-07 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR ENCODING OR DECODING IMAGE CONTOUR ENCODING UNIT
CN116320416A (zh) * 2016-11-21 2023-06-23 松下电器（美国）知识产权公司 图像编码方法、图像解码方法及计算机可读介质
WO2018092870A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP4283992A3 (en) * 2017-09-28 2024-02-28 Samsung Electronics Co., Ltd. Encoding method and device, and decoding method and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697154B1 (ko) * 2009-06-30 2017-01-18 한국전자통신연구원 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR101583200B1 (ko) * 2010-09-27 2016-01-07 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
KR101608895B1 (ko) * 2014-11-13 2016-04-21 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
KR20160095932A (ko) * 2015-02-04 2016-08-12 한국전자통신연구원 비디오 부호화 장치 및 방법
US20170041616A1 (en) * 2015-08-03 2017-02-09 Arris Enterprises Llc Intra prediction mode selection in video coding

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125795A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Indication of two step cross-component prediction mode
CN113287311A (zh) * 2018-12-22 2021-08-20 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
US11570458B2 (en) 2018-12-22 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Indication of two-step cross-component prediction mode
US11805268B2 (en) 2018-12-22 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Two step cross-component prediction mode
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
EP4018656A4 (en) * 2019-08-21 2022-11-23 Zhejiang Dahua Technology Co., Ltd METHODS AND ENCODERS FOR LINEAR MODEL PREDICTION
WO2021136508A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Inter-prediction with multiple-parameter model
US11968368B2 (en) 2019-12-31 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Cross-component prediction with multiple-parameter model
WO2022063035A1 (zh) * 2020-09-23 2022-03-31 腾讯科技（深圳）有限公司 上下文模型的选择方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20200029077A1 (en) 2020-01-23
US11284076B2 (en) 2022-03-22
US11917148B2 (en) 2024-02-27
US20220166977A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
WO2018174617A1 (ko) 블록 형태에 기반한 예측 방법 및 장치
WO2018226015A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019190224A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019177354A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019112394A1 (ko) 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
WO2018012886A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2018016823A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018012851A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2019172705A1 (ko) 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
WO2020004987A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019107927A1 (ko) 양방향 인트라 예측 방법 및 장치
WO2020005035A1 (ko) 처리율 향상을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018097700A1 (ko) 필터링을 위한 방법 및 장치
WO2018174618A1 (ko) 참조 블록을 사용하는 예측 방법 및 장치
WO2020060243A1 (ko) 경계 처리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021015581A1 (ko) 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2020060242A1 (ko) 화면 내 예측 모드 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020050600A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017176092A1 (ko) 움직임 예측 정보를 유도하는 방법 및 장치
WO2020256422A1 (ko) 화면 간 예측 정보 부호화/복호화 방법 및 장치
WO2020256522A1 (ko) 영역 분할을 사용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2021112651A1 (ko) 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2020060317A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020256467A1 (ko) 비디오 영상 부/복호화를 위한 가상 경계 시그널링 방법 및 장치
WO2019074273A1 (ko) 인터 예측 정보를 사용하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18771759

Country of ref document: EP

Kind code of ref document: A1