WO2020060259A1 - 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치 - Google Patents

영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치 Download PDF

Info

Publication number
WO2020060259A1
WO2020060259A1 PCT/KR2019/012196 KR2019012196W WO2020060259A1 WO 2020060259 A1 WO2020060259 A1 WO 2020060259A1 KR 2019012196 W KR2019012196 W KR 2019012196W WO 2020060259 A1 WO2020060259 A1 WO 2020060259A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
current block
size
flag
blocks
Prior art date
Application number
PCT/KR2019/012196
Other languages
English (en)
French (fr)
Inventor
최장원
김승환
허진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN202311110124.0A priority Critical patent/CN116962692A/zh
Priority to CN202311110102.4A priority patent/CN116996672A/zh
Priority to CN202311109742.3A priority patent/CN116962691A/zh
Priority to CN202311109417.7A priority patent/CN116962690A/zh
Priority to CN201980066015.9A priority patent/CN112840649A/zh
Priority to CN202311126831.9A priority patent/CN117041575A/zh
Priority to US17/277,639 priority patent/US11368687B2/en
Publication of WO2020060259A1 publication Critical patent/WO2020060259A1/ko
Priority to US17/740,037 priority patent/US11882280B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • This document relates to image coding technology, and more particularly, to an image decoding method and apparatus using block partitioning in an image coding system.
  • a high-efficiency image compression technology is required to effectively transmit, store, and reproduce high-resolution, high-quality image information.
  • the technical problem of this document is to provide a method and apparatus for improving image coding efficiency.
  • Another technical task of this document is to provide a method and apparatus for improving the efficiency of intra prediction.
  • Another technical task of this document is to provide a method and apparatus for improving intra prediction efficiency based on a cross component linear model (CCLM).
  • CCLM cross component linear model
  • Another technical problem of this document is to provide an efficient encoding and decoding method of CCLM prediction, and an apparatus for performing the encoding and decoding method.
  • Another technical task of this document is to provide a method and apparatus for selecting a peripheral sample for deriving a linear model parameter for CCLM.
  • an image decoding method performed by a decoding apparatus includes obtaining image information including partitioning information for a current block, determining whether to split the current block based on the size of the current block, and when determining that the current block is divided, the Dividing the current block into sub-blocks based on partitioning information, decoding the sub-blocks, and when it is determined that the current block is not divided, decoding the current block without dividing the current block
  • the current block is a chroma block and the size of the current block is equal to or less than a minimum chroma block size, it is determined that the current block is not split.
  • a decoding apparatus for performing image decoding.
  • the decoding apparatus determines that the current block is divided based on the size of the current block, and determines that the current block is divided, the entropy decoding unit obtaining image information including partitioning information for the current block , Splitting the current block into sub-blocks based on the partitioning information, decoding the sub-blocks, and decoding the current block without dividing the current block if it is determined that the current block is not split.
  • the current block is a chroma block and the size of the current block is equal to or less than a minimum chroma block size, it is determined that the current block is not split.
  • a video encoding method performed by an encoding device includes determining a partition type for the current block, determining whether to split the current block based on the size of the current block, and if it is determined that the current block is not split, splits the current block If it is determined that the current block is not divided, the step of dividing the current block into sub-blocks based on the division type, and encoding video information including partitioning information indicating a division type for the current block
  • the current block is a chroma block and the size of the current block is equal to or less than a minimum chroma block size, it is determined that the current block is not split.
  • a video encoding apparatus determines a partition type for the current block, determines whether to split the current block based on the size of the current block, and if it is determined that the current block is not split, does not split the current block If it is determined that the current block is to be split, encoding of the video information including an image partitioning unit for dividing the current block into sub-blocks based on the partitioning type and partitioning information for the partitioning type for the current block It characterized in that it is determined that the current block is not split if the current block is a chroma block and the size of the current block is less than a minimum chroma block size.
  • image coding can be effectively performed to improve image coding efficiency.
  • FIG. 1 schematically shows an example of a video / image coding system to which embodiments of the present document can be applied.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video / video encoding apparatus to which embodiments of the present document can be applied.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video / video decoding apparatus to which embodiments of the present document can be applied.
  • FIG 5 shows an example of dividing a block through the BT structure.
  • FIG. 6 shows an example of dividing a block through the TT structure.
  • FIG. 9 exemplarily shows an embodiment of prohibiting division into a 4x4 size luma block and a 2x2 size chroma block when the size of the input image is FHD or more.
  • FIG. 10 exemplarily shows an embodiment of adjusting a minimum block size based on the size of an input image.
  • 11 exemplarily shows an embodiment of adjusting the minimum block size.
  • FIG. 13 schematically shows a video encoding method by an encoding device according to the present document.
  • FIG. 14 schematically shows an encoding apparatus that performs a video encoding method according to the present document.
  • FIG. 16 schematically shows a decoding apparatus performing an image decoding method according to the present document.
  • FIG. 17 exemplarily shows a structure diagram of a content streaming system to which embodiments of the present document are applied.
  • each component in the drawings described in this document is independently shown for convenience of description of different characteristic functions, and does not mean that each component is implemented with separate hardware or separate software.
  • two or more components of each component may be combined to form one component, or one component may be divided into a plurality of components.
  • Embodiments in which each component is integrated and / or separated are also included in the scope of this document as long as they do not depart from the nature of this document.
  • FIG. 1 schematically shows an example of a video / image coding system to which embodiments of the present document can be applied.
  • a video / image coding system may include a first device (source device) and a second device (receiving device).
  • the source device may transmit the encoded video / image information or data to a receiving device through a digital storage medium or network in the form of a file or streaming.
  • the source device may include a video source, an encoding device, and a transmission unit.
  • the receiving device may include a receiving unit, a decoding apparatus, and a renderer.
  • the encoding device may be called a video / video encoding device, and the decoding device may be called a video / video decoding device.
  • the transmitter can be included in the encoding device.
  • the receiver may be included in the decoding device.
  • the renderer may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source may acquire a video / image through a capture, synthesis, or generation process of the video / image.
  • the video source may include a video / image capture device and / or a video / image generation device.
  • the video / image capture device may include, for example, one or more cameras, a video / image archive including previously captured video / images, and the like.
  • the video / image generating device may include, for example, a computer, a tablet and a smart phone, and the like (electronically) to generate the video / image.
  • a virtual video / image may be generated through a computer or the like, and in this case, the video / image capture process may be replaced by a process in which related data is generated.
  • the encoding device can encode the input video / video.
  • the encoding apparatus may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video / video information) may be output in the form of a bitstream.
  • the transmitting unit may transmit the encoded video / video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format.
  • the digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the transmission unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast / communication network.
  • the receiver may receive / extract the bitstream and deliver it to a decoding device.
  • the decoding apparatus may decode a video / image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus.
  • the renderer can render the decoded video / image.
  • the rendered video / image may be displayed through the display unit.
  • VVC versatile video coding
  • EVC essential video coding
  • AV1 AOMedia Video 1
  • AVS2 2nd generation of audio video coding standard
  • next-generation video It can be applied to the method disclosed in the video coding standard (ex. H.267 or H.268, etc.).
  • video may refer to a set of images over time.
  • a picture generally refers to a unit representing one image in a specific time period, and a slice / tile is a unit constituting a part of a picture in coding.
  • a slice / tile may include one or more coding tree units (CTUs).
  • CTUs coding tree units
  • One picture may be composed of one or more slices / tiles.
  • One picture may be composed of one or more tile groups.
  • One tile group may include one or more tiles. The brick may represent a rectangular region of CTU rows within a tile in a picture.
  • Tiles can be partitioned into multiple bricks, and each brick can be composed of one or more CTU rows in the tile (A tile may be partitioned into multiple bricks, each of which consisting of one or more CTU rows within the tile ).
  • a tile that is not partitioned into multiple bricks may be also referred to as a brick.
  • a brick scan can indicate a specific sequential ordering of CTUs partitioning a picture, the CTUs can be aligned with a CTU raster scan within a brick, and the bricks in a tile can be aligned sequentially with a raster scan of the bricks of the tile.
  • A, and tiles in a picture can be sequentially aligned with a raster scan of the tiles of the picture
  • a brick scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a brick , bricks within a tile are ordered consecutively in a raster scan of the bricks of the tile, and tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture).
  • a tile is a rectangular region of CTUs within a particular tile column and a particular tile row in a picture.
  • the tile column is a rectangular area of CTUs, the rectangular area has a height equal to the height of the picture, and the width can be specified by syntax elements in a picture parameter set (The tile column is a rectangular region of CTUs having a height equal to the height of the picture and a width specified by syntax elements in the picture parameter set).
  • the tile row is a rectangular region of CTUs, the rectangular region has a width specified by syntax elements in a picture parameter set, and the height can be the same as the height of the picture (The tile row is a rectangular region of CTUs having a height specified by syntax elements in the picture parameter set and a width equal to the width of the picture).
  • a tile scan can indicate a specific sequential ordering of CTUs partitioning a picture, the CTUs can be successively aligned with a CTU raster scan within a tile, and the tiles in a picture have been successively aligned with a raster scan of the tiles of the picture.
  • a tile scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a tile whereas tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture).
  • a slice may include an integer number of bricks of a picture, and the integer number of bricks may be included in one NAL unit (A slice includes an integer number of bricks of a picture that may be exclusively contained in a single NAL unit). A slice may consist of either a number of complete tiles or only a consecutive sequence of complete bricks of one tile ).
  • Tile groups and slices can be used interchangeably in this document.
  • the tile group / tile group header in this document may be referred to as a slice / slice header.
  • a pixel or pel may mean a minimum unit constituting one picture (or image).
  • 'sample' may be used as a term corresponding to a pixel.
  • the sample may generally represent a pixel or a pixel value, may represent only a pixel / pixel value of a luma component, or may represent only a pixel / pixel value of a chroma component.
  • the unit may represent a basic unit of image processing.
  • the unit may include at least one of a specific region of a picture and information related to the region.
  • One unit may include one luma block and two chroma (ex. Cb, cr) blocks.
  • the unit may be used interchangeably with terms such as a block or area depending on the case.
  • the MxN block may include samples (or sample arrays) of M columns and N rows or a set (or array) of transform coefficients.
  • a / B / C may mean” at least one of A, B, and / or C.
  • Also A / B / C “may mean” at least one of A, B, and / or C.
  • the video encoding device may include a video encoding device.
  • the encoding device 200 includes an image partitioner 210, a predictor 220, a residual processor 230, and an entropy encoder 240. It may be configured to include an adder (250), a filtering unit (filter, 260) and a memory (memory, 270).
  • the prediction unit 220 may include an inter prediction unit 221 and an intra prediction unit 222.
  • the residual processing unit 230 may include a transform unit 232, a quantizer 233, a dequantizer 234, and an inverse transformer 235.
  • the residual processing unit 230 may further include a subtractor 231.
  • the adder 250 may be called a reconstructor or a recontructged block generator.
  • the above-described image segmentation unit 210, prediction unit 220, residual processing unit 230, entropy encoding unit 240, adding unit 250, and filtering unit 260 may include one or more hardware components (for example, it may be configured by an encoder chipset or processor). Also, the memory 270 may include a decoded picture buffer (DPB), or may be configured by a digital storage medium. The hardware component may further include a memory 270 as an internal / external component.
  • DPB decoded picture buffer
  • the image division unit 210 may divide the input image (or picture, frame) input to the encoding apparatus 200 into one or more processing units.
  • the processing unit may be called a coding unit (CU).
  • the coding unit is recursively divided according to a quad-tree binary-tree ternary-tree (QTBTTT) structure from a coding tree unit (CTU) or a largest coding unit (LCU). You can.
  • QTBTTT quad-tree binary-tree ternary-tree
  • CTU coding tree unit
  • LCU largest coding unit
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure, a binary tree structure, and / or a ternary structure.
  • a quad tree structure may be applied first, and a binary tree structure and / or a ternary structure may be applied later.
  • a binary tree structure may be applied first.
  • the coding procedure according to this document may be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later.
  • the processing unit may further include a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit may be partitioned or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transformation unit may be a unit for deriving a transform coefficient and / or a unit for deriving a residual signal from the transform coefficient.
  • the unit may be used interchangeably with terms such as a block or area depending on the case.
  • the MxN block may represent samples of M columns and N rows or a set of transform coefficients.
  • the sample may generally represent a pixel or a pixel value, and may indicate only a pixel / pixel value of a luma component or only a pixel / pixel value of a saturation component.
  • the sample may be used as a term for one picture (or image) corresponding to a pixel or pel.
  • the encoding apparatus 200 subtracts a prediction signal (a predicted block, a prediction sample array) output from the inter prediction unit 221 or the intra prediction unit 222 from the input image signal (original block, original sample array).
  • a signal residual signal, residual block, residual sample array
  • the generated residual signal is transmitted to the conversion unit 232.
  • a unit for subtracting a prediction signal (a prediction block, a prediction sample array) from an input image signal (original block, original sample array) in the encoder 200 may be referred to as a subtraction unit 231.
  • the prediction unit may perform prediction on a block to be processed (hereinafter, referred to as a current block), and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied in units of a current block or CU. As described later in the description of each prediction mode, the prediction unit may generate various information regarding prediction, such as prediction mode information, and transmit it to the entropy encoding unit 240.
  • the prediction information may be encoded by the entropy encoding unit 240 and output in the form of a bitstream.
  • the intra prediction unit 222 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode (Planar mode).
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting.
  • the intra prediction unit 222 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 221 may derive the predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be referred to by a name such as a collocated reference block or a colCU, and a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the inter prediction unit 221 constructs a motion information candidate list based on neighboring blocks, and provides information indicating which candidates are used to derive the motion vector and / or reference picture index of the current block. Can be created. Inter prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter prediction unit 221 may use motion information of neighboring blocks as motion information of the current block.
  • the residual signal may not be transmitted.
  • a motion vector of a current block is obtained by using a motion vector of a neighboring block as a motion vector predictor and signaling a motion vector difference. I can order.
  • the prediction unit 220 may generate a prediction signal based on various prediction methods described below.
  • the prediction unit may apply intra prediction or inter prediction as well as intra prediction and inter prediction at the same time for prediction for one block. This can be called combined inter and intra prediction (CIIP).
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for prediction of a block.
  • the IBC prediction mode or palette mode may be used for content video / video coding such as a game, such as screen content coding (SCC).
  • SCC screen content coding
  • IBC basically performs prediction in the current picture, but may be performed similarly to inter prediction in that a reference block is derived in the current picture. That is, the IBC can use at least one of the inter prediction techniques described in this document.
  • the palette mode can be regarded as an example of intra coding or intra prediction. When the palette mode is applied, a sample value in a picture may be signaled based on information on the palette table and palette index.
  • the prediction signal generated through the prediction unit may be used to generate a reconstructed signal or may be used to generate a residual signal.
  • the transform unit 232 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transformation technique may include at least one of a DCT (Discrete Cosine Transform), a DST (Discrete Sine Transform), a KLT (Karhunen-Loeve Transform), a GBT (Graph-Based Transform), or a CNT (Conditionally Non-linear Transform). It can contain.
  • GBT refers to a transformation obtained from this graph when it is said that the relationship information between pixels is graphically represented.
  • CNT means a transform obtained by generating a predictive signal using all previously reconstructed pixels and based on it.
  • the transform process may be applied to pixel blocks having the same size of a square, or may be applied to blocks of variable sizes other than squares.
  • the quantization unit 233 quantizes the transform coefficients and transmits them to the entropy encoding unit 240, and the entropy encoding unit 240 encodes the quantized signal (information about quantized transform coefficients) and outputs it as a bitstream. have. Information about the quantized transform coefficients may be called residual information.
  • the quantization unit 233 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and quantize the quantized transform coefficients based on the one-dimensional vector form. Information regarding transform coefficients may be generated.
  • the entropy encoding unit 240 may perform various encoding methods such as exponential Golomb (CAVLC), context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • CAVLC exponential Golomb
  • CAVLC context-adaptive variable length coding
  • CABAC context-adaptive binary arithmetic coding
  • the entropy encoding unit 240 may encode information necessary for video / image reconstruction (eg, a value of syntax elements, etc.) together with the quantized transform coefficients together or separately.
  • the encoded information (ex. Encoded video / video information) may be transmitted or stored in units of network abstraction layer (NAL) units in the form of a bitstream.
  • NAL network abstraction layer
  • the video / image information may further include information regarding various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). Also, the video / image information may further include general constraint information.
  • information and / or syntax elements transmitted / signaled from an encoding device to a decoding device may be included in video / video information.
  • the video / video information may be encoded through the above-described encoding procedure and included in the bitstream.
  • the bitstream can be transmitted over a network or stored on a digital storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the signal output from the entropy encoding unit 240 may be configured as an internal / external element of the encoding unit 200 by a transmitting unit (not shown) and / or a storing unit (not shown) for storing, or the transmitting unit It may be included in the entropy encoding unit 240.
  • the quantized transform coefficients output from the quantization unit 233 may be used to generate a prediction signal.
  • a residual signal residual block or residual samples
  • the adder 155 adds the reconstructed residual signal to the predicted signal output from the inter predictor 221 or the intra predictor 222, so that the reconstructed signal (restored picture, reconstructed block, reconstructed sample array) Can be created. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adder 250 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 260 may improve subjective / objective image quality by applying filtering to the reconstructed signal.
  • the filtering unit 260 may generate a modified restoration picture by applying various filtering methods to the restoration picture, and the modified restoration picture may be a DPB of the memory 270, specifically, the memory 270. Can be stored in.
  • the various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the filtering unit 260 may generate various information regarding filtering as described later in the description of each filtering method, and transmit it to the entropy encoding unit 240.
  • the filtering information may be encoded by the entropy encoding unit 240 and output in the form of a bitstream.
  • the modified reconstructed picture transmitted to the memory 270 may be used as a reference picture in the inter prediction unit 221.
  • inter prediction When the inter prediction is applied through the encoding apparatus, prediction mismatch between the encoding apparatus 100 and the decoding apparatus can be avoided, and encoding efficiency can be improved.
  • the memory 270 DPB may store the modified reconstructed picture for use as a reference picture in the inter prediction unit 221.
  • the memory 270 may store motion information of a block from which motion information in a current picture is derived (or encoded) and / or motion information of blocks in a picture that has already been reconstructed.
  • the stored motion information may be transmitted to the inter prediction unit 221 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 270 may store reconstructed samples of blocks reconstructed in the current picture, and may transmit the reconstructed samples to the intra prediction unit 222.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video / video decoding apparatus to which embodiments of the present document can be applied.
  • the decoding apparatus 300 includes an entropy decoder (310), a residual processor (320), a prediction unit (predictor, 330), an adder (340), and a filtering unit (filter, 350) and memory (memoery, 360).
  • the prediction unit 330 may include an inter prediction unit 331 and an intra prediction unit 332.
  • the residual processing unit 320 may include a deequantizer 321 and an inverse transformer 321.
  • the entropy decoding unit 310, the residual processing unit 320, the prediction unit 330, the adding unit 340, and the filtering unit 350 described above may include one hardware component (eg, a decoder chipset or processor) according to an embodiment. ).
  • the memory 360 may include a decoded picture buffer (DPB), or may be configured by a digital storage medium.
  • the hardware component may further include a memory 360 as an internal / external component.
  • the decoding apparatus 300 may restore an image corresponding to a process in which the video / image information is processed in the encoding apparatus of FIG. 0.2-1.
  • the decoding apparatus 300 may derive units / blocks based on block partitioning related information obtained from the bitstream. That is, the image division unit of the decoding apparatus 300 may divide the input image (or picture, frame) into one or more processing units.
  • the decoding apparatus 300 may perform decoding using a processing unit applied in the encoding apparatus.
  • the processing unit of decoding may be, for example, a coding unit, and the coding unit may be divided along a quad tree structure, a binary tree structure and / or a ternary tree structure from a coding tree unit or a largest coding unit.
  • One or more transform units can be derived from the coding unit. Then, the decoded video signal decoded and output through the decoding device 300 may be reproduced through the reproduction device.
  • the decoding apparatus 300 may receive the signal output from the encoding apparatus of FIG. 0.2-1 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 310.
  • the entropy decoding unit 310 may parse the bitstream to derive information (eg, video / image information) necessary for image reconstruction (or picture reconstruction).
  • the video / image information may further include information regarding various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video / image information may further include general constraint information.
  • the decoding apparatus may decode a picture further based on the information on the parameter set and / or the general restriction information.
  • Signaling / receiving information and / or syntax elements described later in this document may be decoded through the decoding procedure and obtained from the bitstream.
  • the entropy decoding unit 310 decodes information in the bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element required for image reconstruction and a transform coefficient for residual.
  • a coding method such as exponential Golomb coding, CAVLC, or CABAC
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in the bitstream, and decodes the syntax element information to be decoded and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in the previous step.
  • the context model is determined by using, and the probability of occurrence of the bin is predicted according to the determined context model, and arithmetic decoding of the bin is performed to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model using the decoded symbol / bin information for the next symbol / bin context model after determining the context model.
  • prediction information is provided to a prediction unit (inter prediction unit 332 and intra prediction unit 331), and the entropy decoding unit 310 performs entropy decoding.
  • the dual value that is, quantized transform coefficients and related parameter information, may be input to the residual processing unit 320.
  • the residual processor 320 may derive a residual signal (residual block, residual samples, residual sample array). Also, information related to filtering among information decoded by the entropy decoding unit 310 may be provided to the filtering unit 350. Meanwhile, a receiving unit (not shown) that receives a signal output from the encoding device may be further configured as an internal / external element of the decoding device 300, or the receiving unit may be a component of the entropy decoding unit 310.
  • the decoding device may be called a video / picture / picture decoding device, and the decoding device may be classified into an information decoder (video / picture / picture information decoder) and a sample decoder (video / picture / picture sample decoder). It might be.
  • the information decoder may include the entropy decoding unit 310, and the sample decoder may include the inverse quantization unit 321, an inverse transformation unit 322, an addition unit 340, a filtering unit 350, and a memory 360 ), At least one of an inter prediction unit 332 and an intra prediction unit 331.
  • the inverse quantization unit 321 may inverse quantize the quantized transform coefficients to output transform coefficients.
  • the inverse quantization unit 321 may rearrange the quantized transform coefficients in a two-dimensional block form. In this case, the reordering may be performed based on the coefficient scan order performed by the encoding device.
  • the inverse quantization unit 321 may perform inverse quantization on the quantized transform coefficients using a quantization parameter (for example, quantization step size information), and obtain transform coefficients.
  • a quantization parameter for example, quantization step size information
  • the inverse transform unit 322 inversely transforms the transform coefficients to obtain a residual signal (residual block, residual sample array).
  • the prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information about the prediction output from the entropy decoding unit 310, and may determine a specific intra / inter prediction mode.
  • the prediction unit 320 may generate a prediction signal based on various prediction methods described below.
  • the prediction unit may apply intra prediction or inter prediction as well as intra prediction and inter prediction at the same time for prediction for one block. This can be called combined inter and intra prediction (CIIP).
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for prediction of a block.
  • the IBC prediction mode or palette mode may be used for content video / video coding such as a game, such as screen content coding (SCC).
  • SCC screen content coding
  • IBC basically performs prediction in the current picture, but may be performed similarly to inter prediction in that a reference block is derived in the current picture. That is, the IBC can use at least one of the inter prediction techniques described in this document.
  • the palette mode can be regarded as an example of intra coding or intra prediction. When the palette mode is applied, information on the palette table and palette index may be signaled by being included in the video / image information.
  • the intra prediction unit 331 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the intra prediction unit 331 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 332 may derive the predicted block for the current block based on the reference block (reference sample array) specified by the motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the inter prediction unit 332 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and / or reference picture index of the current block based on the received candidate selection information.
  • Inter prediction may be performed based on various prediction modes, and information on the prediction may include information indicating a mode of inter prediction for the current block.
  • the adder 340 reconstructs the obtained residual signal by adding it to the prediction signal (predicted block, prediction sample array) output from the prediction unit (including the inter prediction unit 332 and / or the intra prediction unit 331).
  • a signal (restored picture, reconstructed block, reconstructed sample array) can be generated. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 340 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of a next processing target block in a current picture, may be output through filtering as described below, or may be used for inter prediction of a next picture.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 350 may improve subjective / objective image quality by applying filtering to the reconstructed signal.
  • the filtering unit 350 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and the modified reconstructed picture may be a DPB of the memory 360, specifically, the memory 360 Can be transferred to.
  • the various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the (corrected) reconstructed picture stored in the DPB of the memory 360 may be used as a reference picture in the inter prediction unit 332.
  • the memory 360 may store motion information of a block from which motion information in a current picture is derived (or decoded) and / or motion information of blocks in a picture that has already been reconstructed.
  • the stored motion information may be transmitted to the inter prediction unit 260 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 360 may store reconstructed samples of blocks reconstructed in the current picture, and may transmit the reconstructed samples to the intra prediction unit 331.
  • the embodiments described in the filtering unit 260, the inter prediction unit 221, and the intra prediction unit 222 of the encoding device 100 are respectively the filtering unit 350 and the inter prediction of the decoding device 300.
  • the unit 332 and the intra prediction unit 331 may be applied to the same or corresponding.
  • the encoding target image of the VVC standard is a high-resolution image such as UHD and FHD, and hardware is becoming more and more complicated to process this.
  • VTM2.0.1 which is the VVC standard software
  • a 128x128 sized coding tree unit (CTU) is used, but the minimum CU block size is 4x4 size for luma blocks and 4x4 size for chroma blocks It is 2x2 size.
  • the worst case may represent a case in which the luma components of the UHD image are all encoded into 4x4 size luma blocks, and the chroma components are all encoded into 2x2 size chroma blocks.
  • data throughput must cover the worst case, which in turn can lead to increased hardware manufacturing costs and hardware delays.
  • a method of solving the complexity of hardware implementation by adjusting the minimum block size adaptively according to the size (ie, resolution) of an image is proposed. That is, in this document, an embodiment in which the minimum block size is adaptively adjusted according to the size of the image to adjust the data throughput in the worst case is proposed.
  • the block may represent a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the experimental results for the image of the 4x4 size luma block and the 2x2 size chroma block on the VTM2.0.1 software can be derived as shown in the following table. That is, the experiment may indicate coding of an image in which the minimum size of the luma block is 4x8 size / 8x4 size, and the minimum size of the chroma block is 2x4 size / 4x2 size.
  • the following table can show the results of experiments on images of all resolutions.
  • encoding loss of Y 0.46% in an all intra experiment, Y 0.36% in a random access experiment, and 0.29% Y in a low delay B experiment may be derived. You can. However, by limiting the 4x4 size luma block and the 2x2 size chroma block, the worst case data throughput can be reduced in half, and the encoding and decoding processing speed can be reduced.
  • experimental results for UHD and FHD images ie, high-resolution images in which 4x4 size luma blocks and 2x2 size chroma blocks are limited may be derived as shown in the following table. That is, the experiment may represent coding of UHD and FHD images (ie, high-resolution images) in which the minimum size of the luma block is 4x8 size / 8x4 size and the minimum size of the chroma block is 2x4 size / 4x2 size.
  • the present embodiment proposes a method of adaptively adjusting the minimum block size as follows.
  • the luma block is not divided into 4x4 size luma blocks, and the chroma block is not divided into 2x2 size chroma blocks.
  • the following conditions may be applied when determining whether to block QT / BT / TT of a block.
  • the QT structure, the BT structure, and the TT structure may be as described below.
  • the QT structure may indicate a structure in which a 2Nx2N sized block is divided into 4 NxN sized subblocks.
  • block A may be divided into four square sub-blocks (block A0, block A1, block A2, block A3) by the QT structure.
  • the divided block may be divided into blocks having a lower depth than recursively by the QT structure.
  • sub-block A1 may be divided into four sub-blocks (block B0, block B1, block B2, block B3) again by the QT structure.
  • the BT structure may represent a structure in which a WxH sized block is divided into two (W / 2) xH sized subblocks or two Wx (H / 2) sized subblocks.
  • the structure in which the WxH sized block is divided into two (W / 2) xH sized subblocks is a vertical BT structure, and the WxH sized block is two Wx (H / 2) sized subblocks.
  • the structure divided into can be represented as a horizontal BT structure.
  • block B3 that is no longer divided by the QT structure may be divided into sub-blocks C0 and sub-blocks C1 by vertical BT structures, or divided into sub-blocks D0 and sub-blocks D1 by horizontal BT structures. Can be.
  • each sub-block, such as block C0 may be divided through a horizontal BT structure (eg, divided into sub-blocks E0 and sub-blocks E1) or a vertical BT structure (eg, divided into sub-blocks F0 and sub-blocks F1). It can be further divided recursively.
  • a WxH sized block includes two (W / 4) xH sized subblocks and a (W / 2) xH sized subblock, or two Wx (H / 4) sized subblocks and Wx. It may indicate a structure divided into (H / 2) size sub-blocks. In this case, a sub-block having a size of (W / 2) xH or a sub-block having a size of Wx (H / 2) may be a central sub-block among the three sub-blocks.
  • the structure in which the WxH sized block is divided into two (W / 4) xH sized subblocks and (W / 2) xH sized subblock is a vertical TT structure, and the WxH sized block is two.
  • the structure divided into Wx (H / 4) size sub-blocks and Wx (H / 2) size sub-blocks may be referred to as a horizontal TT structure.
  • the block B3 that is no longer divided by the QT structure may be divided into sub-blocks C0, sub-blocks C1, and sub-blocks C2 by the vertical TT structure, or sub-blocks D0 and sub by the horizontal TT structure It can be divided into blocks D1 and sub-blocks D2.
  • each sub-block, such as block C1 has a horizontal TT structure (eg, divided into sub-block E0, sub-block E1, and sub-block E2) or a vertical TT structure (eg, sub-block F0, sub-block F1, Sub-block F2).
  • the current block may be recursively divided according to a quad-tree binary-tree ternary-tree (QTBTTT) structure.
  • QTBTTT binary-tree ternary-tree
  • the current block may be divided into a plurality of coding units having a deeper depth based on a quad tree structure, a binary tree structure, and / or a ternary structure.
  • the QTBTTT structure may also be referred to as a MTT (Multi-Type Tree) structure.
  • the current block may be divided according to the MTT structure based on the signaled partitioning information.
  • a CTU may be treated as a root of QT, and thus, the CTU may be initially partitioned into the QT structure. Thereafter, each QT leaf node (the CU that is no longer divided into the QT structure) may be further partitioned into an MTT structure.
  • a first flag eg, MTT split CU flag (mtt_split_cu_flag)
  • mtt_split_cu_flag MTT split CU flag
  • a second flag eg, MTT split CU vertical flag (mtt_split_cu_vertical_flag)
  • MTT split CU vertical flag mtt_split_cu_vertical_flag
  • a third flag eg, MTT split CU binary flag (mtt_split_cu_binary_flag)
  • MttSplitMode multi-type tree splitting mode of a corresponding CU derived based on the second flag and the third flag may be derived as shown in the following table.
  • SPLIT_TT_HOR, SPLIT_BT_HOR, SPLIT_TT_VER, and SPLIT_BT_VER may indicate a split type (or multi-type tree split mode).
  • SPLIT_TT_HOR may indicate a horizontal ternary type
  • SPLIT_BT_HOR may indicate a horizontal binary type
  • SPLIT_TT_VER may indicate a vertical ternary type
  • SPLIT_TT_VER may indicate a vertical binary type.
  • the partition type of the CU when the value of the second flag is 0 and the value of the third flag is 0, the partition type of the CU may be derived as the horizontal ternary type, and the value of the second flag When this is 0, and the value of the third flag is 1, the partition type of the CU may be derived as the horizontal binary type, the value of the second flag is 1, and the value of the third flag is 0.
  • the division type of the CU may be derived as the vertical ternary type
  • the division type of the CU when the value of the second flag is 1 and the value of the third flag is 1, the division type of the CU is the It can be derived as a vertical binary type.
  • the horizontal ternary type is divided into two Wx (H / 4) size subblocks and a Wx (H / 2) size subblock, and the Wx (H / 2) size subblocks
  • the central sub-block type can be indicated.
  • the vertical ternary type is divided into two (W / 4) xH size sub-blocks and (W / 2) xH size sub-blocks, wherein the (W / 2) xH size A sub-block may indicate a type that is a central sub-block.
  • the horizontal binary type may indicate a type divided into two Wx (H / 2) size sub-blocks
  • the vertical binary type may include two (W / 2) xH size sub-blocks. It may indicate a type divided into blocks.
  • FIG. 9 exemplarily shows an embodiment of prohibiting division into a 4x4 size luma block and a 2x2 size chroma block when the size of the input image is FHD or more.
  • the encoding device / decoding device may determine whether the number of samples (or the number of pixels) of the current image is 1920x1080 or more (S900).
  • the encoding device / decoding device may determine whether the number of samples of a block generated by dividing the current block into a QT structure, a BT structure, or a TT structure is greater than a specific number (S910).
  • the encoding device / decoding device may determine whether the number of samples of the divided and generated block is greater than 16, and when the current block is the current chroma block, the encoding device / decoding device may include the It can be determined whether the number of samples of the divided and generated blocks is greater than 4.
  • the specific number may also be referred to as a threshold value.
  • the encoding device / decoding device may check the existing QT / BT.TT segmentation condition for the current block and perform segmentation for the current block ( S920).
  • the encoding device / decoding device may not perform division on the current block (S930).
  • the encoding device / decoding device checks the existing QT / BT.TT splitting condition for the current block without determining the step S910 and performs the splitting for the current block. It can be done (S920).
  • the minimum block size is adaptively determined by dividing the image size (ie, resolution) may be proposed.
  • the above embodiment is as follows.
  • the following conditions may be applied when determining whether the block is QT / BT / TT divided.
  • the block is 2x2 size, 2x4 size, or 4x2 size after division of QT, horizontal BT, vertical BT, horizontal TT or vertical TT in the current chroma block, the division is prohibited.
  • the worst case data throughput during encoding / decoding of UHD video can be reduced to 1/4, and at the same time, encoding loss can be minimized.
  • FIG. 10 exemplarily shows an embodiment of adjusting a minimum block size based on the size of an input image.
  • the encoding device / decoding device may determine whether the number of samples (or the number of pixels) of the current image is 1920x1080 or more (S1000).
  • the encoding / decoding device may determine whether the number of samples (or the number of pixels) of the current image is 3840x2160 or more (S1010).
  • the encoding device / decoding device may set a threshold value for the current block (S1020).
  • the threshold for the current luma block may be set to 32, and the threshold for the current chroma block may be set to 8.
  • the encoding device / decoding device may set a threshold value for the current block (S1030). In this case, the threshold for the current luma block may be set to 16, and the threshold for the current chroma block may be set to 4.
  • the encoding device / decoding device may determine whether the number of samples of the block generated by dividing the current block into a QT structure, a BT structure, or a TT structure is greater than the set threshold (S1040).
  • the encoding device / decoding device may perform the segmentation of the current block by checking the existing QT / BT.TT segmentation condition for the current block ( S1050).
  • the encoding device / decoding device may not perform segmentation on the current block (S1060).
  • the encoding device / decoding device checks the existing QT / BT.TT segmentation condition for the current block without determining the steps S1010 to S1040 to divide the current block. It may be performed (S1050).
  • the following conditions may be applied when determining whether a block is divided into QT / BT / TT.
  • 11 exemplarily shows an embodiment of adjusting the minimum block size.
  • the encoding device / decoding device may determine whether the number of samples of a block generated by dividing a current block into a QT structure, a BT structure, or a TT structure is greater than a threshold (S1100).
  • the encoding device / decoding device may determine whether the number of samples of the divided and generated block is greater than 16, and when the current block is the current chroma block, the encoding device / decoding device may include the It can be determined whether the number of samples of the divided and generated blocks is greater than 4. That is, the threshold for the current luma block may be set to 16, and the threshold for the current chroma block may be set to 4.
  • the encoding device / decoding device may determine whether the number of samples of the current block is 32 or less, and when the current block is the current chroma block, the encoding device / decoding device may include the It can be determined whether the number of samples of the current block is 8 or less. That is, the threshold for the current luma block may be set to 32, and the threshold for the current chroma block may be set to 8.
  • the current block is divided, if it is divided according to the BT structure, it is divided into sub-blocks that include half the number of samples of the current block. It can be determined by comparing the value of the benefactor with the current block.
  • the current block is divided or divided according to the QT structure or the TT structure, the current block is divided into sub-blocks including 1/4 of the number of samples of the current block. A value that is four times the threshold of the number of samples can be determined by comparing with the current block.
  • the encoding device / decoding device sets the existing QT / BT.TT split condition for the current block. By checking, partitioning may be performed on the current block (S1110).
  • the encoding device / decoding device may not perform the division of the current block. Yes (S1120).
  • the following conditions may be applied when determining whether a block is divided into QT / BT / TT.
  • the encoding device / decoding device may determine whether the number of samples of a block generated by dividing the current chroma block into a QT structure, a BT structure, or a TT structure is greater than a threshold (eg, 4).
  • a threshold eg, 4
  • the threshold value for the current chroma block may be set to 4.
  • the encoding device / decoding device can perform the segmentation for the current chroma block by checking the existing QT / BT.TT segmentation condition for the current chroma block. have.
  • the encoding device / decoding device may not perform division on the current chroma block.
  • Another embodiment may be proposed to solve the complexity and high cost of hardware implementation by adjusting the minimum block size. That is, another embodiment of adjusting the data throughput in the worst case by adaptively adjusting the minimum block size may be proposed.
  • this embodiment has a minimum block size in HLS (high level syntax) such as a sequence parameter set (SPS), picture parameter set (PPS), or slice header.
  • SPS sequence parameter set
  • PPS picture parameter set
  • slice header a minimum block size in HLS (high level syntax)
  • SPS sequence parameter set
  • PPS picture parameter set
  • slice header a method for transmitting information. That is, according to the present embodiment, the minimum block size information indicating the minimum block size may be signaled by the SPS, PPS, or slice header, and block partitioning based on the minimum block size derived based on the minimum block size information This can be done.
  • the minimum block size information in the SPS may be represented as the following table. That is, the minimum block size information signaled by the SPS may be as shown in the following table.
  • the minimum block size information may include minimum luma block size information and / or minimum chroma block size information.
  • the minimum luma block size information may indicate a minimum luma block size
  • the minimum chroma block size information may indicate a minimum chroma block size.
  • the SPS may include log2_min_cu_pixel_num_luma_minus4 and log2_min_cu_pixel_num_chroma_minus2.
  • the log2_min_cu_pixel_num_luma_minus4 may indicate a syntax element of the minimum luma block size information
  • the log2_min_cu_pixel_num_chroma_minus2 may represent a syntax element of the minimum chroma block size information.
  • the decoding apparatus may perform a minimum block size limitation based on the log2_min_cu_pixel_num_luma_minus4 and the log2_min_cu_pixel_num_chroma_minus2.
  • the minimum number of samples of the luma block represented by log2_min_cu_pixel_num_luma_minus4 may be 16 (for example, 4x4 size) _min__min_ The minimum number of samples may be 4 (eg, 2x2 size). Therefore, the minimum block size limitation may not be performed.
  • the decoding apparatus may perform a 4x4 size luma block and a 2x2 size chroma block size limitation. That is, the decoding apparatus may limit division into a 4x4 size luma block and a 2x2 size chroma block.
  • the decoding apparatus may not perform the minimum luma block size limitation. Also, the decoding apparatus may perform chroma block size limitation of 2x2, 2x4, and 4x2 sizes. That is, the decoding apparatus may limit the division into 2x2, 2x4, and 4x2 chroma blocks.
  • the encoding device / decoding device may determine whether the current block is a luma block (S1200). That is, the encoding device / decoding device may determine whether the current block is the current luma block or the current chroma block.
  • the encoding device / decoding device may set a threshold value for the current luma block based on log2_min_cu_pixel_num_luma_minus4 (S1210). For example, the threshold for the current luma block may be set to 16 ⁇ log2_min_cu_pixel_num_luma_minus4.
  • the encoding device / decoding device may set a threshold value for the current chroma block based on log2_min_cu_pixel_num_chroma_minus2 (S1220). For example, the threshold for the current chroma block may be set to 4 ⁇ log2_min_cu_pixel_num_chroma_minus2.
  • the encoding device / decoding device may determine whether the number of samples of the block generated by dividing the current block into a QT structure, a BT structure, or a TT structure is greater than the set threshold (S1230).
  • the encoding device / decoding device may perform the segmentation of the current block by checking the existing QT / BT.TT segmentation condition for the current block ( S1240).
  • the encoding device / decoding device may not perform division on the current block (S1250).
  • the encoding apparatus may set and encode the values of log2_min_cu_pixel_num_luma_minus4 and log2_min_cu_pixel_num_chroma_minus2, and transmit the information through SPS.
  • the encoding device may perform encoding after performing the minimum block size limitation based on the set log2_min_cu_pixel_num_luma_minus4 and log2_min_cu_pixel_num_chroma_minus2.
  • log2_min_cu_pixel_num_luma_minus4 and log2_min_cu_pixel_num_chroma_minus2 may be set according to the image size as in the previous embodiment, or encoding may be performed by directly setting values during encoding.
  • FIG. 13 schematically shows a video encoding method by an encoding device according to the present document.
  • the method disclosed in FIG. 13 may be performed by the encoding device disclosed in FIG. 2.
  • S1300 to S1320 of FIG. 13 may be performed by the image segmentation unit of the encoding device
  • S1330 may be performed by the entropy encoding unit of the encoding device.
  • the process of deriving the residual sample for the current block (or subblock of the current block) based on the original sample and the prediction sample for the current block (or subblock of the current block) It can be performed by the subtraction unit of the encoding device, and based on the residual sample and the prediction sample for the current block (or a subblock of the current block), the reconstructed sample for the current block (or a subblock of the current block)
  • the process of deriving may be performed by an adder of the encoding device, and the process of generating information about residual for the current block (or a sub-block of the current block) based on the residual sample may be performed by the encoding device.
  • the encoding of the residual information may be performed by a conversion unit of the entropy of the encoding device. It can be performed by the encoding unit.
  • the encoding device determines a split type for the current block (S1300).
  • the encoding apparatus may divide the input image (or picture, frame) into one or more processing units.
  • the current block is recursively according to a QTBTTT (Quad-tree binary-tree ternary-tree) structure from a coding tree unit (CTU) or a largest coding unit (LCU).
  • CTU coding tree unit
  • LCU largest coding unit
  • the current block is a QT (Qaud-Tree) type, a horizontal binary type, a horizontal ternary type, a vertical binary type, and / or a vertical ternary. It may be divided into a plurality of sub-blocks based on the type.
  • the encoding device divides the current block into the QT (Qaud-Tree) type, the horizontal binary (horizontal binary) type, the horizontal ternary (horizontal ternary) type, the vertical binary (vertical binaary) type and the vertical turner It can be determined as one of the vertical ternary types.
  • the encoding device determines whether to split the current block based on the size of the current block (S1310).
  • the encoding device may determine whether to split the current block based on the size of the current block.
  • the size of the current block may indicate the number of samples of the current block.
  • the size of the current block may indicate the width or height of the current block.
  • the split type of the current block is a vertical binary type or a vertical ternary type
  • the size of the current block may be the width of the current block
  • the split type of the current block is a horizontal binary type or a horizontal ternary
  • the size of the current block may be the height of the current block.
  • the current block when the current block is a chroma block and the size of the current block is less than or equal to a minimum chroma block size, it may be determined that the current block is not split. Also, when the current block is a chroma block and the size of the current block is larger than the minimum chroma block size, it may be determined that the current block is divided.
  • the current block when the current block is the chroma block, it may be determined that the current block is not split when the size of a sub-block derived from the current block is 2x2.
  • the current block when the current block is a luma block and the size of the current block is equal to or less than a minimum luma block size, it may be determined that the current block is not split. In addition, when the current block is a luma block and the size of the current block is larger than the minimum luma block size, it may be determined that the current block is divided.
  • the current block when the current block is the luma block, it may be determined that the current block is not split when the size of a sub-block derived from the current block is 4x4.
  • the minimum chroma block size may be derived as follows.
  • the minimum chroma block size may be derived as a preset value.
  • the minimum chroma block size may be 8, 16 or 32.
  • the minimum chroma block size may be derived based on information indicating the minimum chroma block size.
  • the encoding device may determine the minimum chroma block size, generate and encode information indicating the minimum chroma block size, and the minimum chroma block size may be based on the information indicating the minimum chroma block size.
  • the minimum chroma block size may be derived as 8, 16 or 32 based on information indicating the minimum chroma block size.
  • the minimum luma block size can be derived as follows.
  • the minimum luma block size may be derived as a preset value.
  • the minimum luma block size may be 16, 32 or 64.
  • the minimum luma block size may be derived based on information indicating the minimum luma block size.
  • the encoding device may determine the minimum luma block size, generate and encode information representing the minimum luma block size, and the minimum luma block size may be based on the information representing the minimum chroma block size.
  • the minimum luma block size may be derived as 16, 32 or 64 based on information indicating the minimum luma block size.
  • the encoding device does not split the current block, and if it is determined that the current block is split, the current block is divided into sub-blocks based on the division type. (S1320).
  • the encoding device may divide the current block into the sub-blocks according to the division type.
  • the division type is the QT (Qaud-Tree) type, the horizontal binary type, the horizontal ternary type, the vertical binaary type, and the vertical ternary type It can be one of.
  • the QT type may indicate a type divided into four (W / 2) x (H / 2) size sub-blocks.
  • W may indicate the width of the current block
  • H may be the height of the current block.
  • the horizontal ternary type is divided into two Wx (H / 4) -sized sub-blocks and a Wx (H / 2) -sized sub-block, wherein the Wx (H / 2) -sized sub-block is a central sub Block-in type.
  • the vertical ternary type is divided into two (W / 4) xH size subblocks and (W / 2) xH size subblocks, wherein the (W / 2) xH size subblock is a central sub Block-in type.
  • the horizontal binary type may indicate a type divided into two Wx (H / 2) size sub-blocks
  • the vertical binary type may be divided into two (W / 2) xH size sub-blocks. Can indicate the type.
  • the encoding device may decode the sub-blocks.
  • the encoding apparatus may perform prediction on sub-blocks, generate predicted blocks including prediction samples for the sub-blocks, and the sub-blocks It can generate and encode prediction-related information for.
  • the image information may include the prediction-related information.
  • the encoding apparatus may determine whether intra prediction or inter prediction is applied to each of the sub-blocks, and may determine a specific intra / inter prediction mode for each sub-block. Next, the encoding apparatus may generate prediction samples based on the various prediction methods described above.
  • the encoding apparatus may derive residual samples for the sub-blocks based on original samples and prediction samples for the sub-blocks, and based on the residual samples As a result, information on the residual for the sub-blocks may be generated, and information on the residual may be encoded.
  • the image information may include information about the residual.
  • the encoding apparatus may generate reconstruction samples for the sub-blocks based on the prediction samples and the residual samples for the sub-blocks.
  • the encoding device may decode the current block.
  • the encoding device may perform prediction on the current block, generate a predicted block including a prediction sample for the current block, and predict the current block Generate and encode relevant information.
  • the image information may include the prediction-related information.
  • the encoding apparatus may determine whether intra prediction is applied to the current block or inter prediction, and may determine a specific intra / inter prediction mode for the current block.
  • the encoding device may generate a prediction sample based on the various prediction methods described above.
  • the encoding device may derive a residual sample for the current block based on the original sample and the prediction sample for the current block, and the current sample may be derived based on the residual sample.
  • Information regarding the residual for the block may be generated, and information regarding the residual may be encoded.
  • the image information may include information about the residual.
  • the encoding device may generate a reconstructed sample for the current block based on the predicted sample and the residual sample for the current block.
  • the encoding device encodes video information including partitioning information indicating a partition type for the current block (S1330).
  • the encoding device may encode video information including partitioning information indicating a partition type for the current block, and signal through a bitstream.
  • the partitioning information may include a first flag indicating whether the current block is divided into QT (Quad-Tree) type or divided.
  • the QT type may indicate a division type in which the current block is divided into four (W / 2) x (H / 2) size sub-blocks.
  • the W may indicate the width of the current block
  • the H may indicate the height of the current block.
  • the partitioning information may include a second flag and a third flag.
  • the second flag may indicate a dividing direction of the current block
  • the third flag may indicate whether the dividing type of the current block is a BT (Binary-Tree) type or a TT (Ternary-Tree) type.
  • the syntax element representing the first flag may be split_qt_flag
  • the syntax element representing the second flag may be mtt_split_cu_vertical_flag
  • the syntax element representing the third flag may be mtt_split_cu_binary_flag.
  • the image information may include information indicating a minimum luma block size.
  • Information indicating the minimum luma block size may be signaled in units of a coding unit (CU), slice header, picture parameter set (PSP), or sequence parameter set (SPS). That is, information indicating the minimum luma block size may be signaled by a coding unit (CU), a slice header, a picture parameter set (PSP), or a sequence parameter set (SPS).
  • the image information may include information indicating a minimum chroma block size. Information indicating the minimum chroma block size may be signaled in units of a coding unit (CU), slice header, picture parameter set (PPS), or sequence parameter set (SPS).
  • the information indicating the minimum luma block size may be signaled by a coding unit (CU), a slice header, a picture parameter set (PSP), or a sequence parameter set (SPS).
  • the syntax element representing information indicating the minimum luma block size may be log2_min_cu_pixel_num_luma_minus4, and the syntax element representing information indicating the minimum chroma block size may be log2_min_cu_pixel_num_chroma_minus2.
  • the image information may include prediction-related information for the current block or the sub-blocks.
  • the prediction-related information may indicate information about inter prediction or intra prediction applied to the current block or the sub-blocks.
  • the image information may include information about residual for the current block or the sub-blocks.
  • the bitstream may be transmitted to a decoding device through a network or (digital) storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • FIG. 14 schematically shows an encoding apparatus that performs a video encoding method according to the present document.
  • the method disclosed in FIG. 13 may be performed by the encoding device disclosed in FIG. 14.
  • the image segmentation unit of the encoding device of FIG. 14 may perform S1300 to S1320 of FIG. 13, and the entropy encoding unit of the encoding device of FIG. 14 may perform S1330 of FIG. 13.
  • the process of deriving the residual sample for the current block (or subblock of the current block) based on the original sample and the prediction sample for the current block (or subblock of the current block) is also illustrated.
  • the process of deriving the reconstructed sample may be performed by the adder of the encoding apparatus of FIG. 14, and generate information about residual for the current block (or subblock of the current block) based on the residual sample.
  • 14 may be performed by the conversion unit of the encoding apparatus of FIG. 14, and the process of encoding information regarding the residual may be performed by FIG. 14. It may be performed by the entropy encoding section of the encoding apparatus.
  • FIG. 15 schematically shows an image decoding method by a decoding apparatus according to the present document.
  • the method disclosed in FIG. 15 may be performed by the decoding apparatus disclosed in FIG. 3.
  • S1500 of FIG. 15 may be performed by the entropy decoding unit of the decoding apparatus
  • S1510 to S1520 may be performed by the image splitter, prediction unit, and adder of the decoding apparatus.
  • the process of obtaining information about the residual of the current block through the bitstream may be performed by the entropy decoding unit of the decoding apparatus, and based on the residual information, for the current block
  • the process of deriving the residual sample may be performed by an inverse transform unit of the decoding apparatus.
  • the decoding apparatus acquires image information including partitioning information (S1500).
  • the decoding apparatus may acquire the image information including the partitioning information through a bitstream.
  • the partitioning information may include a first flag indicating whether the current block is divided into QT (Quad-Tree) type or divided.
  • the QT type may indicate a division type in which the current block is divided into four (W / 2) x (H / 2) size sub-blocks.
  • the W may indicate the width of the current block
  • the H may indicate the height of the current block.
  • the partitioning information may include a second flag and a third flag.
  • the second flag may indicate a dividing direction of the current block
  • the third flag may indicate whether the dividing type of the current block is a BT (Binary-Tree) type or a TT (Ternary-Tree) type.
  • the syntax element representing the first flag may be split_qt_flag
  • the syntax element representing the second flag may be mtt_split_cu_vertical_flag
  • the syntax element representing the third flag may be mtt_split_cu_binary_flag.
  • the image information may include information indicating a minimum luma block size.
  • Information indicating the minimum luma block size may be signaled in units of a coding unit (CU), slice header, picture parameter set (PSP), or sequence parameter set (SPS). That is, information indicating the minimum luma block size may be signaled by a coding unit (CU), a slice header, a picture parameter set (PSP), or a sequence parameter set (SPS).
  • the image information may include information indicating a minimum chroma block size. Information indicating the minimum chroma block size may be signaled in units of a coding unit (CU), slice header, picture parameter set (PPS), or sequence parameter set (SPS).
  • the information indicating the minimum luma block size may be signaled by a coding unit (CU), a slice header, a picture parameter set (PSP), or a sequence parameter set (SPS).
  • the syntax element representing information indicating the minimum luma block size may be log2_min_cu_pixel_num_luma_minus4, and the syntax element representing information indicating the minimum chroma block size may be log2_min_cu_pixel_num_chroma_minus2.
  • the image information may include prediction-related information in the current block or sub-blocks.
  • the prediction-related information may indicate information about inter prediction or intra prediction applied to the current block or the sub-blocks.
  • the decoding apparatus determines whether to split the current block based on the size of the current block (S1510).
  • the decoding apparatus may determine whether to split the current block based on the size of the current block.
  • the size of the current block may indicate the number of samples of the current block.
  • the size of the current block may indicate the width or height of the current block.
  • the split type of the current block is a vertical binary type or a vertical ternary type
  • the size of the current block may be the width of the current block
  • the split type of the current block is a horizontal binary type or a horizontal ternary
  • the size of the current block may be the height of the current block.
  • the current block when the current block is a chroma block and the size of the current block is less than or equal to a minimum chroma block size, it may be determined that the current block is not split. Also, when the current block is a chroma block and the size of the current block is larger than the minimum chroma block size, it may be determined that the current block is divided.
  • the current block when the current block is the chroma block, it may be determined that the current block is not split when the size of a sub-block derived from the current block is 2x2.
  • the current block when the current block is a luma block and the size of the current block is equal to or less than a minimum luma block size, it may be determined that the current block is not split. In addition, when the current block is a luma block and the size of the current block is larger than the minimum luma block size, it may be determined that the current block is divided.
  • the current block when the current block is the luma block, it may be determined that the current block is not split when the size of a sub-block derived from the current block is 4x4.
  • the minimum chroma block size may be derived as follows.
  • the minimum chroma block size may be derived as a preset value.
  • the minimum chroma block size may be 8, 16 or 32.
  • the minimum chroma block size may be derived based on information indicating the minimum chroma block size.
  • the minimum chroma block size may be derived as 8, 16 or 32 based on information indicating the minimum chroma block size.
  • the minimum luma block size can be derived as follows.
  • the minimum luma block size may be derived as a preset value.
  • the minimum luma block size may be 16, 32 or 64.
  • the minimum luma block size may be derived based on information indicating the minimum luma block size.
  • the minimum luma block size may be derived as 16, 32 or 64 based on information indicating the minimum luma block size.
  • the decoding apparatus decodes the current block or decodes subblocks of the current block based on whether the determined current block is divided (S1520).
  • the decoding apparatus may divide the current block into sub-blocks based on the partitioning information, and decode the sub-blocks.
  • the decoding apparatus may derive a division type for the current block based on the partitioning information, and the sub-blocks according to the division type Can be divided into
  • the partitioning information may include the first flag.
  • the decoding apparatus may divide the current block into the sub-blocks according to the QT type.
  • the QT type may indicate a type divided into four (W / 2) x (H / 2) size sub-blocks.
  • W may indicate the width of the current block
  • H may be the height of the current block.
  • the decoding apparatus sub-blocks the current block through the division type of the current block derived based on the second flag and the third flag.
  • the division type derived based on the first flag and the third flag includes a horizontal ternary type, a horizontal binary type, a vertical ternary type, and a vertical binary type. It can be one of the types.
  • the division type when the value of the second flag is 0 and the value of the third flag is 0, the division type may be derived as a horizontal ternary type, and the value of the second flag is When the value of the third flag is 0 and the third flag is 1, the division type may be derived as a horizontal binary type, the value of the second flag is 1, and the value of the third flag is 0. In the case, the division type may be derived as a vertical ternary type, and when the value of the second flag is 1 and the value of the third flag is 1, the division type is a vertical binary. ) Type.
  • the horizontal ternary type is divided into two Wx (H / 4) -sized sub-blocks and a Wx (H / 2) -sized sub-block, wherein the Wx (H / 2) -sized sub-block is a central sub-block. Can indicate the type.
  • the vertical ternary type is divided into two (W / 4) xH size subblocks and (W / 2) xH size subblocks, wherein the (W / 2) xH size subblock is a central sub Block-in type.
  • the horizontal binary type may indicate a type divided into two Wx (H / 2) size sub-blocks, and the vertical binary type may be divided into two (W / 2) xH size sub-blocks. Can indicate the type.
  • the decoding device may decode the sub-blocks.
  • the decoding apparatus may perform prediction on sub-blocks and generate predicted blocks including prediction samples for the sub-blocks.
  • the decoding apparatus may determine whether intra prediction or inter prediction is applied to each of the sub-blocks based on the prediction-related information, and may determine a specific intra / inter prediction mode for each sub-block.
  • the decoding apparatus may generate prediction samples based on the various prediction methods described above.
  • the decoding apparatus may generate reconstructed samples based on the predicted samples.
  • the decoding apparatus may receive information about residual for the sub-blocks from the bitstream.
  • the information regarding the residual may include a transform coefficient for the residual sample.
  • the decoding apparatus may derive the residual samples (or residual sample arrays) for the sub-blocks based on the information about the residual.
  • the decoding apparatus may generate the reconstructed samples based on the prediction samples and the residual samples.
  • the decoding apparatus may derive a reconstructed block or reconstructed picture based on the reconstructed sample.
  • the decoding apparatus can apply the in-block filtering procedure such as deblocking filtering and / or SAO procedure to the reconstructed picture in order to improve subjective / objective image quality, if necessary.
  • the decoding device may decode the current block without splitting the current block.
  • the decoding apparatus may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the decoding apparatus may determine whether intra prediction is applied or inter prediction is applied to the current block based on the prediction-related information, and may determine a specific intra / inter prediction mode for the current block.
  • the decoding apparatus may generate prediction samples based on the various prediction methods described above.
  • the decoding device may generate a reconstructed sample based on the predicted sample.
  • the decoding apparatus may receive information on the residual for the current block from the bitstream.
  • the information regarding the residual may include a transform coefficient for the residual sample.
  • the decoding apparatus may derive the residual sample (or residual sample array) for the current block based on the information about the residual.
  • the decoding apparatus may generate the reconstructed sample based on the predicted sample and the residual sample.
  • the decoding apparatus may derive a reconstructed block or reconstructed picture based on the reconstructed sample.
  • the decoding apparatus can apply the in-block filtering procedure such as deblocking filtering and / or SAO procedure to the reconstructed picture in order to improve subjective / objective image quality, if necessary.
  • FIG. 16 schematically shows a decoding apparatus performing an image decoding method according to the present document.
  • the method disclosed in FIG. 15 may be performed by the decoding apparatus disclosed in FIG. 16.
  • the entropy decoding unit of the decoding apparatus of FIG. 16 may perform S1500 of FIG. 15, and the image segmentation unit, prediction unit, and adder of the decoding apparatus of FIG. 16 perform S1510 to S1520 of FIG. 15. can do.
  • the process of obtaining image information including information on the residual of the current block through the bitstream may be performed by the entropy decoding unit of the decoding apparatus of FIG. 16, and the residual
  • the process of deriving the residual samples for the current block based on the information on the current block may be performed by the inverse transform unit of the decoding apparatus of FIG. 16.
  • image coding can be effectively performed to increase image coding efficiency.
  • the embodiments described in this document may be implemented and implemented on a processor, microprocessor, controller, or chip.
  • the functional units illustrated in each drawing may be implemented and implemented on a computer, processor, microprocessor, controller, or chip.
  • information for implementation (ex. Information on instructions) or an algorithm may be stored in a digital storage medium.
  • the decoding device and the encoding device to which the embodiments of the present document are applied include a multimedia broadcast transmission / reception device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video communication device, and a real-time communication device such as video communication.
  • Mobile Streaming Device, Storage Media, Camcorder, Video On Demand (VoD) Service Provider, OTT Video (Over the top video) Device, Internet Streaming Service Provider, 3D (3D) Video Device, Video Phone Video Device, Transportation It may be included in a terminal (ex. Vehicle terminal, airplane terminal, ship terminal, etc.) and a medical video device, and may be used to process a video signal or a data signal.
  • the OTT video (Over the top video) device may include a game console, a Blu-ray player, an Internet-connected TV, a home theater system, a smartphone, a tablet PC, and a digital video recorder (DVR).
  • DVR digital video recorder
  • the processing method to which the embodiments of the present document is applied may be produced in the form of a program executed by a computer, and may be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to this document can also be stored on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical. It may include a data storage device.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission via the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • embodiments of the present document may be implemented as a computer program product using program codes, and the program codes may be executed on a computer by embodiments of the present document.
  • the program code can be stored on a computer readable carrier.
  • FIG. 17 exemplarily shows a structure diagram of a content streaming system to which embodiments of the present document are applied.
  • the content streaming system to which the embodiments of the present document are applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server serves to compress a content input from multimedia input devices such as a smartphone, a camera, and a camcorder into digital data to generate a bitstream and transmit it to the streaming server.
  • multimedia input devices such as a smart phone, a camera, and a camcorder directly generate a bitstream
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which embodiments of the present document are applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request through a web server, and the web server serves as an intermediary to inform the user of the service.
  • the web server delivers it to the streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server, in which case the control server serves to control commands / responses between devices in the content streaming system.
  • the streaming server may receive content from a media storage and / or encoding server. For example, when content is received from the encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a predetermined time.
  • Examples of the user device include a mobile phone, a smart phone, a laptop computer, a terminal for digital broadcasting, a personal digital assistants (PDA), a portable multimedia player (PMP), navigation, a slate PC, Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, head mounted display (HMD)), digital TV, desktop Computers, digital signage, and the like.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • slate PC slate PC
  • Tablet PC tablet
  • ultrabook ultrabook
  • wearable device e.g., smartwatch, smart glass, head mounted display (HMD)
  • digital TV desktop Computers, digital signage, and the like.
  • Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 문서에 따른 디코딩 장치에 의하여 수행되는 영상 디코딩 방법은 현재 블록에 대한 파티셔닝 정보를 포함하는 영상 정보를 획득하는 단계, 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하는 단계, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩하는 단계, 및 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 디코딩하는 단계를 포함하되, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 한다.

Description

영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치
본 문서는 영상 코딩 기술에 관한 것으로서 보다 상세하게는 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 요구된다.
본 문서의 기술적 과제는 영상 코딩 효율을 높이는 방법 및 장치를 제공함에 있다.
본 문서의 다른 기술적 과제는 인트라 예측의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 문서의 또 다른 기술적 과제는 CCLM(Cross Component Linear Model)을 기반으로 하는 인트라 예측의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 문서의 또 다른 기술적 과제는 CCLM 예측의 효율적인 부호화 및 복호화 방법, 그리고 상기 부호화 및 복호화 방법을 수행하기 위한 장치를 제공함에 있다.
본 문서의 또 다른 기술적 과제는 CCLM을 위한 선형 모델 파라미터(linear model parameter)를 도출하기 위한 주변 샘플을 선택하는 방법 및 장치를 제공함에 있다.
본 문서의 일 실시예에 따르면, 디코딩 장치에 의하여 수행되는 영상 디코딩 방법이 제공된다. 상기 방법은 현재 블록에 대한 파티셔닝 정보를 포함하는 영상 정보를 획득하는 단계, 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하는 단계, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩하는 단계, 및 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 디코딩하는 단계를 포함하되, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 한다.
본 문서의 다른 일 실시예에 따르면, 영상 디코딩을 수행하는 디코딩 장치가 제공된다. 상기 디코딩 장치는 현재 블록에 대한 파티셔닝 정보를 포함하는 영상 정보를 획득하는 엔트로피 디코딩부, 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하고, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩하고, 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 디코딩하는 예측부를 포함하되, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 한다.
본 문서의 또 다른 일 실시예에 따르면, 인코딩 장치에 의하여 수행되는 비디오 인코딩 방법을 제공한다. 상기 방법은 현재 블록에 대한 분할 타입을 결정하는 단계, 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하는 단계, 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 분할 타입을 기반으로 상기 현재 블록을 서브 블록들로 분할하는 단계, 및 상기 현재 블록에 대한 분할 타입을 나타내는 파티셔닝 정보를 포함한 영상 정보를 인코딩하는 단계를 포함하되, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 한다.
본 문서의 또 다른 일 실시예에 따르면, 비디오 인코딩 장치를 제공한다. 상기 인코딩 장치는 현재 블록에 대한 분할 타입을 결정하고, 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하고, 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 분할 타입을 기반으로 상기 현재 블록을 서브 블록들로 분할하는 영상 분할부 및 상기 현재 블록에 대한 분할 타입을 나타내는 파티셔닝 정보를 포함한 영상 정보를 인코딩하는 엔트로피 인코딩부를 포함하되, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 한다.
본 문서에 따르면 전반적인 영상/비디오 압축 효율을 높일 수 있다.
본 문서에 따르면 영상 분할을 효과적으로 수행하여 영상 코딩 효율을 높일 수 있다.
본 문서에 따르면 특정 사이즈 이하의 루마 블록 및/또는 크로마 블록으로 분할됨을 제한함으로써 워스트 케이스 데이터 처리량(worst case data throughput)을 줄일 수 있고, 이를 통하여 인코딩 및 디코딩 처리 속도를 효율적으로 단축시킬 수 있다.
도 1은 본 문서의 실시예들이 적용될 수 있는 비디오/영상 코딩 시스템의 예를 개략적으로 나타낸다.
도 2는 본 문서의 실시예들이 적용될 수 있는 비디오/영상 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 본 문서의 실시예들이 적용될 수 있는 비디오/영상 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 4는 상기 QT 구조를 통하여 블록을 분할하는 일 예를 나타낸다.
도 5는 상기 BT 구조를 통하여 블록을 분할하는 일 예를 나타낸다.
도 6은 상기 TT 구조를 통하여 블록을 분할하는 일 예를 나타낸다.
도 7은 파티셔닝 정보의 시그널링 메커니즘을 예시적으로 나타낸다.
도 8은 MTT 구조에서의 분할 타입을 예시적으로 나타낸다.
도 9는 입력 영상의 크기가 FHD 이상인 경우에 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록으로 분할을 금지하는 실시예를 예시적으로 나타낸다.
도 10은 입력 영상의 크기를 기반으로 최소 블록 사이즈를 조절하는 실시예를 예시적으로 나타낸다.
도 11은 최소 블록 사이즈를 조절하는 실시예를 예시적으로 나타낸다.
도 12는 시그널링된 최소 블록 사이즈 정보를 기반으로 최소 블록 사이즈를 결정하는 실시예를 예시적으로 나타낸다.
도 13은 본 문서에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다.
도 14는 본 문서에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다.
도 15는 본 문서에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다.
도 16은 본 문서에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다.
도 17은 본 문서의 실시예들이 적용되는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 문서는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 문서의 실시예들을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 문서의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 문서에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 문서의 본질에서 벗어나지 않는 한 본 문서의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 문서의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략될 수 있다.
도 1은 본 문서의 실시예들이 적용될 수 있는 비디오/영상 코딩 시스템의 예를 개략적으로 나타낸다.
도 1을 참조하면, 비디오/영상 코딩 시스템은 제1 장치(소스 디바이스) 및 제2 장치(수신 디바이스)를 포함할 수 있다. 소스 디바이스는 인코딩된 비디오(video)/영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스로 전달할 수 있다.
상기 소스 디바이스는 비디오 소스, 인코딩 장치, 전송부를 포함할 수 있다. 상기 수신 디바이스는 수신부, 디코딩 장치 및 렌더러를 포함할 수 있다. 상기 인코딩 장치는 비디오/영상 인코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기는 인코딩 장치에 포함될 수 있다. 수신기는 디코딩 장치에 포함될 수 있다. 렌더러는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부는 상기 비트스트림을 수신/추출하여 디코딩 장치로 전달할 수 있다.
디코딩 장치는 인코딩 장치의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
이 문서는 비디오/영상 코딩에 관한 것이다. 예를 들어 이 문서에서 개시된 방법/실시예는 VVC (versatile video coding) 표준, EVC (essential video coding) 표준, AV1 (AOMedia Video 1) 표준, AVS2 (2nd generation of audio video coding standard) 또는 차세대 비디오/영상 코딩 표준(ex. H.267 or H.268 등)에 개시되는 방법에 적용될 수 있다.
이 문서에서는 비디오/영상 코딩에 관한 다양한 실시예들을 제시하며, 다른 언급이 없는 한 상기 실시예들은 서로 조합되어 수행될 수도 있다.
이 문서에서 비디오(video)는 시간의 흐름에 따른 일련의 영상(image)들의 집합을 의미할 수 있다. 픽처(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)/타일(tile)는 코딩에 있어서 픽처의 일부를 구성하는 단위이다. 슬라이스/타일은 하나 이상의 CTU(coding tree unit)을 포함할 수 있다. 하나의 픽처는 하나 이상의 슬라이스/타일로 구성될 수 있다. 하나의 픽처는 하나 이상의 타일 그룹으로 구성될 수 있다. 하나의 타일 그룹은 하나 이상의 타일들을 포함할 수 있다. 브릭은 픽처 내 타일 이내의 CTU 행들의 사각 영역을 나타낼 수 있다(a brick may represent a rectangular region of CTU rows within a tile in a picture). 타일은 다수의 브릭들로 파티셔닝될 수 있고, 각 브릭은 상기 타일 내 하나 이상의 CTU 행들로 구성될 수 있다(A tile may be partitioned into multiple bricks, each of which consisting of one or more CTU rows within the tile). 다수의 브릭들로 파티셔닝되지 않은 타일은 또한 브릭으로 불릴 수 있다(A tile that is not partitioned into multiple bricks may be also referred to as a brick). 브릭 스캔은 픽처를 파티셔닝하는 CTU들의 특정한 순차적 오더링을 나타낼 수 있으며, 상기 CTU들은 브릭 내에서 CTU 래스터 스캔으로 정렬될 수 있고, 타일 내 브릭들은 상기 타일의 상기 브릭들의 래스터 스캔으로 연속적으로 정렬될 수 있고, 그리고 픽처 내 타일들은 상기 픽처의 상기 타일들의 래스터 스캔으로 연속적으로 정렬될 수 있다(A brick scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a brick, bricks within a tile are ordered consecutively in a raster scan of the bricks of the tile, and tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture). 타일은 특정 타일 열 및 특정 타일 열 이내의 CTU들의 사각 영역이다(A tile is a rectangular region of CTUs within a particular tile column and a particular tile row in a picture). 상기 타일 열은 CTU들의 사각 영역이고, 상기 사각 영역은 상기 픽처의 높이와 동일한 높이를 갖고, 너비는 픽처 파라미터 세트 내의 신택스 요소들에 의하여 명시될 수 있다(The tile column is a rectangular region of CTUs having a height equal to the height of the picture and a width specified by syntax elements in the picture parameter set). 상기 타일 행은 CTU들의 사각 영역이고, 상기 사각 영역은 픽처 파라미터 세트 내의 신택스 요소들에 의하여 명시되는 너비를 갖고, 높이는 상기 픽처의 높이와 동일할 수 있다(The tile row is a rectangular region of CTUs having a height specified by syntax elements in the picture parameter set and a width equal to the width of the picture). 타일 스캔은 픽처를 파티셔닝하는 CTU들의 특정 순차적 오더링을 나타낼 수 있고, 상기 CTU들은 타일 내 CTU 래스터 스캔으로 연속적으로 정렬될 수 있고, 픽처 내 타일들은 상기 픽처의 상기 타일들의 래스터 스캔으로 연속적으로 정렬될 수 있다(A tile scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a tile whereas tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture). 슬라이스는 픽처의 정수개의 브릭들을 포함할 수 있고, 상기 정수개의 브릭들은 하나의 NAL 유닛에 포함될 수 있다(A slice includes an integer number of bricks of a picture that may be exclusively contained in a single NAL unit). 슬라이스는 다수의 완전한 타일들로 구성될 수 있고, 또는 하나의 타일의 완전한 브릭들의 연속적인 시퀀스일 수도 있다(A slice may consists of either a number of complete tiles or only a consecutive sequence of complete bricks of one tile). 이 문서에서 타일 그룹과 슬라이스는 혼용될 수 있다. 예를 들어 본 문서에서 tile group/tile group header는 slice/slice header로 불리 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 루마(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 크로마(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 하나의 유닛은 하나의 루마 블록 및 두개의 크로마(ex. cb, cr) 블록을 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
이 문서에서 "/"와 ","는 "및/또는"으로 해석된다. 예를 들어, "A/B"는 "A 및/또는 B"로 해석되고, "A, B"는 "A 및/또는 B"로 해석된다. 추가적으로, "A/B/C"는 "A, B 및/또는 C 중 적어도 하나"를 의미한다. 또한, "A, B, C"도 "A, B 및/또는 C 중 적어도 하나"를 의미한다. (In this document, the term "/" and "," should be interpreted to indicate "and/or." For instance, the expression "A/B" may mean "A and/or B." Further, "A, B" may mean "A and/or B." Further, "A/B/C" may mean "at least one of A, B, and/or C." Also, "A/B/C" may mean "at least one of A, B, and/or C.")
추가적으로, 본 문서에서 "또는"는 "및/또는"으로 해석된다. 예를 들어, "A 또는 B"은, 1) "A" 만을 의미하고, 2) "B" 만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 달리 표현하면, 본 문서의 "또는"은 "추가적으로 또는 대체적으로(additionally or alternatively)"를 의미할 수 있다. (Further, in the document, the term "or" should be interpreted to indicate "and/or." For instance, the expression "A or B" may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term "or" in this document should be interpreted to indicate "additionally or alternatively.")
도 2는 본 문서의 실시예들이 적용될 수 있는 비디오/영상 인코딩 장치의 구성을 개략적으로 설명하는 도면이다. 이하 비디오 인코딩 장치라 함은 영상 인코딩 장치를 포함할 수 있다.
도 2를 참조하면, 인코딩 장치(200)는 영상 분할부(image partitioner, 210), 예측부(predictor, 220), 레지듀얼 처리부(residual processor, 230), 엔트로피 인코딩부(entropy encoder, 240), 가산부(adder, 250), 필터링부(filter, 260) 및 메모리(memory, 270)를 포함하여 구성될 수 있다. 예측부(220)는 인터 예측부(221) 및 인트라 예측부(222)를 포함할 수 있다. 레지듀얼 처리부(230)는 변환부(transformer, 232), 양자화부(quantizer 233), 역양자화부(dequantizer 234), 역변환부(inverse transformer, 235)를 포함할 수 있다. 레지듀얼 처리부(230)은 감산부(subtractor, 231)를 더 포함할 수 있다. 가산부(250)는 복원부(reconstructor) 또는 복원 블록 생성부(recontructged block generator)로 불릴 수 있다. 상술한 영상 분할부(210), 예측부(220), 레지듀얼 처리부(230), 엔트로피 인코딩부(240), 가산부(250) 및 필터링부(260)는 실시예에 따라 하나 이상의 하드웨어 컴포넌트(예를 들어 인코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(270)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(270)을 내/외부 컴포넌트로 더 포함할 수도 있다.
영상 분할부(210)는 인코딩 장치(200)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBTTT (Quad-tree binary-tree ternary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조, 및/또는 터너리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및/또는 터너리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 문서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다. 다른 예로, 상기 처리 유닛은 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)을 더 포함할 수 있다. 이 경우 상기 예측 유닛 및 상기 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(200)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(232)로 전송된다. 이 경우 도시된 바와 같이 인코더(200) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(231)라고 불릴 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보 등 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(222)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(222)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(221)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 참조 블록을 포함하는 참조 픽처와 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(221)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(221)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
예측부(220)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP)라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 예를 들어 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나 현재 픽처 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 문서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보를 기반으로 픽처 내 샘플 값을 시그널링할 수 있다.
상기 예측부 (인터 예측부(221) 및/또는 상기 인트라 예측부(222) 포함)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 변환부(232)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(233)는 변환 계수들을 양자화하여 엔트로피 인코딩부(240)로 전송되고, 엔트로피 인코딩부(240)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 상기 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(233)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 상기 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(240)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(240)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(ex. 인코딩된 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 본 문서에서 인코딩 장치에서 디코딩 장치로 전달/시그널링되는 정보 및/또는 신택스 요소들은 비디오/영상 정보에 포함될 수 있다. 상기 비디오/영상 정보는 상술한 인코딩 절차를 통하여 인코딩되어 상기 비트스트림에 포함될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(240)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(200)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(240)에 포함될 수도 있다.
양자화부(233)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 역양자화부(234) 및 역변환부(235)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록 or 레지듀얼 샘플들)를 복원할 수 있다. 가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(250)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
한편 픽처 인코딩 및/또는 복원 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(260)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(260)은 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(270), 구체적으로 메모리(270)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(260)은 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
메모리(270)에 전송된 수정된 복원 픽처는 인터 예측부(221)에서 참조 픽처로 사용될 수 있다. 인코딩 장치는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(100)와 디코딩 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
메모리(270) DPB는 수정된 복원 픽처를 인터 예측부(221)에서의 참조 픽처로 사용하기 위해 저장할 수 있다. 메모리(270)는 현재 픽처 내 움직임 정보가 도출된(또는 인코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(221)에 전달할 수 있다. 메모리(270)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(222)에 전달할 수 있다.
도 3은 본 문서의 실시예들이 적용될 수 있는 비디오/영상 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3을 참조하면, 디코딩 장치(300)는 엔트로피 디코딩부(entropy decoder, 310), 레지듀얼 처리부(residual processor, 320), 예측부(predictor, 330), 가산부(adder, 340), 필터링부(filter, 350) 및 메모리(memoery, 360)를 포함하여 구성될 수 있다. 예측부(330)는 인터 예측부(331) 및 인트라 예측부(332)를 포함할 수 있다. 레지듀얼 처리부(320)는 역양자화부(dequantizer, 321) 및 역변환부(inverse transformer, 321)를 포함할 수 있다. 상술한 엔트로피 디코딩부(310), 레지듀얼 처리부(320), 예측부(330), 가산부(340) 및 필터링부(350)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(360)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(360)을 내/외부 컴포넌트로 더 포함할 수도 있다.
비디오/영상 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(300)는 도 0.2-1의 인코딩 장치에서 비디오/영상 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(300)는 상기 비트스트림으로부터 획득한 블록 분할 관련 정보를 기반으로 유닛들/블록들을 도출할 수 있다. 즉, 디코딩 장치(300)의 영상 분할부는 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 디코딩 장치(300)는 인코딩 장치에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩의 처리 유닛은 예를 들어 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조를 따라서 분할될 수 있다. 코딩 유닛으로부터 하나 이상의 변환 유닛이 도출될 수 있다. 그리고, 디코딩 장치(300)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(300)는 도 0.2-1의 인코딩 장치로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(310)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(310)는 상기 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(ex. 비디오/영상 정보)를 도출할 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 디코딩 장치는 상기 파라미터 세트에 관한 정보 및/또는 상기 일반 제한 정보를 더 기반으로 픽처를 디코딩할 수 있다. 본 문서에서 후술되는 시그널링/수신되는 정보 및/또는 신택스 요소들은 상기 디코딩 절차를 통하여 디코딩되어 상기 비트스트림으로부터 획득될 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(310)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(332) 및 인트라 예측부(331))로 제공되고, 엔트로피 디코딩부(310)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 레지듀얼 처리부(320)로 입력될 수 있다. 레지듀얼 처리부(320)는 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플들, 레지듀얼 샘플 어레이)를 도출할 수 있다. 또한, 엔트로피 디코딩부(310)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(350)으로 제공될 수 있다. 한편, 인코딩 장치로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(300)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(310)의 구성요소일 수도 있다. 한편, 본 문서에 따른 디코딩 장치는 비디오/영상/픽처 디코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 정보 디코더(비디오/영상/픽처 정보 디코더) 및 샘플 디코더(비디오/영상/픽처 샘플 디코더)로 구분할 수도 있다. 상기 정보 디코더는 상기 엔트로피 디코딩부(310)를 포함할 수 있고, 상기 샘플 디코더는 상기 역양자화부(321), 역변환부(322), 가산부(340), 필터링부(350), 메모리(360), 인터 예측부(332) 및 인트라 예측부(331) 중 적어도 하나를 포함할 수 있다.
역양자화부(321)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(321)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 상기 재정렬은 인코딩 장치에서 수행된 계수 스캔 순서를 기반하여 재정렬을 수행할 수 있다. 역양자화부(321)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)를 획득할 수 있다.
역변환부(322)에서는 변환 계수들를 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득하게 된다.
예측부는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(310)로부터 출력된 상기 예측에 관한 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
예측부(320)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP)라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 예를 들어 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나 현재 픽처 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 문서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보가 상기 비디오/영상 정보에 포함되어 시그널링될 수 있다.
인트라 예측부(331)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(331)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(332)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(332)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신한 후보 선택 정보를 기반으로 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 상기 예측에 관한 정보는 상기 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다.
가산부(340)는 획득된 레지듀얼 신호를 예측부(인터 예측부(332) 및/또는 인트라 예측부(331) 포함)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.
가산부(340)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 출력될 수도 있고 또는 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
한편, 픽처 디코딩 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(350)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(350)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(360), 구체적으로 메모리(360)의 DPB에 전송할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
메모리(360)의 DPB에 저장된 (수정된) 복원 픽처는 인터 예측부(332)에서 참조 픽쳐로 사용될 수 있다. 메모리(360)는 현재 픽처 내 움직임 정보가 도출된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(360)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(331)에 전달할 수 있다.
본 명세서에서, 인코딩 장치(100)의 필터링부(260), 인터 예측부(221) 및 인트라 예측부(222)에서 설명된 실시예들은 각각 디코딩 장치(300)의 필터링부(350), 인터 예측부(332) 및 인트라 예측부(331)에도 동일 또는 대응되도록 적용될 수 있다.
한편, VVC 표준의 인코딩 타겟(encoding target) 영상은 UHD, FHD 등의 고해상도 영상이며, 이를 처리하기 위해 하드웨어는 점점 더 복잡해지고 있다. 일 예로, VVC 표준 소프트웨어인 VTM2.0.1에서 상술한 인트라 예측이 수행되는 경우, 128x128 사이즈의 CTU(Coding Tree Unit)가 사용되지만, 최소 CU의 블록 사이즈는 루마 블록의 경우 4x4 사이즈, 크로마 블록의 경우 2x2 사이즈이다. 따라서, UHD 영상(3840 x 2160 해상도)을 상기 VTM2.0.1 소프트웨어를 통해 인트라 예측을 수행하여 인코딩되는 경우, 최악의 경우에는 상기 UHD 영상이 518,400개의 4x4 사이즈의 루마 블록 및 1,036,800개의 2x2 사이즈의 크로마 블록으로 분할될 수 있다. 여기서, 상기 최악의 경우는 상기 UHD 영상의 루마 성분이 모두 4x4 사이즈의 루마 블록들로 인코딩되고, 크로마 성분이 모두 2x2 사이즈의 크로마 블록들로 인코딩되는 경우를 나타낼 수 있다. 하드웨어 구현 시, 데이터 처리량(throughput)은 최악의 경우를 커버해야 하고, 이는 결국 하드웨어 제작 비용 증가 및 하드웨어 딜레이(delay)로 이어지게 될 수 있다.
본 문서는 상술한 문제를 해결하기 위한 실시예들을 제안한다.
일 실시예로 영상의 사이즈(즉, 해상도)에 따라 적응적으로 최소 블록 사이즈를 조절하여 하드웨어 구현상의 복잡도를 해결하는 방안을 제안한다. 즉, 본 문서에서는 최소 블록 사이즈를 영상의 사이즈에 따라 적응적으로 조절하여 워스트 케이스에서의 데이터 처리량을 조절하는 실시예가 제안된다. 여기서, 상기 블록은 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)을 나타낼 수 있다.
한편, 상기 VTM2.0.1 소프트웨어 상에서 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록을 제한한 영상에 대한 실험 결과는 다음의 표와 같이 도출될 수 있다. 즉, 상기 실험은 루마 블록의 최소 사이즈가 4x8 사이즈/8x4 사이즈이고, 크로마 블록의 최소 사이즈가 2x4 사이즈/4x2 사이즈인 영상의 코딩을 나타낼 수 있다. 또한, 다음의 표는 모든 해상도의 영상에 대한 실험 결과를 나타낼 수 있다.
Figure PCTKR2019012196-appb-T000001
상기 표 1을 참조하면 올 인트라(All intra) 실험 상에서는 Y 0.46%, 랜덤 어세스(Random access) 실험 상에서는 Y 0.36%, 로우 딜레이 B(Low delay B) 실험 상에서는 Y 0.29%의 인코딩 손실이 도출될 수 있다. 하지만, 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록을 제한함으로써 워스트 케이스 데이터 처리량(worst case data throughput)은 절반으로 줄일 수 있으며, 인코딩 및 디코딩 처리 속도도 줄일 수 있다.
또한, 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록을 제한한 UHD 및 FHD 영상(즉, 고해상도 영상)에 대한 실험 결과는 다음의 표와 같이 도출될 수 있다. 즉, 상기 실험은 루마 블록의 최소 사이즈가 4x8 사이즈/8x4 사이즈이고, 크로마 블록의 최소 사이즈가 2x4 사이즈/4x2 사이즈인 UHD 및 FHD 영상(즉, 고해상도 영상)의 코딩을 나타낼 수 있다.
Figure PCTKR2019012196-appb-T000002
상기 표 2를 참조하면 UHD 및 FHD 실험 영상에 대한 올 인트라(All intra) 실험 상에서는 Y 0.19%, 랜덤 어세스(Random access) 실험 상에서는 Y 0.17%, 로우 딜레이 B(Low delay B) 실험 상에서는 Y 0.12%의 인코딩 손실이 도출될 수 있다. 따라서, VVC 표준의 인코딩 타겟 목표인 고해상도 영상에 대한 코딩에서 최소 블록 크기 제한 방법이 보다 효과적임을 확인할 수 있다.
상술한 실험 결과에 기반하여, 본 실시예는 다음과 같이 적응적으로 최소 블록 사이즈를 조절하는 방안을 제안한다.
- 입력 영상의 크기(즉, 해상도)가 FHD 이상인 경우, 루마 블록은 4x4 사이즈의 루마 블록으로 분할 금지, 크로마 블록은 2x2 사이즈의 크로마 블록으로 분할 금지
구체적으로, 상기 입력 영상의 크기(즉, 해상도)가 FHD 이상인 경우, 블록의 QT/BT/TT 분할 여부 판단 시 다음과 같이 조건이 적용될 수 있다.
- 입력 영상의 크기(즉, 해상도)가 FHD 이상인 경우, QT/BT/TT 분할 조건 판단
1) 현재 루마 블록에서 QT, 수평(horizontal) BT, 수직(vertical) BT, 수평 TT 혹은 수직 TT 분할 후 4x4 사이즈의 블록이 될 경우에는 해당 분할 금지
2) 현재 크로마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 2x2 블록이 될 경우 해당 분할 금지
한편, 상기 QT 구조, 상기 BT 구조, 상기 TT 구조는 후술하는 바와 같을 수 있다.
도 4는 상기 QT 구조를 통하여 블록을 분할하는 일 예를 나타낸다. 상기 QT 구조는 2Nx2N 사이즈의 블록이 4개의 NxN 사이즈의 서브 블록들로 분할되는 구조를 나타낼 수 있다. 도 4를 참조하면 블록 A는 상기 QT 구조에 의하여 4개의 정방형의 서브 블록들(블록 A0, 블록 A1, 블록 A2, 블록 A3)으로 분할 될 수 있다. 또한, 분할된 블록은 QT 구조에 의하여 재귀적으로(recursively) 보다 하위 뎁스의 블록들로 분할될 수 있다. 예를 들어, 도 4를 참조하면 서브 블록 A1은 다시 QT 구조에 의하여 4개의 서브 블록들(블록 B0, 블록 B1, 블록 B2, 블록 B3)로 분할될 수 있다.
도 5는 상기 BT 구조를 통하여 블록을 분할하는 일 예를 나타낸다. 상기 BT 구조는 WxH 사이즈의 블록이 2개의 (W/2)xH 사이즈의 서브 블록들 또는, 2개의 Wx(H/2) 사이즈의 서브 블록들로 분할되는 구조를 나타낼 수 있다. 상기 WxH 사이즈의 블록이 2개의 (W/2)xH 사이즈의 서브 블록들로 분할되는 구조는 수직(vertical) BT 구조, 상기 WxH 사이즈의 블록이 2개의 Wx(H/2) 사이즈의 서브 블록들로 분할되는 구조는 수평(horizontal) BT 구조라고 나타낼 수 있다.
도 5를 참조하면 QT 구조에 의하여 더 이상 분할되지 않는 블록 B3은 수직 BT 구조에 의하여 서브 블록 C0, 서브 블록 C1으로 분할될 수 있고, 또는 수평 BT 구조에 의하여 서브 블록 D0, 서브 블록 D1으로 분할 될 수 있다. 또한, 블록 C0와 같이 각각의 서브 블록은 수평 BT 구조(예를 들어, 서브 블록 E0, 서브 블록 E1으로 분할) 또는 수직 BT 구조(예를 들어, 서브 블록 F0, 서브 블록 F1으로 분할)를 통하여 재귀적으로 더 분할될 수 있다.
도 6은 상기 TT 구조를 통하여 블록을 분할하는 일 예를 나타낸다. 상기 TT 구조는 WxH 사이즈의 블록이 2개의 (W/4)xH 사이즈의 서브 블록들 및 (W/2)xH 사이즈의 서브 블록 또는, 2개의 Wx(H/4) 사이즈의 서브 블록들 및 Wx(H/2) 사이즈의 서브 블록으로 분할되는 구조를 나타낼 수 있다. 이 경우, 3개의 서브 블록들 중 (W/2)xH 사이즈의 서브 블록 또는 Wx(H/2) 사이즈의 서브 블록이 중앙 서브 블록일 수 있다. 상기 WxH 사이즈의 블록이 2개의 (W/4)xH 사이즈의 서브 블록들 및 (W/2)xH 사이즈의 서브 블록으로 분할되는 구조는 수직(vertical) TT 구조, 상기 WxH 사이즈의 블록이 2개의 Wx(H/4) 사이즈의 서브 블록들 및 Wx(H/2) 사이즈의 서브 블록으로 분할되는 구조는 수평(horizontal) TT 구조라고 나타낼 수 있다.
도 6을 참조하면 QT 구조에 의하여 더 이상 분할되지 않는 블록 B3은 수직 TT 구조에 의하여 서브 블록 C0, 서브 블록 C1, 서브 블록 C2 로 분할될 수 있고, 또는 수평 TT 구조에 의하여 서브 블록 D0, 서브 블록 D1, 서브 블록 D2로 분할될 수 있다. 또한, 블록 C1과 같이 각각의 서브 블록은 수평 TT 구조(예를 들어, 서브 블록 E0, 서브 블록 E1, 서브 블록 E2로 분할) 또는 수직 TT 구조(예를 들어, 서브 블록 F0, 서브 블록 F1, 서브 블록 F2로 분할)를 통하여 재귀적으로 더 분할될 수 있다.
한편, 현재 블록은 QTBTTT(Quad-tree binary-tree ternary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 상기 현재 블록은 쿼드 트리 구조, 바이너리 트리 구조, 및/또는 터너리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 상기 QTBTTT 구조는 MTT(Multi-Type Tree) 구조라고 나타낼 수도 있다.
예를 들어, 상기 현재 블록은 시그널링된 파티셔닝 정보를 기반으로 상기 MTT 구조에 따라 분할될 수 있다.
도 7은 파티셔닝 정보의 시그널링 메커니즘을 예시적으로 나타낸다.
도 7을 참조하면 CTU는 QT의 루트(root)로 취급될 수 있고, 이에, 상기 CTU는 처음에 상기 QT 구조로 파티셔닝될 수 있다. 이후, 각 QT 리프 노드(상기 QT 구조로 더 이상 분할되지 않는 CU)는 이후 MTT 구조로 더 파티셔닝될 수 있다. 상기 MTT 구조에서, 제1 플래그(예를 들어, MTT 스플릿 CU 플래그(mtt_split_cu_flag))가 해당 노드(즉, 해당 CU)가 추가적으로 파티셔닝되는지를 지시하기 위하여 시그널링될 수 있다. 해당 노드가 추가적으로 파티셔닝되는 경우(즉, 상기 제1 플래그의 값이 1인 경우), 제2 플래그(예를 들어, MTT 스플릿 CU 수직 플래그(mtt_split_cu_vertical_flag))가 분할 방향(splitting direction)을 지시하기 위하여 시그널링될 수 있다. 즉, 상기 제2 플래그는 해당 노드의 분할 방향을 나타낼 수 있다. 그 후 제3 플래그(예를 들어, MTT 스플릿 CU 바이너리 플래그(mtt_split_cu_binary_flag))가 분할 타입이 바이너리 분할인지 터너리 분할인지 여부를 지시하기 위하여 시그널링될 수 있다. 즉, 상기 제3 플래그는 해당 노드의 분할 타입이 바이너리 분할인지 또는 터너리 분할인지 나타낼 수 있다. 예를 들어, 상기 제2 플래그 및 상기 제3 플래그를 기반으로 도출되는 해당 CU의 멀티타입 트리 분할 모드(multi-type tree splitting mode, MttSplitMode)는 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019012196-appb-T000003
여기서, SPLIT_TT_HOR, SPLIT_BT_HOR, SPLIT_TT_VER, SPLIT_BT_VER는 분할 타입(또는 멀티타입 트리 분할 모드)을 나타낼 수 있다. 구체적으로, SPLIT_TT_HOR 는 수평 터너리 타입을 나타낼 수 있고, SPLIT_BT_HOR 는 수평 바이너리 타입을 나타낼 수 있고, SPLIT_TT_VER 는 수직 터너리 타입을 나타낼 수 있고, SPLIT_TT_VER 는 수직 바이너리 타입을 나타낼 수 있다. 표 3을 참조하면 상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 0인 경우, 해당 CU의 상기 분할 타입은 상기 수평 터너리 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 1인 경우, 해당 CU의 상기 분할 타입은 상기 수평 바이너리 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 0인 경우, 해당 CU의 상기 분할 타입은 상기 수직 터너리 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 1인 경우, 해당 CU의 상기 분할 타입은 상기 수직 바이너리 타입으로 도출될 수 있다.
도 8은 MTT 구조에서의 분할 타입을 예시적으로 나타낸다.
도 8을 참조하면 상기 수평 터너리 타입은 2개의 Wx(H/4) 사이즈의 서브 블록들 및 Wx(H/2) 사이즈의 서브 블록으로 분할되되, 상기 Wx(H/2) 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 도 8을 참조하면 상기 수직 터너리 타입은 2개의 (W/4)xH 사이즈의 서브 블록들 및 (W/2)xH 사이즈의 서브 블록으로 분할되되, 상기 (W/2)xH 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 도 8을 참조하면 상기 수평 바이너리 타입은 2개의 Wx(H/2) 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있고, 상기 수직 바이너리 타입은 2개의 (W/2)xH 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있다.
한편, 상기 입력 영상의 크기(즉, 해상도)가 FHD 이상인 경우, 블록의 QT/BT/TT 분할 여부 판단 시에 상술한 조건을 적용하는 실시예는 다음과 같다.
도 9는 입력 영상의 크기가 FHD 이상인 경우에 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록으로 분할을 금지하는 실시예를 예시적으로 나타낸다.
도 9를 참조하면 인코딩 장치/디코딩 장치는 현재 영상의 샘플 수(또는 픽셀 수)가 1920x1080 이상인지 판단할 수 있다(S900).
상기 현재 영상의 샘플 수가 1920x1080 이상인 경우, 인코딩 장치/디코딩 장치는 현재 블록이 QT 구조, BT 구조 또는 TT 구조로 분할되어 생성된 블록의 샘플 수가 특정 개수보다 큰지 판단할 수 있다(S910). 상기 현재 블록이 현재 루마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 분할되어 생성된 블록의 샘플 수가 16보다 큰지 판단할 수 있고, 상기 현재 블록이 현재 크로마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 분할되어 생성된 블록의 샘플 수가 4보다 큰지 판단할 수 있다. 상기 특정 개수는 임계값이라고 나타낼 수도 있다.
상기 분할되어 생성된 블록의 샘플 수가 상기 특정 개수보다 큰 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S920).
또는, 상기 분할되어 생성된 블록의 샘플 수가 상기 특정 개수보다 크지 않은 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 분할을 수행하지 않을 수 있다(S930).
한편, 상기 현재 영상의 샘플 수가 1920x1080 보다 작은 경우에는 인코딩 장치/디코딩 장치는 상기 S910 단계의 판단 과정없이 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S920).
또는, 보다 구체적으로 영상 크기(즉, 해상도)를 나누어서 적응적으로 최소 블록 크기를 결정하는 실시예가 제안될 수 있다. 상기 실시예는 다음과 같다.
- 입력 영상의 크기가 FHD 이상, UHD 이하인 경우, 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록으로 분할 금지
- 입력 영상의 크기가 UHD 혹은 그 이상인 경우, 4x4 사이즈, 4x8 사이즈, 8x4 사이즈의 루마 블록 및 2x2 사이즈, 4x2 사이즈, 2x4 사이즈의 크로마 블록으로 분할 금지
구체적으로, 상기 입력 영상의 크기(즉, 해상도)가 상술한 조건에 해당하는 경우, 블록의 QT/BT/TT 분할 여부 판단 시 다음과 같이 조건이 적용될 수 있다.
- 입력 영상의 크기가 FHD 이상, UHD 이하인 경우에 QT / BT / TT 분할 조건 판단
1) 현재 루마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 4x4 사이즈의 블록이 될 경우에는 해당 분할 금지
2) 현재 크로마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 2x2 사이즈의 블록이 될 경우 해당 분할 금지
- 입력 영상의 크기가 UHD 이상인 경우에 QT / BT / TT 분할 조건 판단
1) 현재 루마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 4x4 사이즈, 4x8 사이즈 혹은 8x4 사이즈의 블록이 될 경우에는 해당 분할 금지
2) 현재 크로마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 2x2 사이즈, 2x4 사이즈, 혹은 4x2 사이즈의 블록이 될 경우에는 해당 분할 금지
본 실시예에 따르면 상술한 바와 같이 FHD 및 UHD에서의 최소 블록 사이즈를 다르게 적용함으로써, UHD 영상의 인코딩/디코딩 시의 워스트 케이스 데이터 처리량을 1/4로 줄일 수 있고 동시에 인코딩 손실을 최소화할 수 있다.
한편, 상기 입력 영상의 크기(즉, 해상도)가 FHD 이상인 경우, 블록의 QT/BT/TT 분할 여부 판단 시에 상술한 조건을 적용하는 실시예는 다음과 같다.
도 10은 입력 영상의 크기를 기반으로 최소 블록 사이즈를 조절하는 실시예를 예시적으로 나타낸다.
도 10을 참조하면 인코딩 장치/디코딩 장치는 현재 영상의 샘플 수(또는 픽셀 수)가 1920x1080 이상인지 판단할 수 있다(S1000).
상기 현재 영상의 샘플 수가 1920x1080 이상인 경우, 인코딩 장치/디코딩 장치는 현재 영상의 샘플 수(또는 픽셀 수)가 3840x2160 이상인지 판단할 수 있다(S1010).
상기 현재 영상의 샘플 수가 3840x2160 이상인 경우, 인코딩 장치/디코딩 장치는 현재 블록에 대한 임계값을 설정할 수 있다(S1020). 이 경우, 현재 루마 블록에 대한 임계값은 32, 현재 크로마 블록에 대한 임계값은 8로 설정될 수 있다. 또는, 상기 현재 영상의 샘플 수가 3840x2160 보다 작은 경우, 인코딩 장치/디코딩 장치는 현재 블록에 대한 임계값을 설정할 수 있다(S1030). 이 경우, 현재 루마 블록에 대한 임계값은 16, 현재 크로마 블록에 대한 임계값은 4로 설정될 수 있다.
이후, 인코딩 장치/디코딩 장치는 현재 블록이 QT 구조, BT 구조 또는 TT 구조로 분할되어 생성된 블록의 샘플 수가 상기 설정된 임계값보다 큰지 판단할 수 있다(S1040).
상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 큰 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S1050).
또는, 상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 크지 않은 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 분할을 수행하지 않을 수 있다(S1060).
한편, 상기 현재 영상의 샘플 수가 1920x1080 보다 작은 경우에는 인코딩 장치/디코딩 장치는 상기 S1010 단계 내지 S1040의 판단 과정없이 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S1050).
혹은, 입력 영상의 크기와 관계 없이 최소 블록 크기를 결정하는 실시예가 제안될 수 있다.
일 실시예로 다음과 같은 방안이 제안될 수 있다.
- 모든 사이즈의 입력 영상에서 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록으로 분할 금지
구체적으로, 블록의 QT/BT/TT 분할 여부 판단 시 다음과 같이 조건이 적용될 수 있다.
- 모든 영상 크기에서 QT / BT / TT 분할 조건 판단
1) 현재 루마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 4x4 사이즈의 블록이 될 경우에는 해당 분할 금지
2) 현재 크로마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 2x2 사이즈의 블록이 될 경우에는 해당 분할 금지
도 11은 최소 블록 사이즈를 조절하는 실시예를 예시적으로 나타낸다.
도 11을 참조하면 인코딩 장치/디코딩 장치는 현재 블록이 QT 구조, BT 구조 또는 TT 구조로 분할되어 생성된 블록의 샘플 수가 임계값보다 큰지 판단할 수 있다(S1100). 상기 현재 블록이 현재 루마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 분할되어 생성된 블록의 샘플 수가 16보다 큰지 판단할 수 있고, 상기 현재 블록이 현재 크로마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 분할되어 생성된 블록의 샘플 수가 4보다 큰지 판단할 수 있다. 즉, 현재 루마 블록에 대한 임계값은 16, 현재 크로마 블록에 대한 임계값은 4로 설정될 수 있다. 다시 말해, 상기 현재 블록이 현재 루마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 샘플 수가 32 이하인지 판단할 수 있고, 상기 현재 블록이 현재 크로마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 샘플 수가 8이하인지 판단할 수 있다. 즉, 현재 루마 블록에 대한 임계값은 32, 현재 크로마 블록에 대한 임계값은 8로 설정될 수 있다. 상기 현재 블록이 분할되는 경우, BT 구조에 따라서 분할되는 경우에는 현재 블록의 샘플수의 절반의 샘플수를 포함하는 서브 블록으로 분할되는바, 상기 분할되어 생성된 블록의 샘플 수의 임계값에서 2배인 값을 현재 블록과 비교하여 판단될 수 있다. 또한, 상기 현재 블록이 분할되는 경우, QT 구조 또는 TT 구조에 따라서 분할되는 경우에는 현재 블록의 샘플수의 1/4의 샘플수를 포함하는 서브 블록으로 분할되는바, 상기 분할되어 생성된 블록의 샘플 수의 임계값에서 4배인 값을 현재 블록과 비교하여 판단될 수 있다.
상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 큰 경우(즉, 상기 현재 블록의 샘플 수가 임계값 이하인 경우), 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S1110).
또는, 상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 크지 않은 경우(즉, 상기 현재 블록의 샘플 수가 임계값 큰 경우), 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 분할을 수행하지 않을 수 있다(S1120).
또는, 일 실시예로 다음과 같은 방안이 제안될 수 있다.
- 모든 사이즈의 입력 영상에서 2x2 사이즈의 크로마 블록으로 분할 금지
구체적으로, 블록의 QT/BT/TT 분할 여부 판단 시 다음과 같이 조건이 적용될 수 있다.
- 모든 영상 크기에서 QT / BT / TT 분할 조건 판단
1) 현재 크로마 블록에서 QT, 수평 BT, 수직 BT, 수평 TT 혹은 수직 TT 분할 후 2x2 사이즈의 블록이 될 경우에는 해당 분할 금지
예를 들어, 인코딩 장치/디코딩 장치는 현재 크로마 블록이 QT 구조, BT 구조 또는 TT 구조로 분할되어 생성된 블록의 샘플 수가 임계값(예를 들어, 4)보다 큰지 판단할 수 있다. 예를 들어, 상기 현재 크로마 블록에 대한 임계값은 4로 설정될 수 있다.
상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 큰 경우, 인코딩 장치/디코딩 장치는 상기 현재 크로마 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 크로마 블록에 대한 분할을 수행할 수 있다. 또는, 상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 크지 않은 경우, 인코딩 장치/디코딩 장치는 상기 현재 크로마 블록에 대한 분할을 수행하지 않을 수 있다.
상술한 실시예들과 같이 모든 입력 영상 크기에서 최소 블록 사이즈를 제한함으로써, 입력 영상에 의존하는(dependant) 인코딩 및 디코딩을 방지할 수 있다.
또는, 최소 블록 사이즈를 조절하여 하드웨어 구현 상의 복잡도 및 고비용 문제를 해결하는 다른 실시예가 제안될 수 있다. 즉, 최소 블록 사이즈를 적응적으로 조절함으로써 워스트 케이스에서의 데이터 처리량을 조절하는 다른 실시예가 제안될 수 있다.
상술한 표 2에 도시된 실험 결과에 기반하여, 본 실시예는 SPS(sequence parameter set), PPS(picture parameter set), 혹은 슬라이스 헤더(slice header)와 같은 HLS(high level syntax)로 최소 블록 사이즈 정보를 전송하는 방안을 제안한다. 즉, 본 실시예에 따르면 최소 블록 사이즈를 나타내는 상기 최소 블록 사이즈 정보가 상기 SPS, PPS, 혹은 슬라이스 헤더로 시그널링될 수 있고, 상기 최소 블록 사이즈 정보를 기반으로 도출된 최소 블록 사이즈를 기반으로 블록 파티셔닝이 수행될 수 있다.
예를 들어, 상기 SPS 내에 상기 최소 블록 사이즈 정보는 다음의 표와 같이 나타낼 수 있다. 즉, 상기 SPS 로 시그널링되는 상기 최소 블록 사이즈 정보는 다음의 표와 같을 수 있다.
Figure PCTKR2019012196-appb-T000004
상기 최소 블록 사이즈 정보는 최소 루마 블록 사이즈 정보 및/또는 최소 크로마 블록 사이즈 정보를 포함할 수 있다. 상기 최소 루마 블록 사이즈 정보는 최소 루마 블록 사이즈를 나타낼 수 있고, 상기 최소 크로마 블록 사이즈 정보는 최소 크로마 블록 사이즈를 나타낼 수 있다. 표 4를 참조하면 상기 SPS 에 log2_min_cu_pixel_num_luma_minus4 및 log2_min_cu_pixel_num_chroma_minus2 가 포함될 수 있다. 상기 log2_min_cu_pixel_num_luma_minus4 는 상기 최소 루마 블록 사이즈 정보의 신텍스 요소(syntax element)를 나타낼 수 있고, 상기 log2_min_cu_pixel_num_chroma_minus2 는 상기 최소 크로마 블록 사이즈 정보의 신텍스 요소를 나타낼 수 있다.
디코딩 장치는 상기 log2_min_cu_pixel_num_luma_minus4 및 상기 log2_min_cu_pixel_num_chroma_minus2 를 기반으로 최소 블록 사이즈 제한을 수행할 수 있다.
일 예로, 시그널링된 log2_min_cu_pixel_num_luma_minus4 의 값이 0이고 log2_min_cu_pixel_num_chroma_minus2 의 값이 0인 경우, 상기 log2_min_cu_pixel_num_luma_minus4 가 나타내는 루마 블록의 최소 샘플 개수는 16개(예를 들어, 4x4 사이즈)일 수 있고, 상기 log2_min_cu_pixel_num_chroma_minus2 가 나타내는 크로마 블록의 최소 샘플 개수는 4개(예를 들어, 2x2 사이즈)일 수 있다. 따라서, 상기 최소 블록 사이즈 제한은 수행되지 않을 수 있다.
또는 다른 예로, 시그널링된 log2_min_cu_pixel_num_luma_minus4 의 값이 1이고 log2_min_cu_pixel_num_chroma_minus2 의 값이 1인 경우, 상기 log2_min_cu_pixel_num_luma_minus4 가 나타내는 루마 블록의 최소 샘플 개수는 32개일 수 있고, 상기 log2_min_cu_pixel_num_chroma_minus2 가 나타내는 크로마 블록의 최소 샘플 개수는 8개일 수 있다. 따라서, 디코딩 장치는 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록 사이즈 제한을 수행할 수 있다. 즉, 디코딩 장치는 4x4 사이즈의 루마 블록 및 2x2 사이즈의 크로마 블록으로 분할하는 것을 제한할 수 있다.
또는 다른 예로, 시그널링된 log2_min_cu_pixel_num_luma_minus4 의 값이 0이고 log2_min_cu_pixel_num_chroma_minus2 의 값이 2인 경우, 상기 log2_min_cu_pixel_num_luma_minus4 가 나타내는 루마 블록의 최소 샘플 개수는 16개일 수 있고, 상기 log2_min_cu_pixel_num_chroma_minus2 가 나타내는 크로마 블록의 최소 샘플 개수는 16개일 수 있다. 이 경우, 디코딩 장치는 상기 최소 루마 블록 사이즈 제한은 수행되지 않을 수 있다. 또한, 디코딩 장치는 2x2, 2x4 및 4x2 사이즈의 크로마 블록 사이즈 제한을 수행할 수 있다. 즉, 디코딩 장치는 2x2, 2x4 및 4x2 사이즈의 크로마 블록으로 분할하는 것을 제한할 수 있다.
도 12는 시그널링된 최소 블록 사이즈 정보를 기반으로 최소 블록 사이즈를 결정하는 실시예를 예시적으로 나타낸다.
도 12를 참조하면 인코딩 장치/디코딩 장치는 현재 블록이 루마 블록인지 판단할 수 있다(S1200). 즉, 인코딩 장치/디코딩 장치는 상기 현재 블록이 현재 루마 블록인지 또는 현재 크로마 블록인지 판단할 수 있다.
상기 현재 블록이 상기 현재 루마 블록인 경우, 인코딩 장치/디코딩 장치는 log2_min_cu_pixel_num_luma_minus4를 기반으로 상기 현재 루마 블록에 대한 임계값을 설정할 수 있다(S1210). 예를 들어, 상기 현재 루마 블록에 대한 임계값은 16 << log2_min_cu_pixel_num_luma_minus4 으로 설정될 수 있다. 또는, 상기 현재 블록이 상기 현재 루마 블록이 아니고, 상기 현재 크로마 블록인 경우, 인코딩 장치/디코딩 장치는 상기 log2_min_cu_pixel_num_chroma_minus2를 기반으로 상기 현재 크로마 블록에 대한 임계값을 설정할 수 있다(S1220). 예를 들어, 상기 현재 크로마 블록에 대한 임계값은 4 << log2_min_cu_pixel_num_chroma_minus2 로 설정될 수 있다.
이후, 인코딩 장치/디코딩 장치는 현재 블록이 QT 구조, BT 구조 또는 TT 구조로 분할되어 생성된 블록의 샘플 수가 상기 설정된 임계값보다 큰지 판단할 수 있다(S1230).
상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 큰 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 기존 QT/BT.TT 분할 조건을 체크하여 상기 현재 블록에 대한 분할을 수행할 수 있다(S1240).
또는, 상기 분할되어 생성된 블록의 샘플 수가 상기 임계값보다 크지 않은 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 대한 분할을 수행하지 않을 수 있다(S1250).
한편, 인코딩 장치는 상기 log2_min_cu_pixel_num_luma_minus4 및 상기 log2_min_cu_pixel_num_chroma_minus2의 값을 설정하여 인코딩할 수 있고, 상기 정보들을 SPS를 통해 전송할 수 있다. 또한, 인코딩 장치는 상기 설정된 log2_min_cu_pixel_num_luma_minus4 및 log2_min_cu_pixel_num_chroma_minus2를 기반으로 상기 최소 블록 사이즈 제한을 수행한 후 인코딩을 진행할 수 있다.
또한, 상기 log2_min_cu_pixel_num_luma_minus4 및 상기 log2_min_cu_pixel_num_chroma_minus2의 값은 앞선 실시예와 같이 영상 사이즈에 따라 설정될 수 있으며, 또는 인코딩 시 직접적으로 값이 설정되어 인코딩이 수행될 수 있다.
도 13은 본 문서에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다. 도 13에서 개시된 방법은 도 2에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 13의 S1300은 내지 S1320은 상기 인코딩 장치의 영상 분할부에 의하여 수행될 수 있고, S1330은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 레지듀얼 샘플을 도출하는 과정은 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 레지듀얼 샘플과 예측 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 복원 샘플을 도출하는 과정은 상기 인코딩 장치의 가산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 레지듀얼에 관한 정보를 생성하는 과정은 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
인코딩 장치는 현재 블록에 대한 분할 타입을 결정한다(S1300). 인코딩 장치는 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 현재 블록은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBTTT (Quad-tree binary-tree ternary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 상기 현재 블록은 QT(Qaud-Tree) 타입, 수평 바이너리(horizontal binary) 타입, 수평 터너리(horizontal ternary) 타입, 수직 바이너리(vertical binaary) 타입 및/또는 수직 터너리(vertical ternary) 타입을 기반으로 복수의 서브 블록들로 분할될 수 있다. 인코딩 장치는 현재 블록에 대한 분할 타입을 상기 QT(Qaud-Tree) 타입, 상기 수평 바이너리(horizontal binary) 타입, 상기 수평 터너리(horizontal ternary) 타입, 상기 수직 바이너리(vertical binaary) 타입 및 상기 수직 터너리(vertical ternary) 타입 중 하나로 결정할 수 있다.
인코딩 장치는 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단한다(S1310). 인코딩 장치는 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단할 수 있다. 상기 현재 블록의 사이즈는 상기 현재 블록의 샘플수를 나타낼 수 있다. 또는, 상기 현재 블록의 사이즈는 상기 현재 블록의 폭 또는 높이를 나타낼 수 있다. 예를 들어, 상기 현재 블록의 분할 타입이 수직 바이너리 타입 또는 수직 터너리 타입인 경우, 상기 현재 블록의 사이즈는 상기 현재 블록의 폭일 수 있고, 상기 현재 블록의 분할 타입이 수평 바이너리 타입 또는 수평 터너리 타입인 경우, 상기 현재 블록의 사이즈는 상기 현재 블록의 높이일 수 있다.
예를 들어, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다. 또한, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 상기 최소 크로마 블록 사이즈보다 큰 경우, 상기 현재 블록을 분할하는 것으로 판단될 수 있다.
예를 들어, 상기 현재 블록이 상기 크로마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 2x2 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다.
또한, 예를 들어, 상기 현재 블록이 루마 블록이고, 상기 현재 블록의 사이즈가 최소 루마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다. 또한, 상기 현재 블록이 루마 블록이고, 상기 현재 블록의 사이즈가 상기 최소 루마 블록 사이즈보다 큰 경우, 상기 현재 블록을 분할하는 것으로 판단될 수 있다.
예를 들어, 상기 현재 블록이 상기 루마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 4x4 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다.
한편, 상기 최소 크로마 블록 사이즈는 다음과 같이 도출될 수 있다.
일 예로, 상기 최소 크로마 블록 사이즈는 기설정된 값으로 도출될 수 있다. 예를 들어, 상기 최소 크로마 블록 사이즈는 8, 16 또는 32일 수 있다.
또는, 일 예로, 상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 도출될 수 있다. 예를 들어, 인코딩 장치는 상기 최소 크로마 블록 사이즈를 결정할 수 있고, 상기 최소 크로마 블록 사이즈를 나타내는 정보를 생성 및 인코딩할 수 있고, 상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 도출할 수 있다. 상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 8, 16 또는 32로 도출될 수 있다.
또한, 상기 최소 루마 블록 사이즈는 다음과 같이 도출될 수 있다.
일 예로, 상기 최소 루마 블록 사이즈는 기설정된 값으로 도출될 수 있다. 예를 들어, 상기 최소 루마 블록 사이즈는 16, 32 또는 64일 수 있다.
또는, 일 예로, 상기 최소 루마 블록 사이즈는 상기 최소 루마 블록 사이즈를 나타내는 정보를 기반으로 도출될 수 있다. 예를 들어, 인코딩 장치는 상기 최소 루마 블록 사이즈를 결정할 수 있고, 상기 최소 루마 블록 사이즈를 나타내는 정보를 생성 및 인코딩할 수 있고, 상기 최소 루마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 도출할 수 있다. 예를 들어, 상기 최소 루마 블록 사이즈는 상기 최소 루마 블록 사이즈를 나타내는 정보를 기반으로 16, 32 또는 64로 도출될 수 있다.
인코딩 장치는 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 분할 타입을 기반으로 상기 현재 블록을 서브 블록들로 분할한다(S1320).
예를 들어, 상기 현재 블록을 분할하는 것으로 판단된 경우, 인코딩 장치는 상기 분할 타입에 따라서 상기 현재 블록을 상기 서브 블록들로 분할할 수 있다. 상기 분할 타입은 상기 QT(Qaud-Tree) 타입, 상기 수평 바이너리(horizontal binary) 타입, 상기 수평 터너리(horizontal ternary) 타입, 상기 수직 바이너리(vertical binaary) 타입 및 상기 수직 터너리(vertical ternary) 타입 중 하나일 수 있다.
상기 QT 타입은 4개의 (W/2)x(H/2) 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있다. 여기서, W 는 상기 현재 블록의 폭을 나타낼 수 있고, 상기 H는 상기 현재 블록의 높이일 수 있다. 또한, 상기 수평 터너리 타입은 2개의 Wx(H/4) 사이즈의 서브 블록들 및 Wx(H/2) 사이즈의 서브 블록으로 분할되되, 상기 Wx(H/2) 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 상기 수직 터너리 타입은 2개의 (W/4)xH 사이즈의 서브 블록들 및 (W/2)xH 사이즈의 서브 블록으로 분할되되, 상기 (W/2)xH 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 상기 수평 바이너리 타입은 2개의 Wx(H/2) 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있고, 상기 수직 바이너리 타입은 2개의 (W/2)xH 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있다.
한편, 인코딩 장치는 상기 서브 블록들을 디코딩할 수 있다.
예를 들어, 상술한 내용과 같이 인코딩 장치는 서브 블록들에 대한 예측을 수행하고, 상기 서브 블록들에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)들을 생성할 수 있고, 상기 서브 블록들에 대한 예측 관련 정보를 생성 및 인코딩할 수 있다. 상기 영상 정보는 상기 예측 관련 정보를 포함할 수 있다. 인코딩 장치는 상기 서브 블록들 각각에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 각 서브 블록에 대한 구체적인 인트라/인터 예측 모드를 결정할 수 있다. 다음으로, 인코딩 장치는 상술한 다양한 예측 방법을 기반으로 예측 샘플들을 생성할 수 있다.
또한, 예를 들어, 비록 도시되지는 않았으나 인코딩 장치는 상기 서브 블록들에 대한 원본 샘플들과 예측 샘플들을 기반으로 상기 서브 블록들에 대한 레지듀얼 샘플들을 도출할 수 있고, 상기 레지듀얼 샘플들을 기반으로 상기 서브 블록들에 대한 레지듀얼에 관한 정보를 생성할 수 있고, 상기 레지듀얼에 관한 정보를 인코딩할 수 있다. 상기 영상 정보는 상기 레지듀얼에 관한 정보를 포함할 수 있다. 또한, 인코딩 장치는 상기 서브 블록들에 대한 상기 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 상기 서브 블록들에 대한 복원 샘플들을 생성할 수 있다.
또한, 예를 들어, 상기 현재 블록이 분할되지 않는 경우, 인코딩 장치는 상기 현재 블록을 디코딩할 수 있다.
예를 들어, 상술한 내용과 같이 인코딩 장치는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플을 포함하는 예측된 블록(predicted block)을 생성할 수 있고, 상기 현재 블록에 대한 예측 관련 정보를 생성 및 인코딩할 수 있다. 상기 영상 정보는 상기 예측 관련 정보를 포함할 수 있다. 인코딩 장치는 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 현재 블록에 대한 구체적인 인트라/인터 예측 모드를 결정할 수 있다. 다음으로, 인코딩 장치는 상술한 다양한 예측 방법을 기반으로 예측 샘플을 생성할 수 있다.
또한, 예를 들어, 비록 도시되지는 않았으나 인코딩 장치는 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출할 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성할 수 있고, 상기 레지듀얼에 관한 정보를 인코딩할 수 있다. 상기 영상 정보는 상기 레지듀얼에 관한 정보를 포함할 수 있다. 또한, 인코딩 장치는 상기 현재 블록에 대한 상기 예측 샘플 및 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 복원 샘플을 생성할 수 있다.
인코딩 장치는 상기 현재 블록에 대한 분할 타입을 나타내는 파티셔닝 정보를 포함한 영상 정보를 인코딩한다(S1330). 인코딩 장치는 상기 현재 블록에 대한 분할 타입을 나타내는 파티셔닝 정보를 포함한 영상 정보를 인코딩할 수 있고, 비트스트림을 통하여 시그널링할 수 있다.
일 예로, 상기 파티셔닝 정보는 상기 현재 블록이 QT(Quad-Tree) 타입으로 분할되는지 분할되는지 여부를 나타내는 제1 플래그를 포함할 수 있다. 여기서, 상기 QT 타입은 상기 현재 블록이 4개의 (W/2)x(H/2) 사이즈의 서브 블록들로 분할되는 분할 타입을 나타낼 수 있다. 상기 W는 상기 현재 블록의 폭을 나타낼 수 있고, 상기 H는 상기 현재 블록의 높이를 나타낼 수 있다.
또한, 상기 제1 플래그의 값이 0인 경우, 상기 파티셔닝 정보는 제2 플래그 및 제3 플래그를 포함할 수 있다. 상기 제2 플래그는 상기 현재 블록의 분할 방향을 나타낼 수 있고, 상기 제3 플래그는 상기 현재 블록의 분할 타입이 BT(Binary-Tree) 타입인지 TT(Ternary-Tree) 타입인지 여부를 나타낼 수 있다. 상기 제1 플래그를 나타내는 신텍스 요소는 split_qt_flag 일 수 있고, 상기 제2 플래그를 나타내는 신텍스 요소는 mtt_split_cu_vertical_flag 일 수 있고, 상기 제3 플래그를 나타내는 신텍스 요소는 mtt_split_cu_binary_flag 일 수 있다.
또한, 예를 들어, 상기 영상 정보는 최소 루마 블록 사이즈를 나타내는 정보를 포함할 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set) 단위로 시그널링될 수 있다. 즉, 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set)로 시그널링될 수 있다. 또한, 예를 들어, 상기 영상 정보는 최소 크로마 블록 사이즈를 나타내는 정보를 포함할 수 있다. 상기 최소 크로마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set) 단위로 시그널링될 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set)로 시그널링될 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보를 나타내는 신텍스 요소는 log2_min_cu_pixel_num_luma_minus4 일 수 있고, 상기 최소 크로마 블록 사이즈를 나타내는 정보를 나타내는 신텍스 요소는 log2_min_cu_pixel_num_chroma_minus2 일 수 있다.
한편, 상기 영상 정보는 상기 현재 블록 또는 상기 서브 블록들에 대한 예측 관련 정보를 포함할 수 있다. 상기 예측 관련 정보는 상기 현재 블록 또는 상기 서브 블록들에 적용되는 인터 예측 또는 인트라 예측에 대한 정보를 나타낼 수 있다. 또한, 상기 영상 정보는 상기 현재 블록 또는 상기 서브 블록들에 대한 레지듀얼에 관한 정보를 포함할 수 있다.
한편, 상기 비트스트림은 네트워크 또는 (디지털) 저장매체를 통하여 디코딩 장치로 전송될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
도 14는 본 문서에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다. 도 13에서 개시된 방법은 도 14에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 14의 상기 인코딩 장치의 영상 분할부는 도 13의 S1300 내지 S1320을 수행할 수 있고, 도 14의 상기 인코딩 장치의 엔트로피 인코딩부는 도 13의 S1330을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 레지듀얼 샘플을 도출하는 과정은 도 14의 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 예측 샘플 및 레지듀얼 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 복원 샘플을 도출하는 과정은 도 14의 상기 인코딩 장치의 가산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록(또는 현재 블록의 서브 블록)에 대한 레지듀얼에 관한 정보를 생성하는 과정은 도 14의 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 도 14의 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
도 15는 본 문서에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다. 도 15에서 개시된 방법은 도 3에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 15의 S1500은 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, S1510 내지 S1520은 상기 디코딩 장치의 영상 분할부, 예측부 및 가산부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 현재 블록의 레지듀얼에 관한 정보를 획득하는 과정은 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플을 도출하는 과정은 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있다.
디코딩 장치는 파티셔닝 정보를 포함하는 영상 정보를 획득한다(S1500). 디코딩 장치는 비트스트림을 통하여 상기 파티셔닝 정보를 포함하는 상기 영상 정보를 획득할 수 있다.
일 예로, 상기 파티셔닝 정보는 현재 블록이 QT(Quad-Tree) 타입으로 분할되는지 분할되는지 여부를 나타내는 제1 플래그를 포함할 수 있다. 여기서, 상기 QT 타입은 상기 현재 블록이 4개의 (W/2)x(H/2) 사이즈의 서브 블록들로 분할되는 분할 타입을 나타낼 수 있다. 상기 W는 상기 현재 블록의 폭을 나타낼 수 있고, 상기 H는 상기 현재 블록의 높이를 나타낼 수 있다.
또한, 상기 제1 플래그의 값이 0인 경우, 상기 파티셔닝 정보는 제2 플래그 및 제3 플래그를 포함할 수 있다. 상기 제2 플래그는 상기 현재 블록의 분할 방향을 나타낼 수 있고, 상기 제3 플래그는 상기 현재 블록의 분할 타입이 BT(Binary-Tree) 타입인지 TT(Ternary-Tree) 타입인지 여부를 나타낼 수 있다. 상기 제1 플래그를 나타내는 신텍스 요소는 split_qt_flag 일 수 있고, 상기 제2 플래그를 나타내는 신텍스 요소는 mtt_split_cu_vertical_flag 일 수 있고, 상기 제3 플래그를 나타내는 신텍스 요소는 mtt_split_cu_binary_flag 일 수 있다.
또한, 예를 들어, 상기 영상 정보는 최소 루마 블록 사이즈를 나타내는 정보를 포함할 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set) 단위로 시그널링될 수 있다. 즉, 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set)로 시그널링될 수 있다. 또한, 예를 들어, 상기 영상 정보는 최소 크로마 블록 사이즈를 나타내는 정보를 포함할 수 있다. 상기 최소 크로마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set) 단위로 시그널링될 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보는 CU(Coding Unit), 슬라이스 헤더(slice header), PPS(Picture Parameter Set) 또는 SPS(Sequence Parameter Set)로 시그널링될 수 있다. 상기 최소 루마 블록 사이즈를 나타내는 정보를 나타내는 신텍스 요소는 log2_min_cu_pixel_num_luma_minus4 일 수 있고, 상기 최소 크로마 블록 사이즈를 나타내는 정보를 나타내는 신텍스 요소는 log2_min_cu_pixel_num_chroma_minus2 일 수 있다.
한편, 상기 영상 정보는 상기 현재 블록 또는 서브 블록들에 예측 관련 정보를 포함할 수 있다. 상기 예측 관련 정보는 상기 현재 블록 또는 상기 서브 블록들에 적용되는 인터 예측 또는 인트라 예측에 대한 정보를 나타낼 수 있다.
디코딩 장치는 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단한다(S1510). 디코딩 장치는 상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단할 수 있다. 상기 현재 블록의 사이즈는 상기 현재 블록의 샘플수를 나타낼 수 있다. 또는, 상기 현재 블록의 사이즈는 상기 현재 블록의 폭 또는 높이를 나타낼 수 있다. 예를 들어, 상기 현재 블록의 분할 타입이 수직 바이너리 타입 또는 수직 터너리 타입인 경우, 상기 현재 블록의 사이즈는 상기 현재 블록의 폭일 수 있고, 상기 현재 블록의 분할 타입이 수평 바이너리 타입 또는 수평 터너리 타입인 경우, 상기 현재 블록의 사이즈는 상기 현재 블록의 높이일 수 있다.
예를 들어, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다. 또한, 상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 상기 최소 크로마 블록 사이즈보다 큰 경우, 상기 현재 블록을 분할하는 것으로 판단될 수 있다.
예를 들어, 상기 현재 블록이 상기 크로마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 2x2 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다.
또한, 예를 들어, 상기 현재 블록이 루마 블록이고, 상기 현재 블록의 사이즈가 최소 루마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다. 또한, 상기 현재 블록이 루마 블록이고, 상기 현재 블록의 사이즈가 상기 최소 루마 블록 사이즈보다 큰 경우, 상기 현재 블록을 분할하는 것으로 판단될 수 있다.
예를 들어, 상기 현재 블록이 상기 루마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 4x4 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단될 수 있다.
한편, 상기 최소 크로마 블록 사이즈는 다음과 같이 도출될 수 있다.
일 예로, 상기 최소 크로마 블록 사이즈는 기설정된 값으로 도출될 수 있다. 예를 들어, 상기 최소 크로마 블록 사이즈는 8, 16 또는 32일 수 있다.
또는, 일 예로, 상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 도출될 수 있다. 예를 들어, 상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 8, 16 또는 32로 도출될 수 있다.
또한, 상기 최소 루마 블록 사이즈는 다음과 같이 도출될 수 있다.
일 예로, 상기 최소 루마 블록 사이즈는 기설정된 값으로 도출될 수 있다. 예를 들어, 상기 최소 루마 블록 사이즈는 16, 32 또는 64일 수 있다.
또는, 일 예로, 상기 최소 루마 블록 사이즈는 상기 최소 루마 블록 사이즈를 나타내는 정보를 기반으로 도출될 수 있다. 예를 들어, 상기 최소 루마 블록 사이즈는 상기 최소 루마 블록 사이즈를 나타내는 정보를 기반으로 16, 32 또는 64로 도출될 수 있다.
디코딩 장치는 상기 판단된 현재 블록의 분할 여부를 기반으로 상기 현재 블록을 디코딩 또는 상기 현재 블록의 서브블록들을 디코딩한다(S1520).
일 예로, 상기 현재 블록을 분할하는 것으로 판단된 경우, 디코딩 장치는 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩할 수 있다.
예를 들어, 상기 현재 블록을 분할하는 것으로 판단된 경우, 디코딩 장치는 상기 파티셔닝 정보를 기반으로 상기 현재 블록에 대한 분할 타입을 도출할 수 있고, 상기 분할 타입에 따라서 상기 현재 블록을 상기 서브 블록들로 분할할 수 있다.
예를 들어, 상기 파티셔닝 정보는 상기 제1 플래그를 포함할 수 있다. 상기 제1 플래그의 값이 1인 경우, 디코딩 장치는 QT 타입에 따라서 상기 현재 블록을 상기 서브 블록들로 분할할 수 있다. 상기 QT 타입은 4개의 (W/2)x(H/2) 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있다. 여기서, W 는 상기 현재 블록의 폭을 나타낼 수 있고, 상기 H는 상기 현재 블록의 높이일 수 있다.
또한, 예를 들어, 상기 제1 플래그의 값이 0인 경우, 디코딩 장치는 상기 제2 플래그 및 상기 제3 플래그를 기반으로 도출된 상기 현재 블록의 상기 분할 타입을 통하여 상기 현재 블록을 상기 서브 블록들로 분할할 수 있다. 상기 제1 플래그 및 상기 제3 플래그를 기반으로 도출되는 상기 분할 타입은 수평 터너리(horizontal ternary) 타입, 수평 바이너리(horizontal binary) 타입, 수직 터너리(vertical ternary) 타입, 수직 바이너리(vertical binary) 타입 중 하나일 수 있다. 예를 들어, 상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 0인 경우, 상기 분할 타입은 수평 터너리(horizontal ternary) 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 1인 경우, 상기 분할 타입은 수평 바이너리(horizontal binary) 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 0인 경우, 상기 분할 타입은 수직 터너리(vertical ternary) 타입으로 도출될 수 있고, 상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 1인 경우, 상기 분할 타입은 수직 바이너리(vertical binary) 타입으로 도출될 수 있다.
상기 수평 터너리 타입은 2개의 Wx(H/4) 사이즈의 서브 블록들 및 Wx(H/2) 사이즈의 서브 블록으로 분할되되, 상기 Wx(H/2) 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 상기 수직 터너리 타입은 2개의 (W/4)xH 사이즈의 서브 블록들 및 (W/2)xH 사이즈의 서브 블록으로 분할되되, 상기 (W/2)xH 사이즈의 서브 블록이 중앙 서브 블록인 타입을 나타낼 수 있다. 또한, 상기 수평 바이너리 타입은 2개의 Wx(H/2) 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있고, 상기 수직 바이너리 타입은 2개의 (W/2)xH 사이즈의 서브 블록들로 분할되는 타입을 나타낼 수 있다.
이후, 디코딩 장치는 상기 서브 블록들을 디코딩할 수 있다.
예를 들어, 상술한 내용과 같이 디코딩 장치는 서브 블록들에 대한 예측을 수행하고, 상기 서브 블록들에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)들을 생성할 수 있다. 디코딩 장치는 상기 예측 관련 정보를 기반으로 상기 서브 블록들 각각에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 각 서브 블록에 대한 구체적인 인트라/인터 예측 모드를 결정할 수 있다. 다음으로, 디코딩 장치는 상술한 다양한 예측 방법을 기반으로 예측 샘플들을 생성할 수 있다.
디코딩 장치는 상기 예측 샘플들을 기반으로 복원 샘플들을 생성할 수 있다. 예를 들어, 디코딩 장치는 상기 비트스트림으로부터 상기 서브 블록들에 대한 레지듀얼에 관한 정보를 수신할 수 있다. 상기 레지듀얼에 관한 정보는 레지듀얼 샘플에 관한 변환 계수를 포함할 수 있다. 디코딩 장치는 상기 레지듀얼에 관한 정보를 기반으로 상기 서브 블록들에 대한 상기 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)들을 도출할 수 있다. 이 경우 디코딩 장치는 상기 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 상기 복원 샘플들을 생성할 수 있다. 디코딩 장치는 상기 복원 샘플을 기반으로 복원 블록 또는 복원 픽처를 도출할 수 있다. 이후 디코딩 장치는 필요에 따라 주관적/객관적 화질을 향상시키기 위하여 디블록킹 필터링 및/또는 SAO 절차와 같은 인루프 필터링 절차를 상기 복원 픽처에 적용할 수 있음은 상술한 바와 같다.
한편, 상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 디코딩 장치는 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 디코딩할 수 있다.
예를 들어, 상술한 내용과 같이 디코딩 장치는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 디코딩 장치는 상기 예측 관련 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 현재 블록에 대한 구체적인 인트라/인터 예측 모드를 결정할 수 있다. 다음으로, 디코딩 장치는 상술한 다양한 예측 방법을 기반으로 예측 샘플을 생성할 수 있다.
디코딩 장치는 상기 예측 샘플을 기반으로 복원 샘플을 생성할 수 있다. 예를 들어, 디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 레지듀얼에 관한 정보를 수신할 수 있다. 상기 레지듀얼에 관한 정보는 레지듀얼 샘플에 관한 변환 계수를 포함할 수 있다. 디코딩 장치는 상기 레지듀얼에 관한 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)을 도출할 수 있다. 이 경우 디코딩 장치는 상기 예측 샘플 및 상기 레지듀얼 샘플을 기반으로 상기 복원 샘플을 생성할 수 있다. 디코딩 장치는 상기 복원 샘플을 기반으로 복원 블록 또는 복원 픽처를 도출할 수 있다. 이후 디코딩 장치는 필요에 따라 주관적/객관적 화질을 향상시키기 위하여 디블록킹 필터링 및/또는 SAO 절차와 같은 인루프 필터링 절차를 상기 복원 픽처에 적용할 수 있음은 상술한 바와 같다.
도 16은 본 문서에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다. 도 15에서 개시된 방법은 도 16에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 16의 상기 디코딩 장치의 엔트로피 디코딩부는 도 15의 S1500을 수행할 수 있고, 도 16의 상기 디코딩 장치의 영상 분할부, 예측부 및 가산부는 도 15의 S1510 내지 S1520을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 현재 블록의 레지듀얼에 관한 정보를 포함하는 영상 정보를 획득하는 과정은 도 16의 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플들을 도출하는 과정은 도 16의 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있다.
상술한 본 문서에 따르면 영상 분할을 효과적으로 수행하여 영상 코딩 효율을 높일 수 있다.
또한, 본 문서에 따르면 특정 사이즈 이하의 루마 블록 및/또는 크로마 블록으로 분할됨을 제한함으로써 워스트 케이스 데이터 처리량(worst case data throughput)을 줄일 수 있고, 이를 통하여 인코딩 및 디코딩 처리 속도를 효율적으로 단축시킬 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 문서는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 문서의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 문서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 이 경우 구현을 위한 정보(ex. information on instructions) 또는 알고리즘이 디지털 저장 매체에 저장될 수 있다.
또한, 본 문서의 실시예들이 적용되는 디코딩 장치 및 인코딩 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 운송 수단 단말 (ex. 차량 단말, 비행기 단말, 선박 단말 등) 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.
또한, 본 문서의 실시예들이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 문서에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 문서의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 문서의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
도 17은 본 문서의 실시예들이 적용되는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 문서의 실시예들이 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 문서의 실시예들이 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다. 상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.

Claims (15)

  1. 디코딩 장치에 의하여 수행되는 영상 디코딩 방법에 있어서,
    파티셔닝 정보를 포함하는 영상 정보를 획득하는 단계;
    현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하는 단계; 및
    상기 판단된 현재 블록의 분할 여부를 기반으로 상기 현재 블록을 디코딩 또는 상기 현재 블록의 서브 블록들을 디코딩하는 단계를 포함하고,
    상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 상기 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩하고,
    상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 디코딩하고
    상기 현재 블록이 크로마 블록이고 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 현재 블록이 상기 크로마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 2x2 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  3. 제1항에 있어서,
    상기 현재 블록의 사이즈는 상기 현재 블록의 샘플 수를 나타내는 것을 특징으로 하는 영상 디코딩 방법.
  4. 제3항에 있어서,
    상기 최소 크로마 블록 사이즈는 16인 것을 특징으로 하는 영상 디코딩 방법.
  5. 제4항에 있어서,
    상기 영상 정보는 최소 크로마 블록 사이즈를 나타내는 정보를 포함하고,
    상기 최소 크로마 블록 사이즈는 상기 최소 크로마 블록 사이즈를 나타내는 정보를 기반으로 도출되는 것을 특징으로 하는 영상 디코딩 방법.
  6. 제1항에 있어서,
    상기 현재 블록이 루마 블록이고, 상기 현재 블록의 사이즈가 최소 루마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  7. 제6항에 있어서,
    상기 영상 정보는 최소 루마 블록 사이즈를 나타내는 정보를 포함하고,
    상기 최소 루마 블록 사이즈는 상기 최소 루마 블록 사이즈를 나타내는 정보를 기반으로 도출되는 것을 특징으로 하는 영상 디코딩 방법.
  8. 제7항에 있어서,
    상기 최소 루마 블록 사이즈를 나타내는 정보는 SPS(Sequence Parameter Set)으로 시그널링되는 것을 특징으로 하는 영상 디코딩 방법.
  9. 제1항에 있어서,
    상기 파티셔닝 정보는 상기 현재 블록이 QT(Quad-Tree) 타입으로 분할되는지 여부를 나타내는 제1 플래그를 포함하고,
    상기 제1 플래그의 값이 0인 경우, 상기 파티셔닝 정보는 제2 플래그 및 제3 플래그를 포함하고,
    상기 제2 플래그는 상기 현재 블록의 분할 방향을 나타내고,
    상기 제3 플래그는 상기 현재 블록의 분할 타입이 BT(Binary-Tree) 타입인지 TT(Ternary-Tree) 타입인지 여부를 나타내는 것을 특징으로 하는 영상 디코딩 방법.
  10. 제9항에 있어서,
    상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 파티셔닝 정보를 기반으로 상기 현재 블록을 상기 서브 블록들로 분할하고, 상기 서브 블록들을 디코딩하는 단계는,
    상기 제1 플래그의 값이 0인 경우, 상기 제2 플래그 및 상기 제3 플래그를 기반으로 도출된 상기 현재 블록의 상기 분할 타입을 통하여 상기 현재 블록을 상기 서브 블록들로 분할하는 단계를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  11. 제10항에 있어서,
    상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 0인 경우, 상기 분할 타입은 수평 터너리(horizontal ternary) 타입으로 도출되고,
    상기 제2 플래그의 값이 0이고, 상기 제3 플래그의 값이 1인 경우, 상기 분할 타입은 수평 바이너리(horizontal binary) 타입으로 도출되고,
    상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 0인 경우, 상기 분할 타입은 수직 터너리(vertical ternary) 타입으로 도출되고,
    상기 제2 플래그의 값이 1이고, 상기 제3 플래그의 값이 1인 경우, 상기 분할 타입은 수직 바이너리(vertical binary) 타입으로 도출되는 것을 특징으로 하는 영상 디코딩 방법.
  12. 인코딩 장치에 의하여 수행되는 영상 인코딩 방법에 있어서,
    현재 블록에 대한 분할 타입을 결정하는 단계;
    상기 현재 블록의 사이즈를 기반으로 상기 현재 블록의 분할 여부를 판단하는 단계;
    상기 현재 블록을 분할하지 않는 것으로 판단된 경우, 상기 현재 블록을 분할하지 않고, 상기 현재 블록을 분할하는 것으로 판단된 경우, 상기 분할 타입을 기반으로 상기 현재 블록을 서브 블록들로 분할하는 단계; 및
    상기 현재 블록에 대한 분할 타입을 나타내는 파티셔닝 정보를 포함한 영상 정보를 인코딩하는 단계를 포함하되,
    상기 현재 블록이 크로마 블록이고, 상기 현재 블록의 사이즈가 최소 크로마 블록 사이즈 이하인 경우, 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 하는 영상 인코딩 방법.
  13. 제12항에 있어서,
    상기 현재 블록이 상기 크로마 블록인 경우, 상기 현재 블록에서 분할되어 도출되는 서브 블록의 사이즈가 2x2 인 경우에는 상기 현재 블록을 분할하지 않는 것으로 판단되는 것을 특징으로 하는 영상 인코딩 방법.
  14. 제12항에 있어서,
    상기 현재 블록의 사이즈는 샘플 수인 것을 특징으로 하는 영상 인코딩 방법.
  15. 제14항에 있어서,
    상기 최소 크로마 블록 사이즈는 16인 것을 특징으로 하는 영상 인코딩 방법.
PCT/KR2019/012196 2018-09-21 2019-09-20 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치 WO2020060259A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202311110124.0A CN116962692A (zh) 2018-09-21 2019-09-20 解码和编码设备、存储介质及发送用于图像的数据的设备
CN202311110102.4A CN116996672A (zh) 2018-09-21 2019-09-20 视频解码和编码方法、存储介质及数据的发送方法
CN202311109742.3A CN116962691A (zh) 2018-09-21 2019-09-20 解码和编码设备、存储介质及发送用于图像的数据的设备
CN202311109417.7A CN116962690A (zh) 2018-09-21 2019-09-20 视频解码和编码方法、存储介质及数据的发送方法
CN201980066015.9A CN112840649A (zh) 2018-09-21 2019-09-20 图像编码系统中通过使用块分割对图像解码的方法及其装置
CN202311126831.9A CN117041575A (zh) 2018-09-21 2019-09-20 视频解码和编码方法、存储介质及数据的发送方法
US17/277,639 US11368687B2 (en) 2018-09-21 2019-09-20 Method for decoding image by using block partitioning in image coding system, and device therefor
US17/740,037 US11882280B2 (en) 2018-09-21 2022-05-09 Method for decoding image by using block partitioning in image coding system, and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862734292P 2018-09-21 2018-09-21
US62/734,292 2018-09-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/277,639 A-371-Of-International US11368687B2 (en) 2018-09-21 2019-09-20 Method for decoding image by using block partitioning in image coding system, and device therefor
US17/740,037 Continuation US11882280B2 (en) 2018-09-21 2022-05-09 Method for decoding image by using block partitioning in image coding system, and device therefor

Publications (1)

Publication Number Publication Date
WO2020060259A1 true WO2020060259A1 (ko) 2020-03-26

Family

ID=69888581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012196 WO2020060259A1 (ko) 2018-09-21 2019-09-20 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치

Country Status (3)

Country Link
US (2) US11368687B2 (ko)
CN (6) CN116962690A (ko)
WO (1) WO2020060259A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023039859A1 (zh) * 2021-09-17 2023-03-23 Oppo广东移动通信有限公司 视频编解码方法、设备、系统、及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
JP2016106482A (ja) * 2009-08-12 2016-06-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 改善されたイントラ・クロマ符号化および復号のための方法および装置
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet
KR20180000336A (ko) * 2010-04-16 2018-01-02 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2018169267A1 (ko) * 2017-03-13 2018-09-20 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE033566T2 (hu) * 2009-10-01 2017-12-28 Sk Telecom Co Ltd Berendezés kép dekódolására hasított réteg felhasználásával
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
CN105684442B (zh) * 2013-07-23 2020-02-21 英迪股份有限公司 用于编码/解码图像的方法
WO2015071526A1 (en) 2013-11-18 2015-05-21 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
WO2018045944A1 (en) * 2016-09-06 2018-03-15 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
KR20190020161A (ko) * 2016-10-10 2019-02-27 삼성전자주식회사 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106482A (ja) * 2009-08-12 2016-06-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 改善されたイントラ・クロマ符号化および復号のための方法および装置
KR20180000336A (ko) * 2010-04-16 2018-01-02 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet
WO2018169267A1 (ko) * 2017-03-13 2018-09-20 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법

Also Published As

Publication number Publication date
US11368687B2 (en) 2022-06-21
CN117041575A (zh) 2023-11-10
US20220329796A1 (en) 2022-10-13
CN116996672A (zh) 2023-11-03
US20210352285A1 (en) 2021-11-11
CN116962691A (zh) 2023-10-27
CN116962692A (zh) 2023-10-27
CN112840649A (zh) 2021-05-25
CN116962690A (zh) 2023-10-27
US11882280B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2019190181A1 (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2020246849A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020171632A1 (ko) Mpm 리스트 기반 인트라 예측 방법 및 장치
WO2020256344A1 (ko) 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링
WO2020060282A1 (ko) 변환 계수 레벨 코딩 방법 및 그 장치
WO2020071879A1 (ko) 변환 계수 코딩 방법 및 그 장치
WO2021040400A1 (ko) 팔레트 모드 기반 영상 또는 비디오 코딩
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020116961A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021096057A1 (ko) 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2020141879A1 (ko) 영상 코딩 시스템에서 서브 블록 기반 시간적 머지 후보를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020145604A1 (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020071832A1 (ko) 변환 계수 코딩 방법 및 그 장치
WO2020256346A1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩
WO2021040398A1 (ko) 팔레트 이스케이프 코딩 기반 영상 또는 비디오 코딩
WO2020256506A1 (ko) 다중 참조 라인 인트라 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2019199093A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020180043A1 (ko) Lmcs에 기반한 영상 코딩 방법 및 그 장치
WO2020145620A1 (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020141856A1 (ko) 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2020060259A1 (ko) 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치
WO2021040402A1 (ko) 팔레트 코딩 기반 영상 또는 비디오 코딩
WO2021137591A1 (ko) Ols dpb 파라미터 인덱스를 포함하는 영상 정보 기반 영상 디코딩 방법 및 그 장치
WO2020256345A1 (ko) 영상 코딩 시스템에서 변환 커널 세트에 관한 정보에 대한 컨텍스트 코딩

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862959

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862959

Country of ref document: EP

Kind code of ref document: A1