WO2023195765A1 - 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 - Google Patents

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2023195765A1
WO2023195765A1 PCT/KR2023/004579 KR2023004579W WO2023195765A1 WO 2023195765 A1 WO2023195765 A1 WO 2023195765A1 KR 2023004579 W KR2023004579 W KR 2023004579W WO 2023195765 A1 WO2023195765 A1 WO 2023195765A1
Authority
WO
WIPO (PCT)
Prior art keywords
tree structure
current block
block
geometric
tree
Prior art date
Application number
PCT/KR2023/004579
Other languages
English (en)
French (fr)
Inventor
허진
박승욱
Original Assignee
현대자동차주식회사
기아주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아주식회사 filed Critical 현대자동차주식회사
Priority claimed from KR1020230044609A external-priority patent/KR20230144479A/ko
Publication of WO2023195765A1 publication Critical patent/WO2023195765A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to a video encoding/decoding method, device, and recording medium storing bitstreams. Specifically, the present invention relates to an image encoding/decoding method and device using block division according to a geometric division tree structure, and a recording medium storing a bitstream.
  • samples predicted by the same prediction method are grouped into one block, and when samples of the block are predicted and encoded according to the same prediction method, the prediction method of the sample is Encoding information can be greatly reduced. Therefore, in order to increase the prediction accuracy of image samples, a method of precisely dividing the image into blocks according to the characteristics of the image is being discussed.
  • the purpose of the present invention is to provide a video encoding/decoding method and device with improved encoding/decoding efficiency by using partitioning according to a geometric partition tree structure.
  • Another object of the present invention is to provide a recording medium that stores a bitstream generated by the video decoding method or device provided by the present invention.
  • An image decoding method includes determining a tree structure for partitioning the current block among candidate tree structures allowed for the current block, based on block partition information obtained from a bitstream. , dividing the current block according to the determined tree structure, and decoding a sub-block of the current block divided from the current block.
  • the candidate tree structures include a geometric split tree structure
  • the geometric split tree structure may include at least one of a triangular photo tree structure, a geometric binary tree structure, and an asymmetric ternary tree structure.
  • the current block when the tree structure of the current block is a triangular photo tree structure, the current block may be divided into four triangular blocks of the same size.
  • the geometric binary tree structure may include a triangular binary tree structure and a square binary tree structure.
  • the current block when the tree structure of the current block is a triangular binary tree structure, the current block may be divided into two triangular blocks of the same size.
  • the current block when the tree structure of the current block is a rectangular binary tree structure, the current block may be divided into two non-rectangular rectangular blocks.
  • the current block when the tree structure of the current block is an asymmetric ternary tree structure, the current block may be divided into two triangular blocks and one square block.
  • the block division information includes a triangle photo tree flag indicating a division method of the current block among a rectangular photo tree structure and a triangle photo tree structure, and a division of the current block among a rectangular binary tree structure and a geometric binary tree structure. It may be characterized by including a geometric binary tree flag indicating a method, and an asymmetric ternary tree flag indicating a partitioning method of the current block among a rectangular ternary tree structure and an asymmetric ternary tree structure.
  • the block division information includes a photo tree flag indicating a division method of the current block among a photo tree structure and a multi-type tree structure, and the triangle photo tree flag is such that the photo tree flag is the current block.
  • the division method of is a photo tree structure, it may be characterized as being obtained from the bitstream.
  • the block division information includes a binary tree flag indicating a division method of the current block among a binary tree structure and a ternary tree structure
  • the geometric binary tree flag includes the binary tree flag. is obtained from the bitstream when the partitioning method of the current block indicates a binary tree structure
  • the asymmetric ternary tree flag is obtained from the bitstream when the binary tree flag indicates that the partitioning method of the current block is a ternary tree structure. It can be characterized as:
  • the block partition information is generated when the geometric binary tree flag indicates that the current block is a geometric binary tree structure and the partitioning method of the current block is a geometric binary tree structure. It further includes a GBT type flag indicating a division method, and when the GBT type flag indicates that the current block is a division method of the current block, a rectangular binary tree direction indicating a rectangular binary tree direction of the current block. It may be characterized by further including a flag.
  • the block partition information is an asymmetric three-tree tree indicating the asymmetric three-tree direction of the current block when the asymmetric three-tree flag indicates that the current block is a partition method of the current block is an asymmetric three-tree structure. It may further include a direction flag.
  • the block division information further includes a division direction flag indicating a division direction of the current block among vertical and horizontal directions when the binary tree structure or the ternary tree structure is applied to the current block. And, when the binary tree structure is applied to the current block, the binary tree structure applied to the current block is determined according to the division direction of the current block, and when the ternary tree structure is applied to the current block, Depending on the division direction of the current block, a ternary tree structure applied to the current block may be determined.
  • the geometric partition tree structure in the upper data unit of the current block, it is determined that the geometric partition tree structure is not allowed for the current block, or based on at least one of the size, shape, color component, and slice type of the current block.
  • the geometric partition tree structure when the geometric partition tree structure is not applied to the current block, the triangular photo tree flag, the geometric binary tree flag, and the asymmetric ternary tree flag may not be obtained from the bitstream.
  • the step of decoding the sub-block of the current block includes, when the current block is divided according to the geometric partition tree structure, a plurality of transform regions from the current block according to the area of the sub-block. determining, and rearranging residual signals of a plurality of transform blocks corresponding to the current block into the plurality of transform regions, combining the plurality of transform regions to create a residual block containing the residual signal of the current block. It may be characterized as including the step of determining .
  • rearranging the residual signals of the plurality of transform blocks corresponding to the current block in the plurality of transform areas includes scanning the residual signals of the plurality of transform blocks according to a predetermined first scan order. It may be characterized by including a step of rearranging the scanned residual signal in the plurality of transformation areas according to a predetermined second scan order.
  • the predetermined first scan order is determined as one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan
  • the predetermined second scan order is one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan. It can be characterized as being determined as one.
  • the lower block may not be split in response to the geometric partition tree structure being determined as the tree structure of the current block.
  • An image encoding method includes determining a tree structure for partitioning the current block among candidate tree structures allowed for the current block, and encoding block partition information indicating the tree structure. , dividing the current block according to the determined tree structure, and encoding a sub-block of the current block divided from the current block.
  • a non-transitory computer-readable recording medium stores a bitstream generated by the video encoding method.
  • the transmission method according to an embodiment of the present invention transmits a bitstream generated by the video encoding method.
  • the present invention proposes a sophisticated partitioning method of blocks such as coding units according to a geometric partition tree structure. As blocks are elaborately divided, prediction accuracy can be improved, thereby increasing coding efficiency.
  • the present invention proposes a residual signal rearrangement method for transforming blocks to which a geometric partition tree structure is applied. Depending on the rearrangement of the residual signal, the conversion efficiency of the block to which the geometric partition tree structure is applied can be increased.
  • the present invention provides a syntax structure for determining a block division method that reflects the geometric division tree structure.
  • various tree structures may be selected, including a geometric partition tree structure.
  • FIG. 1 is a block diagram showing the configuration of an encoding device to which the present invention is applied according to an embodiment.
  • Figure 2 is a block diagram showing the configuration of a decoding device according to an embodiment to which the present invention is applied.
  • Figure 3 is a diagram schematically showing a video coding system to which the present invention can be applied.
  • Figure 4 shows an example of a photo tree structure and a multi-type tree structure.
  • Figure 5 shows a triangle photo tree structure (Triangle quad tree, TQT).
  • FIG. 6 shows a geometric binary tree (GBT).
  • Figure 7 shows an asymmetric ternary tree (ATT) structure according to asymmetric partitioning.
  • Figure 8 shows the order of rearranging residual signals to apply transformation and quantization to each region divided in a geometric partition tree structure.
  • Figure 9 illustrates an example of a method for rearranging residual signals in a triangular photo tree structure.
  • FIG. 10 explains an example of a method for rearranging residual signals into two transform blocks in a vertical triangular binary tree structure.
  • FIG. 11 explains an example of a method for rearranging residual signals into four transform blocks in a vertical triangle binary tree structure.
  • FIG. 12 explains an example of a method for rearranging residual signals into three transform blocks in a vertical triangular binary tree structure.
  • FIG. 13 explains an example of a method for rearranging residual signals into two transform blocks in a vertical right rectangular binary tree structure.
  • FIG. 14 explains an example of a method for rearranging residual signals into four transform blocks in a vertical right rectangular binary tree structure.
  • Figure 15 explains another embodiment of a method for rearranging residual signals into four transform blocks in a vertical right rectangular binary tree structure.
  • FIG. 16 explains an example of a method for rearranging residual signals into three transform blocks in a vertical right rectangular binary tree structure.
  • Figure 17 explains an example of a method for rearranging residual signals into four transform blocks in a vertical right ternary tree structure.
  • Figure 18 explains an example of a method for rearranging residual signals into three transform blocks in an asymmetric ternary tree structure.
  • Figure 19 shows an example of a syntax structure for determining a block division method reflecting a geometric division tree structure.
  • Figure 20 shows an example of a syntax structure for determining a block division method reflecting a geometric division tree structure.
  • Figure 21 shows an example of a syntax structure for determining a geometric binary tree structure.
  • Figure 22 shows an example of a syntax structure for determining an asymmetric ternary tree structure.
  • Figure 23 shows an example of a video decoding method using a tree structure determination method for block division.
  • Figure 24 shows an example of a video encoding method to which a tree structure determination method for block division is applied.
  • Figure 25 exemplarily shows a content streaming system to which an embodiment according to the present invention can be applied.
  • An image decoding method includes determining a tree structure for partitioning the current block among candidate tree structures allowed for the current block, based on block partition information obtained from a bitstream. , dividing the current block according to the determined tree structure, and decoding a sub-block of the current block divided from the current block.
  • first and second may be used to describe various components, but the components should not be limited by the terms.
  • the above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • each component is listed and included as a separate component for convenience of explanation, and at least two of each component can be combined to form one component, or one component can be divided into a plurality of components to perform a function, and each of these components can perform a function.
  • Integrated embodiments and separate embodiments of the constituent parts are also included in the scope of the present invention as long as they do not deviate from the essence of the present invention.
  • the terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. Additionally, some of the components of the present invention may not be essential components that perform essential functions in the present invention, but may be merely optional components to improve performance. The present invention can be implemented by including only essential components for implementing the essence of the present invention excluding components used only to improve performance, and a structure including only essential components excluding optional components used only to improve performance. is also included in the scope of rights of the present invention.
  • the term “at least one” may mean one of numbers greater than 1, such as 1, 2, 3, and 4. In embodiments, the term “a plurality of” may mean one of two or more numbers, such as 2, 3, and 4.
  • video may refer to a single picture that constitutes a video, or may refer to the video itself.
  • encoding and/or decoding of a video may mean “encoding and/or decoding of a video,” or “encoding and/or decoding of one of the videos that make up a video.” It may be possible.
  • the target image may be an encoding target image that is the target of encoding and/or a decoding target image that is the target of decoding. Additionally, the target image may be an input image input to an encoding device or may be an input image input to a decoding device. Here, the target image may have the same meaning as the current image.
  • image may be used with the same meaning and may be used interchangeably.
  • target block may be an encoding target block that is the target of encoding and/or a decoding target block that is the target of decoding. Additionally, the target block may be a current block that is currently the target of encoding and/or decoding. For example, “target block” and “current block” may be used with the same meaning and may be used interchangeably.
  • a Coding Tree Unit may be composed of two chrominance component (Cb, Cr) coding tree blocks related to one luminance component (Y) coding tree block (CTB). .
  • sample may represent the basic unit constituting the block.
  • FIG. 1 is a block diagram showing the configuration of an encoding device to which the present invention is applied according to an embodiment.
  • the encoding device 100 may be an encoder, a video encoding device, or an image encoding device.
  • a video may contain one or more images.
  • the encoding device 100 can sequentially encode one or more images.
  • the encoding device 100 includes an image segmentation unit 110, an intra prediction unit 120, a motion prediction unit 121, a motion compensation unit 122, a switch 115, a subtractor 113, A transform unit 130, a quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 117, a filter unit 180, and a reference picture buffer 190. It can be included.
  • the encoding device 100 can generate a bitstream including encoded information through encoding of an input image and output the generated bitstream.
  • the generated bitstream can be stored in a computer-readable recording medium or streamed through wired/wireless transmission media.
  • the image segmentation unit 110 may divide the input image into various forms to increase the efficiency of video encoding/decoding.
  • the input video consists of multiple pictures, and one picture can be hierarchically divided and processed for compression efficiency, parallel processing, etc.
  • one picture can be divided into one or multiple tiles or slices and further divided into multiple CTUs (Coding Tree Units).
  • one picture may first be divided into a plurality of sub-pictures defined as a group of rectangular slices, and each sub-picture may be divided into the tiles/slices.
  • subpictures can be used to support the function of partially independently encoding/decoding and transmitting a picture.
  • bricks can be created by dividing tiles horizontally.
  • a brick can be used as a basic unit of intra-picture parallel processing.
  • one CTU can be recursively divided into a quad tree (QT: Quadtree), and the end node of the division can be defined as a CU (Coding Unit).
  • CU can be divided into PU (Prediction Unit), which is a prediction unit, and TU (Transform Unit), which is a transformation unit, and prediction and division can be performed. Meanwhile, CUs can be used as prediction units and/or transformation units themselves.
  • each CTU may be recursively partitioned into not only a quad tree (QT) but also a multi-type tree (MTT).
  • CTU can begin to be divided into a multi-type tree from the end node of QT, and MTT can be composed of BT (Binary Tree) and TT (Triple Tree).
  • MTT can be composed of BT (Binary Tree) and TT (Triple Tree).
  • the MTT structure can be divided into vertical binary split mode (SPLIT_BT_VER), horizontal binary split mode (SPLIT_BT_HOR), vertical three-way split mode (SPLIT_TT_VER), and horizontal three-way split mode (SPLIT_TT_HOR).
  • the minimum block size (MinQTSize) of the quad tree of the luminance block can be set to 16x16
  • the maximum block size (MaxBtSize) of the binary tree can be set to 128x128, and the maximum block size (MaxTtSize) of the ternary tree can be set to 64x64.
  • the minimum block size (MinBtSize) of the binary tree and the minimum block size (MinTtSize) of the ternary tree can be set to 4x4, and the maximum depth (MaxMttDepth) of the multi-type tree can be set to 4.
  • a dual tree that uses different CTU division structures for the luminance and chrominance components can be applied.
  • the photo tree structure may include a rectangular photo tree structure and a triangular photo tree structure to which geometric division is applied.
  • the ternary tree structure may include a rectangular ternary tree structure and an asymmetric ternary tree structure to which geometric partitioning is applied.
  • the binary tree structure may include a rectangular binary tree structure and a geometric binary tree structure to which geometric partitioning is applied.
  • the luminance and chrominance CTB (Coding Tree Blocks) within the CTU can be divided into a single tree that shares the coding tree structure.
  • the encoding device 100 may perform encoding on an input image in intra mode and/or inter mode.
  • the encoding device 100 may perform encoding on the input image in a third mode (eg, IBC mode, Palette mode, etc.) other than the intra mode and inter mode.
  • a third mode eg, IBC mode, Palette mode, etc.
  • the third mode may be classified as intra mode or inter mode for convenience of explanation. In the present invention, the third mode will be classified and described separately only when a detailed explanation is needed.
  • intra mode may mean intra-screen prediction mode
  • inter mode may mean inter-screen prediction mode.
  • the encoding device 100 may generate a prediction block for an input block of an input image. Additionally, after the prediction block is generated, the encoding device 100 may encode the residual block using the residual of the input block and the prediction block.
  • the input image may be referred to as the current image that is currently the target of encoding.
  • the input block may be referred to as the current block that is currently the target of encoding or the encoding target block.
  • the intra prediction unit 120 may use samples of blocks that have already been encoded/decoded around the current block as reference samples.
  • the intra prediction unit 120 may perform spatial prediction for the current block using a reference sample and generate prediction samples for the input block through spatial prediction.
  • intra prediction may mean prediction within the screen.
  • non-directional prediction modes such as DC mode and Planar mode and directional prediction modes (e.g., 65 directions) can be applied.
  • the intra prediction method can be expressed as an intra prediction mode or an intra prediction mode.
  • the motion prediction unit 121 can search for the area that best matches the input block from the reference image during the motion prediction process and derive a motion vector using the searched area. . At this time, the search area can be used as the area.
  • the reference image may be stored in the reference picture buffer 190.
  • it when encoding/decoding of the reference image is processed, it may be stored in the reference picture buffer 190.
  • the motion compensation unit 122 may generate a prediction block for the current block by performing motion compensation using a motion vector.
  • inter prediction may mean inter-screen prediction or motion compensation.
  • the motion prediction unit 121 and the motion compensation unit 122 can generate a prediction block by applying an interpolation filter to some areas in the reference image.
  • the motion prediction and motion compensation methods of the prediction unit included in the coding unit based on the coding unit include skip mode, merge mode, and improved motion vector prediction ( It is possible to determine whether it is in Advanced Motion Vector Prediction (AMVP) mode or Intra Block Copy (IBC) mode, and inter-screen prediction or motion compensation can be performed depending on each mode.
  • AMVP Advanced Motion Vector Prediction
  • IBC Intra Block Copy
  • AFFINE mode of sub-PU-based prediction based on the inter-screen prediction method, AFFINE mode of sub-PU-based prediction, Subblock-based Temporal Motion Vector Prediction (SbTMVP) mode, and Merge with MVD (MMVD) mode of PU-based prediction, Geometric Partitioning Mode (GPM) ) mode can also be applied.
  • HMVP History based MVP
  • PAMVP Packet based MVP
  • CIIP Combined Intra/Inter Prediction
  • AMVR Adaptive Motion Vector Resolution
  • BDOF Bi-Directional Optical-Flow
  • BCW Bi-predictive with CU Weights
  • BCW Local Illumination Compensation
  • TM Template Matching
  • OBMC Overlapped Block Motion Compensation
  • the subtractor 113 may generate a residual block using the difference between the input block and the prediction block.
  • the residual block may also be referred to as a residual signal.
  • the residual signal may refer to the difference between the original signal and the predicted signal.
  • the residual signal may be a signal generated by transforming, quantizing, or transforming and quantizing the difference between the original signal and the predicted signal.
  • the remaining block may be a residual signal in block units.
  • the transform unit 130 may generate a transform coefficient by performing transformation on the remaining block and output the generated transform coefficient.
  • the transformation coefficient may be a coefficient value generated by performing transformation on the remaining block.
  • the transform unit 130 may skip transforming the remaining blocks.
  • Quantized levels can be generated by applying quantization to the transform coefficients or residual signals.
  • the quantized level may also be referred to as a transform coefficient.
  • the 4x4 luminance residual block generated through intra-screen prediction is transformed using a DST (Discrete Sine Transform)-based basis vector, and the remaining residual blocks are transformed using a DCT (Discrete Cosine Transform)-based basis vector.
  • DST Discrete Sine Transform
  • DCT Discrete Cosine Transform
  • RQT Residual Quad Tree
  • the transform block for one block is divided into a quad tree form, and after performing transformation and quantization on each transform block divided through RQT, when all coefficients become 0,
  • cbf coded block flag
  • MTS Multiple Transform Selection
  • RQT Multiple Transform Selection
  • SBT Sub-block Transform
  • LFNST Low Frequency Non-Separable Transform
  • DCT or DST a secondary transform technology that further transforms the residual signal converted to the frequency domain through DCT or DST.
  • LFNST additionally performs transformation on the 4x4 or 8x8 low-frequency region in the upper left corner, allowing the residual coefficients to be concentrated in the upper left corner.
  • the quantization unit 140 may generate a quantized level by quantizing a transform coefficient or a residual signal according to a quantization parameter (QP), and output the generated quantized level. At this time, the quantization unit 140 may quantize the transform coefficient using a quantization matrix.
  • QP quantization parameter
  • a quantizer using QP values of 0 to 51 can be used.
  • 0 to 63 QP can be used.
  • a DQ (Dependent Quantization) method that uses two quantizers instead of one quantizer can be applied. DQ performs quantization using two quantizers (e.g., Q0, Q1), but even without signaling information about the use of a specific quantizer, the quantizer to be used for the next transformation coefficient is determined based on the current state through a state transition model. It can be applied to be selected.
  • the entropy encoding unit 150 can generate a bitstream by performing entropy encoding according to a probability distribution on the values calculated by the quantization unit 140 or the coding parameter values calculated during the encoding process. and bitstream can be output.
  • the entropy encoding unit 150 may perform entropy encoding on information about image samples and information for decoding the image. For example, information for decoding an image may include syntax elements, etc.
  • the entropy encoding unit 150 may use encoding methods such as exponential Golomb, CAVLC (Context-Adaptive Variable Length Coding), and CABAC (Context-Adaptive Binary Arithmetic Coding) for entropy encoding. For example, the entropy encoding unit 150 may perform entropy encoding using a Variable Length Coding/Code (VLC) table.
  • VLC Variable Length Coding/Code
  • the entropy encoding unit 150 derives a binarization method of the target symbol and a probability model of the target symbol/bin, and then uses the derived binarization method, probability model, and context model. Arithmetic coding can also be performed using .
  • the table probability update method may be changed to a table update method using a simple formula. Additionally, two different probability models can be used to obtain more accurate symbol probability values.
  • the entropy encoder 150 can change a two-dimensional block form coefficient into a one-dimensional vector form through a transform coefficient scanning method to encode the transform coefficient level (quantized level).
  • Coding parameters include information (flags, indexes, etc.) encoded in the encoding device 100 and signaled to the decoding device 200, such as syntax elements, as well as information derived from the encoding or decoding process. It may include and may mean information needed when encoding or decoding an image.
  • signaling a flag or index may mean that the encoder entropy encodes the flag or index and includes it in the bitstream, and the decoder may include the flag or index from the bitstream. This may mean entropy decoding.
  • the encoded current image can be used as a reference image for other images to be processed later. Accordingly, the encoding device 100 can restore or decode the current encoded image, and store the restored or decoded image as a reference image in the reference picture buffer 190.
  • the quantized level may be dequantized in the dequantization unit 160. It may be inverse transformed in the inverse transform unit 170.
  • the inverse-quantized and/or inverse-transformed coefficients may be combined with the prediction block through the adder 117.
  • a reconstructed block may be generated by combining the inverse-quantized and/or inverse-transformed coefficients with the prediction block.
  • the inverse-quantized and/or inverse-transformed coefficient refers to a coefficient on which at least one of inverse-quantization and inverse-transformation has been performed, and may refer to a restored residual block.
  • the inverse quantization unit 160 and the inverse transform unit 170 may be performed as reverse processes of the quantization unit 140 and the transform unit 130.
  • the restored block may pass through the filter unit 180.
  • the filter unit 180 includes a deblocking filter, a sample adaptive offset (SAO), an adaptive loop filter (ALF), a bilateral filter (BIF), and an LMCS (Luma). Mapping with Chroma Scaling) can be applied to restored samples, restored blocks, or restored images as all or part of the filtering techniques.
  • the filter unit 180 may also be referred to as an in-loop filter. At this time, in-loop filter is also used as a name excluding LMCS.
  • the deblocking filter can remove block distortion occurring at the boundaries between blocks. To determine whether to perform a deblocking filter, it is possible to determine whether to apply a deblocking filter to the current block based on the samples included in a few columns or rows included in the block. When applying a deblocking filter to a block, different filters can be applied depending on the required deblocking filtering strength.
  • Sample adaptive offset can correct the offset of the deblocked image with the original image on a sample basis. You can use a method of dividing the samples included in the image into a certain number of regions, then determining the region to perform offset and applying the offset to that region, or a method of applying the offset by considering the edge information of each sample.
  • Bilateral filter can also correct the offset from the original image on a sample basis for the deblocked image.
  • the adaptive loop filter can perform filtering based on a comparison value between the restored image and the original image. After dividing the samples included in the video into predetermined groups, filtering can be performed differentially for each group by determining the filter to be applied to that group. Information related to whether to apply an adaptive loop filter may be signaled for each coding unit (CU), and the shape and filter coefficients of the adaptive loop filter to be applied may vary for each block.
  • CU coding unit
  • LMCS Luma Mapping with Chroma Scaling
  • LM luma-mapping
  • CS chroma scaling
  • This refers to a technology that scales the residual value of the color difference component according to the luminance value.
  • LMCS can be used as an HDR correction technology that reflects the characteristics of HDR (High Dynamic Range) images.
  • the reconstructed block or reconstructed image that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • the restored block that has passed through the filter unit 180 may be part of a reference image.
  • the reference image may be a reconstructed image composed of reconstructed blocks that have passed through the filter unit 180.
  • the stored reference image can then be used for inter-screen prediction or motion compensation.
  • Figure 2 is a block diagram showing the configuration of a decoding device according to an embodiment to which the present invention is applied.
  • the decoding device 200 may be a decoder, a video decoding device, or an image decoding device.
  • the decoding device 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, a motion compensation unit 250, and an adder 201. , it may include a switch 203, a filter unit 260, and a reference picture buffer 270.
  • the decoding device 200 may receive the bitstream output from the encoding device 100.
  • the decoding device 200 may receive a bitstream stored in a computer-readable recording medium or receive a bitstream streamed through a wired/wireless transmission medium.
  • the decoding device 200 may perform decoding on a bitstream in intra mode or inter mode. Additionally, the decoding device 200 can generate a restored image or a decoded image through decoding, and output the restored image or a decoded image.
  • the switch 203 may be switched to intra mode. If the prediction mode used for decoding is the inter mode, the switch 203 may be switched to inter.
  • the decoding device 200 can decode the input bitstream to obtain a reconstructed residual block and generate a prediction block.
  • the decoding device 200 may generate a restored block to be decoded by adding the restored residual block and the prediction block.
  • the block to be decrypted may be referred to as the current block.
  • the entropy decoding unit 210 may generate symbols by performing entropy decoding according to a probability distribution for the bitstream.
  • the generated symbols may include symbols in the form of quantized levels.
  • the entropy decoding method may be the reverse process of the entropy encoding method described above.
  • the entropy decoder 210 can change one-dimensional vector form coefficients into two-dimensional block form through a transform coefficient scanning method in order to decode the transform coefficient level (quantized level).
  • the quantized level may be inversely quantized in the inverse quantization unit 220 and inversely transformed in the inverse transformation unit 230.
  • the quantized level may be generated as a restored residual block as a result of performing inverse quantization and/or inverse transformation.
  • the inverse quantization unit 220 may apply the quantization matrix to the quantized level.
  • the inverse quantization unit 220 and the inverse transform unit 230 applied to the decoding device may use the same technology as the inverse quantization unit 160 and the inverse transform section 170 applied to the above-described encoding device.
  • the intra prediction unit 240 may generate a prediction block by performing spatial prediction on the current block using sample values of already decoded blocks surrounding the decoding target block.
  • the intra prediction unit 240 applied to the decoding device may use the same technology as the intra prediction unit 120 applied to the above-described encoding device.
  • the motion compensation unit 250 may generate a prediction block by performing motion compensation on the current block using a motion vector and a reference image stored in the reference picture buffer 270.
  • the motion compensator 250 may generate a prediction block by applying an interpolation filter to a partial area in the reference image.
  • To perform motion compensation based on the coding unit, it can be determined whether the motion compensation method of the prediction unit included in the coding unit is skip mode, merge mode, AMVP mode, or current picture reference mode, and each mode Motion compensation can be performed according to .
  • the motion compensation unit 250 applied to the decoding device may use the same technology as the motion compensation unit 122 applied to the above-described encoding device.
  • the adder 201 may generate a restored block by adding the restored residual block and the prediction block.
  • the filter unit 260 may apply at least one of inverse-LMCS, deblocking filter, sample adaptive offset, and adaptive loop filter to the reconstructed block or reconstructed image.
  • the filter unit 260 applied to the decoding device may apply the same filtering technology as the filtering technology applied to the filter unit 180 applied to the above-described encoding device.
  • the filter unit 260 may output a restored image.
  • the reconstructed block or reconstructed image may be stored in the reference picture buffer 270 and used for inter prediction.
  • the restored block that has passed through the filter unit 260 may be part of the reference image.
  • the reference image may be a reconstructed image composed of reconstructed blocks that have passed through the filter unit 260.
  • the stored reference image can then be used for inter-screen prediction or motion compensation.
  • Figure 3 is a diagram schematically showing a video coding system to which the present invention can be applied.
  • a video coding system may include an encoding device 10 and a decoding device 20.
  • the encoding device 10 may transmit encoded video and/or image information or data in file or streaming form to the decoding device 20 through a digital storage medium or network.
  • the encoding device 10 may include a video source generator 11, an encoder 12, and a transmitter 13.
  • the decoding device 20 may include a receiving unit 21, a decoding unit 22, and a rendering unit 23.
  • the encoder 12 may be called a video/image encoder
  • the decoder 22 may be called a video/image decoder.
  • the transmission unit 13 may be included in the encoding unit 12.
  • the receiving unit 21 may be included in the decoding unit 22.
  • the rendering unit 23 may include a display unit, and the display unit may be composed of a separate device or external component.
  • the video source generator 11 may acquire video/image through a video/image capture, synthesis, or creation process.
  • the video source generator 11 may include a video/image capture device and/or a video/image generation device.
  • a video/image capture device may include, for example, one or more cameras, a video/image archive containing previously captured video/images, etc.
  • Video/image generating devices may include, for example, computers, tablets, and smartphones, and are capable of generating video/images (electronically). For example, a virtual video/image may be created through a computer, etc., and in this case, the video/image capture process may be replaced by the process of generating related data.
  • the encoder 12 can encode the input video/image.
  • the encoder 12 can perform a series of procedures such as prediction, transformation, and quantization for compression and encoding efficiency.
  • the encoder 12 may output encoded data (encoded video/image information) in the form of a bitstream.
  • the detailed configuration of the encoding unit 12 may be the same as that of the encoding device 100 of FIG. 1 described above.
  • the transmission unit 13 may transmit encoded video/image information or data output in the form of a bitstream to the reception unit 21 of the decoding device 20 through a digital storage medium or network in the form of a file or streaming.
  • Digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the transmission unit 13 may include elements for creating a media file through a predetermined file format and may include elements for transmission through a broadcasting/communication network.
  • the receiving unit 21 may extract/receive the bitstream from the storage medium or network and transmit it to the decoding unit 22.
  • the decoder 22 can decode the video/image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operations of the encoder 12.
  • the detailed configuration of the decoding unit 22 may be the same as that of the decoding device 200 of FIG. 2 described above.
  • the rendering unit 23 may render the decrypted video/image.
  • the rendered video/image may be displayed through the display unit.
  • one picture may be divided into small regions during the encoding and decoding process.
  • One picture can be divided into sub-pictures, slices, tiles, or bricks.
  • the subpicture, slice, tile, or brick may be composed of several coding tree units (CTU).
  • the coding tree unit can be divided into a photo tree (QT, quad tree) or multi-type tree (MTT, multi-type tree) structure.
  • a coding unit which is the basic unit of coding, can be determined. And for each determined coding unit, prediction, transformation, quantization, etc. can be performed. And depending on the coding unit, information necessary for image restoration may be encoded or decoded.
  • the encoding and decoding processes of the next coding unit may proceed sequentially based on the information of the restored coding unit.
  • coding units within the next coding tree unit are encoded according to a predetermined scan order.
  • coding units within the next coding tree unit are decoded according to a predetermined scan order.
  • the coding tree unit can be set to have a uniform size.
  • the coding tree unit becomes the highest node in the split tree structure of the coding unit.
  • the maximum size of the coding unit is the same as the size of the coding tree unit.
  • the size of the coding tree unit is uniform, the divided coding units within the coding tree unit may have various sizes. Additionally, depending on the division method, the coding units may have the shape of a rectangle as well as a square.
  • types of split tree structures from coding tree units to coding units include a binary tree (BT) structure, a ternary tree (TT) structure, and a photo tree structure.
  • the multi-type tree structure includes a binary tree structure and a ternary tree structure.
  • Figure 4 explains an example of a split tree structure.
  • the binary tree structure represents a tree structure in which an upper block includes two lower blocks. Additionally, in the present disclosure, the ternary tree structure represents a tree structure in which an upper block includes three lower blocks. Additionally, in the present disclosure, the photo tree structure represents a tree structure in which the upper block includes four lower blocks.
  • Figure 4 shows an example of a photo tree structure and a multi-type tree structure.
  • the size of the upper block is defined as 2Nx2N.
  • the size of the lower block is described based on the size of the upper block.
  • the block may refer to a coding unit, prediction unit, transformation unit, or a data unit that plays a similar role.
  • the upper block refers to the block that is the target of division, and the lower block refers to the block created by splitting the upper block.
  • the upper block 402 is divided into four square blocks 404, 406, 408, and 410 of NxN size.
  • the multitype tree structure 420 includes a rectangular binary tree structure 430 and a rectangular ternary tree structure 450.
  • the upper block 432 is divided into two rectangular blocks.
  • the rectangular binary tree structure 430 may include a vertical rectangular binary tree structure 434 and a horizontal rectangular binary tree structure 440.
  • the upper block 432 is divided into two rectangular blocks 436 and 438 of Nx2N size.
  • the horizontal rectangular binary tree structure 440 the upper block 432 is divided into two blocks 442 and 444 in a rectangular shape with a size of 2NxN.
  • a rectangular block can be partitioned according to a rectangular binary tree structure.
  • the size of the divided block may be NxN or 2NxN/2 depending on the division direction.
  • the size of the divided block may be NxN or N/2x2N depending on the division direction.
  • the upper block 452 is divided into three rectangular blocks.
  • the rectangular ternary tree structure 450 may include a vertical rectangular ternary tree structure 454 and a horizontal rectangular ternary tree structure 462.
  • the upper block 452 is divided into two rectangular blocks 456 and 458 of size N/2x2N and one block 460 of rectangular shape of Nx2N size.
  • the upper block 452 is divided into two blocks 464 and 466 in a rectangular shape with a size of 2NxN/2 and one block 468 in a rectangular shape with a size of 2NxN. .
  • a rectangular block can be partitioned according to a rectangular ternary tree structure.
  • the upper block when the size of the upper block is Nx2N and it is divided by a horizontal rectangular ternary tree structure, the upper block can be divided into one block of size NxN and two blocks of size NxN/2.
  • the upper block when the size of the upper block is 2NxN and it is divided by a vertical rectangular ternary tree structure, the upper block can be divided into one block of size NxN and two blocks of size N/2xN.
  • the coding tree unit may be recursively divided within a predetermined size range by a rectangular photo tree structure.
  • a lower coding unit divided from a coding tree unit through a rectangular photo tree structure can be divided into a rectangular binary tree structure and a rectangular ternary tree structure when a predetermined size condition is satisfied.
  • division according to the rectangular photo tree structure can no longer be applied to a coding unit once determined due to division according to the multi-type tree structure. Additionally, division according to the multi-type tree structure cannot be applied recursively to the coding unit.
  • conversion may be performed based on the coding unit for which segmentation has been completed. That is, conversion can be performed based on the coding unit. Therefore, when the division of one coding tree unit is completed, conversion, quantization, entropy encoding, etc. can be sequentially performed on each divided coding unit according to a predetermined scan order.
  • the block partition structure may include a geometric partition tree structure in addition to the previously described rectangular binary tree structure, rectangular ternary tree structure, and rectangular photo tree structure.
  • one coding unit can be divided into two or more regions according to a predetermined straight division boundary. For example, in the case of a triangular photo tree, a geometric binary tree, and an asymmetric ternary tree, they can be divided into four, two, or three regions according to a predetermined straight division boundary. And two or more divided regions can be predicted independently of each other according to different encoding information.
  • the proposed geometric partition tree structure is a geometric binary tree (GBT) structure using triangles and squares, an asymmetric ternary tree (ATT) structure, and a triangle quad tree (TQT) structure using triangles. Structure is included.
  • Figure 5 shows a triangle photo tree structure (Triangle quad tree, TQT).
  • the upper block 402 when the size of the upper block is 2Nx2N, the upper block 402 is divided into four square blocks 404, 406, 408, and 410 with sizes of NxN.
  • the 2Nx2N upper block 502 is divided into four triangular blocks 504, 506, 508, and 510 of the same size.
  • the size of the base of each triangle is 2N, and the height relative to the base is N.
  • the coding unit may be recursively divided according to the rectangular photo tree structure 400 in a predetermined size range. However, division can no longer be performed on the triangle blocks divided according to the triangle photo tree division structure 500. That is, when the upper block is divided according to the triangular photo tree division structure 500, each divided triangular coding unit becomes a leaf node and cannot be divided further.
  • FIG. 6 shows a geometric binary tree (GBT).
  • the geometric binary tree described in FIG. 6 is divided into a triangle binary tree (Triangle BT (TBT)) structure 610 and a quadrangle binary tree (Quadrangle BT (QBT)) structure 630.
  • the triangle binary tree structure 610 is divided into a vertical triangle binary tree (Vertical triangle BT, VTBT) structure (612) and a horizontal triangle binary tree (Horizontal triangle BT, HTBT) structure (618).
  • each area divided by a division boundary has the same size.
  • the upper block 600 of size 2Nx2N is divided into two right triangle blocks 614 and 616.
  • the boundaries of the right triangle blocks 614 and 616 connect the lower left and upper right vertices of the upper block 600.
  • the upper block 600 of size 2Nx2N is divided into two right triangle blocks 620 and 622.
  • the boundary of the right triangle blocks 620 and 622 connects the upper left vertex and the lower right vertex of the upper block 600.
  • the square binary tree structure 630 is a vertical right quadrangle BT (VRQBT) structure (632), a vertical left quadrangle BT (VLQBT) structure (638), and a horizontal upper quadrangle binary tree (638). It can be divided into a Horizontal up Quadrangle BT (HUQBT) structure (644), and a Horizontal down Quadrangle BT (HDQBT) structure (650). In the rectangular binary tree structure 630, each region separated by a division boundary has the same size.
  • the upper block 600 of size 2Nx2N is divided into two rectangular blocks 634 and 636.
  • the boundaries of the square blocks 634 and 636 connect a point 1/2N away from the left on the lower side line of the upper block 600 and a point 3/2N away from the left on the upper side line.
  • the upper block 600 of size 2Nx2N is divided into two rectangular blocks 640 and 642.
  • the boundaries of the square blocks 640 and 642 connect a point 3/2N away from the left on the lower side line of the upper block 600 and a point 1/2N away from the left on the upper side line.
  • the upper block 600 of size 2Nx2N is divided into two rectangular blocks 646 and 648.
  • the boundaries of the square blocks 646 and 648 connect a point 3/2N away from the top on the left line of the upper block 600 and a point 1/2N away from the top on the right line.
  • the upper block 600 of size 2Nx2N is divided into two rectangular blocks 652 and 654.
  • the boundary of the square blocks 652 and 654 connects a point 1/2N away from the top on the left line of the upper block 600 and a point 3/2N away from the top on the right line.
  • the location of the point where the boundaries of the four square binary tree structures described above connect may be determined differently.
  • both endpoints of the division boundary of the upper block 600 are on the upper and lower lines or on the right and left lines has been described. However, depending on the embodiment, both endpoints of the division boundary may be determined to be on the upper and right lines, on the upper and left lines, on the lower and right lines, or on the lower and left lines.
  • the positions of both end points of the boundary can be determined, respectively.
  • the location of the end point of the division boundary of the upper line of the upper block 600 and the position of the end point of the division boundary of the lower side line of the upper block 600 may be determined.
  • the x components at the two positions may be determined not to be the same.
  • the position of the end point of the division boundary of the left line of the upper block 600 and the end point of the division boundary of the right line of the upper block 600 can be determined.
  • the y components of the two positions may be determined to be not the same.
  • the positions of both end points of the boundary can be determined, respectively.
  • the position of the end point may be determined in units such as 1/4, 1/8, 1/16, etc.
  • the angle and position of the division boundary may be determined, respectively.
  • the division direction is determined according to the angle of the division boundary, and a specific point through which the division boundary passes from a specific point of the upper block 600 may be determined according to the location of the division boundary.
  • the division direction may be selected from among predetermined direction candidates configured in a diagonal direction. Vertical and horizontal directions may be excluded from the predetermined direction candidates.
  • the location of the division boundary may be determined based on the central point of the upper block 600. For example, when the coordinates of the center point of the upper block 600 are (N,N), the location of the division boundary can be determined by adding an offset to the x-component or y-component of the center point.
  • the coding unit is divided into two rectangular blocks of the same size. Meanwhile, according to the geometric binary tree structure, the coding unit is divided into two triangle blocks or square blocks of the same size.
  • the lower coding unit generated by division according to the rectangular binary tree structure 430 of FIG. 4 may be divided according to the rectangular binary tree structure or the rectangular ternary tree structure if it satisfies a predetermined size condition and/or a predetermined depth condition. there is.
  • the lower coding unit generated by division according to the rectangular binary tree structure may be set so that it can no longer be divided according to the rectangular photo tree structure.
  • Division by the rectangular photo tree structure as well as the rectangular binary tree structure and the rectangular ternary tree structure may not be applied to subblocks created according to the geometric binary tree structure. That is, if the upper block is split into a geometric binary tree, the lower block created by the split may no longer be split.
  • Figure 7 shows an asymmetric ternary tree (ATT) structure according to asymmetric partitioning.
  • the asymmetric ternary tree structure 710 is a vertical right ternary tree (VRTT) structure 712, a vertical left ternary tree (VLTT) structure 720, and a horizontal upper ternary tree (710). It may include a horizontal up ternary tree (HUTT) structure (728) and a horizontal down ternary tree (HDTT) structure (736).
  • the block is divided into a rectangular block with an area of Nx2N and two triangular blocks with an area of (Nx2N)/2.
  • the upper block 700 of size 2Nx2N is divided into a square block 714 with an area of Nx2N and two triangular blocks 716 and 718 with an area of (Nx2N)/2.
  • the boundary dividing the square block 714 and the left triangle block 716 connects the lower left vertex of the upper block 700 and the center point of the upper line.
  • the boundary dividing the square block 714 and the right triangle block 718 connects the upper right vertex of the upper block 700 and the center point of the bottom line.
  • the upper block 700 of size 2Nx2N is divided into a rectangular block 722 with an area of Nx2N and two triangular blocks 724, 726 with an area of (Nx2N)/2.
  • the boundary dividing the square block 722 and the right triangle block 724 connects the lower right vertex of the upper block 700 and the center point of the top line.
  • the boundary dividing the square block 722 and the left triangle block 726 connects the upper left vertex of the upper block 700 and the center point of the lower line.
  • the upper block 700 of size 2Nx2N is divided into a square block 730 with an area of 2NxN and two triangular blocks 732 and 734 with an area of (Nx2N)/2.
  • the boundary dividing the square block 730 and the upper triangular block 732 connects the upper right vertex of the upper block 700 and the center point of the left line.
  • the boundary dividing the square block 730 and the lower triangular block 734 connects the lower left vertex of the upper block 700 and the center point of the right line.
  • the upper block 700 of size 2Nx2N is divided into a square block 738 with an area of 2NxN and two triangular blocks 740 and 742 with an area of (Nx2N)/2.
  • the boundary dividing the square block 738 and the upper triangular block 740 connects the upper left vertex of the upper block 700 and the center point of the right line.
  • the boundary dividing the square block 738 and the lower triangular block 742 connects the lower right vertex of the upper block 700 and the center point of the left line.
  • the location of the point where the boundaries of the four asymmetric ternary trees described above connect may be determined differently.
  • asymmetric ternary tree structures Although only four asymmetric ternary tree structures are shown in Figure 7, other types of asymmetric ternary tree structures can be used for block division.
  • the positions of the end points located on the boundary line of the block among both end points of the boundary may be determined.
  • the position of the endpoint located at the vertex of the block among the two endpoints of the boundary can be fixed.
  • the position of the end point of the left division boundary of the upper side line of the upper block 700 is determined, and to determine the right division boundary, the upper block ( 700), the location of the end point of the right division boundary of the lower line can be determined.
  • the position of the end point of the left division boundary of the lower side line of the upper block 700 is determined, and to determine the right division boundary, the position of the end point of the lower side line of the upper block 700 is determined. The location of the end point of the right dividing boundary of the upper lateral line can be determined.
  • the position of the end point of the upper division boundary of the left line of the upper block 700 is determined, and to determine the lower division boundary, the upper division boundary of the upper block 700 is determined.
  • the location of the end point of the lower dividing boundary of the right line can be determined.
  • the position of the end point of the upper division boundary of the right line of the upper block 700 is determined, and to determine the lower division boundary, the upper division boundary of the upper block 700 is determined.
  • the location of the end point of the lower division boundary of the left line can be determined. At this time, the position of the end point may be determined in units such as 1/4, 1/8, 1/16, etc.
  • the block is divided into three rectangular blocks.
  • the subblock generated by division according to the rectangular binary tree structure can be divided according to the rectangular binary tree structure or the rectangular triple tree structure if it satisfies the size conditions and depth conditions for division.
  • the encoding and decoding device may be set so that division according to the rectangular photo tree structure is not applied to the lower block.
  • the block is divided into two triangular blocks and one square block of the same size.
  • the encoding and decoding device may be set so that division according to the rectangular binary tree structure, rectangular ternary tree structure, and rectangular photo tree structure is not applied to the subblocks generated by division according to the asymmetric ternary tree structure.
  • transformation may be performed based on a coding unit block for which segmentation has been completed. Therefore, a coding unit block may be a basic unit for performing transformation. Therefore, transformation (inverse transformation), quantization (inverse quantization), and entropy coding (entropy decoding) can be sequentially performed on each coding unit block divided according to a binary tree, ternary tree, or rectangular photo tree structure. At this time, transformation (inverse transformation) and quantization (inverse quantization) can only be applied to square or rectangular blocks.
  • Rectangular blocks created according to the geometric partition tree structure have the shape of a parallelogram or trapezoid rather than a square or rectangle.
  • blocks divided according to the geometric partition tree structure are not square or rectangular, it is difficult for transformation methods for square or rectangular blocks to be applied to blocks generated according to the geometric partition tree structure. Therefore, in order to apply transformation and quantization to a block generated according to a geometric partition tree structure, it is necessary to vectorize the residual signal into a form to which transformation can be applied by rearranging the residual signal of the block.
  • Figure 8 shows the order of rearranging the residual signal to apply transformation and quantization to each region divided into a geometric partition tree structure.
  • step 802 block division structure and block division are performed.
  • the partition structure of the block may be determined as a rectangular binary tree, rectangular ternary tree, or rectangular photo tree structure, as well as one of the geometric tree structures described above.
  • step 804 if block partitioning was performed based on one of the geometric tree structures, a transformation area for the block requiring transformation is determined.
  • step 806 residual signal rearrangement for blocks in the transform region is performed. According to the residual signal rearrangement, the residual signal is vectorized. Then, a transformation block containing the vectorized residual signal is created.
  • Transformation and quantization are performed on the transform block to which residual signal rearrangement is applied.
  • steps 804 and 806 are not performed, and transformation and quantization may be performed for each block.
  • inverse quantization and inverse transformation are performed on the transform coefficients of the transform block to generate a residual signal, and the residual signal of the transform block is inversely rearranged in the transform domain.
  • the residual block of the upper block or lower block may be determined based on the residual signal of the transform region.
  • Figure 9 explains an embodiment of a method for rearranging residual signals in a triangular photo tree structure.
  • the upper block 900 is divided into four triangular blocks 902, 904, 906, and 908. Then, partition areas R1 to R4 (912, 914, 916, 918) corresponding to each triangle block are determined. Each partition region may include a residual signal inside the partition boundary.
  • the residual signal located at the division boundary needs to be determined in which of two adjacent triangle blocks it will be included.
  • the residual signal located at the division boundary is included in the transformation area corresponding to the triangular block in the clockwise direction.
  • the residual signal located at the division boundary may be included in a triangular block in a counterclockwise direction.
  • transformation areas R1 to R4 (912, 914, 916, 918) corresponding to the four triangle blocks (902, 904, 906, 908) are determined.
  • the transformation region R1 912 the residual signals R1,0, R2,0, R3,0, R4,0, R5,0, R6,0, R2,1, R3 included in the triangle block 902. ,1, R4,1, R5,1, R3,2, R4,2, as well as the residual signals R0,0, R1,1, R2,2, R3, at the boundaries of the two triangle blocks 902, 908. 3 is included.
  • the transformation area R1 (912) contains the residual signal R7,0, located at the boundary of the two triangle blocks 902 and 904.
  • R6,1, R5,2, R4,3 may be included.
  • the transformation area is not square or rectangular, transformation cannot be applied. Therefore, the residual signal of each transformation area needs to be rearranged into a rectangular or square shape. For example, the residual signals of the transform region R1 912 are rearranged in the square transform block 922.
  • the residual signals of the transformation area R1 (912) are scanned according to a zigzag scan order in the horizontal direction. Then, the scanned residual signals are arranged in a horizontal zigzag scan order in the square transformation block 922 in the scanned order.
  • the residual signals of the transformation area R1 (912) are R0,0, R1,0, R2,0, R3,0, R4,0, R5,0, R6,0, R1 according to the zigzag scan order in the horizontal direction. ,1, R2,1, R3,1, R4,1, R5,1, R2,2, R3,2, R4,2, R3,3 can be scanned in the following order. Then, the scanned residual signals are sequentially arranged in a horizontal zigzag scan order in the square transform block 922.
  • the residual signal scan of the transformation area was performed according to a zigzag scan order in the horizontal direction, but this is only an example. Therefore, the scan of the residual signal in the transformation region is performed based on a random scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, horizontal scan in the right or left direction, vertical scan in the downward or upward direction, random scan, etc.) It can be.
  • the residual signals scanned in the transform area are arranged in a square transform block in a zigzag scan order in the horizontal direction, but the arrangement of the residual signals can be arranged in any scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, right or It can be performed based on a horizontal scan in the left direction, a vertical scan in the downward or upward direction, an arbitrary scan, etc.).
  • each transformation area includes 16 residual signals.
  • Residual signal rearrangement according to FIG. 9 can also be applied to blocks larger than the 8x8 upper block 900.
  • the residual signal rearrangement according to FIG. 9 can also be applied to upper blocks of sizes 16x16, 32x32, and 64x64.
  • the scanned residual signals are arranged in transformation blocks 922, 924, 926, and 928 of 4x4 size, depending on the embodiment. It can also be arranged in transformation blocks of size 2x8 or 8x2. That is, the transform block in which the residual signal will be arranged may have a rectangular shape rather than a square.
  • FIGS. 10 to 16 describe embodiments of a method for rearranging residual signals in a geometric binary tree structure.
  • 10 and 12 illustrate one embodiment of a method for rearranging residual signals in a vertical triangular binary tree structure.
  • FIG. 10 explains an example of a method for rearranging residual signals into two transform blocks in a vertical triangular binary tree structure.
  • the upper block 1000 is divided into two triangular blocks 1002 and 1004.
  • transformation areas R1 and R2 (1006 and 1008) are determined.
  • a 4x4 block is determined by dividing the 8x8 upper block 1000 into four parts, and the transformation areas 1006 and 1008 are determined by combining the four 4x4 blocks.
  • the transformation area R1 (1006) may include the upper-right block (1012) and the lower-left block (1014)
  • the transformation area R2 (1008) may include the upper-left block (1010) and the lower-right block (1016). may include.
  • transform blocks (1018, 1020) can be determined.
  • a transform block (1018) with a size of 4x8 can be created.
  • a transform block (1020) of 4x8 size can be created.
  • FIG. 10 it is shown that a transform block with a size of 4x8 is generated, but depending on the embodiment, a transform block with a size of 8x4 may be generated.
  • two 4x8-sized transform blocks are generated from four 4x4-sized blocks divided from the upper block 1000.
  • the four 4x4 blocks may be determined to be four 4x4 transform blocks without rearranging the residual signals.
  • FIG. 11 explains an example of a method for rearranging residual signals into four transform blocks in a vertical triangle binary tree structure.
  • the upper block 1100 is divided into two triangular blocks 1102 and 1104. And for rearrangement of the residual signals included in the triangle blocks 1102 and 1104, transformation areas R1, R2, R3 and R4 (1106, 1108, 1110, 1112) are determined. To determine the transformation area, the upper block 1100 consists of two 4x4 blocks (1114, 1116) and eight 2x2 blocks (1118, 1120, 1122, 1124, 1126, 1128, 1130, 1132) as shown in FIG. 11. ) can be divided into
  • the transformation area R1 (1106) may be composed of a 4x4 block (1114).
  • the transformation area R2 (1108) may be composed of a 4x4 block (1116).
  • Transformation area R3 (1110) may be composed of four 2x2 blocks (1120, 1122, 1128, 1130).
  • Transformation area R4 (1112) may be composed of four 2x2 blocks (1118, 1124, 1126, 1132).
  • transform blocks 1134, 1136, 1138, and 1140 can be determined.
  • the residual signal of the transformation area R1 1106 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 conversion block 1134 according to the horizontal zigzag scan order.
  • the residual signal of the transform area R2 (1108) may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 transform block 1136 according to the horizontal zigzag scan order.
  • a transform block (1138) of 2x8 size can be created.
  • a transform block (1140) of 2x8 size can be created.
  • a transform block of 2x8 size is shown to be generated, but depending on the embodiment, a transform block of 4x4 or 8x2 size may be generated.
  • the residual signals of transform areas R1 and R2 (1106, 1108) are rearranged into a 2x8 transform block.
  • the transform areas R1 and R2 (1106, 1108) may be determined as a 4x4 transform block without rearranging the residual signals.
  • FIG. 12 explains an example of a method for rearranging residual signals into three transform blocks in a vertical triangular binary tree structure.
  • the upper block 1200 is divided into two triangular blocks 1202 and 1204. And for rearrangement of the residual signals included in the triangle blocks 1202 and 1204, transformation areas R1, R2, and R3 (1206, 1208, 1210) are determined. To determine the transformation area, the upper block 1200 consists of two 4x4 blocks (1212, 1214) and eight 2x2 blocks (1216, 1218, 1220, 1222, 1224, 1226, 1228, 1230) as shown in FIG. 12. ) can be divided into
  • the transformation area R1 1206 may be composed of two 4x4 blocks 1212 and 1214.
  • Transformation area R2 (1208) may be composed of four 2x2 blocks (1218, 1220, 1226, 1228).
  • Transformation area R3 (1210) may be composed of four 2x2 blocks (1216, 1222, 1224, and 1230).
  • transform blocks 1132, 1134, and 1136 can be determined.
  • the residual signal in the conversion area R1 (1206) is scanned in a horizontal zigzag scan order starting from the upper 4x4 block 1212, and the scanned residual signal is converted into a 4x8 conversion block ( 1232).
  • a transform block of 4x8 size is shown to be generated, but depending on the embodiment, a transform block of 8x4 size may be generated.
  • a transform block (1234) of 2x8 size can be created.
  • a transform block (1236) of 2x8 size can be created.
  • a transform block of 2x8 size is shown to be generated, but depending on the embodiment, a transform block of 4x4 or 8x2 size may be generated.
  • the residual signal scan of the transformation area was performed according to the zigzag scan order in the horizontal direction, but any other scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, horizontal scan in the right or left direction, bottom Alternatively, it may be performed according to an upward vertical scan, random scan, etc.).
  • the residual signals scanned in the transform area are arranged in the transform block according to the zigzag scan order in the horizontal direction, but any other scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, zigzag scan in the right or left direction)
  • the residual signals can be arranged in transform blocks based on horizontal scans, vertical scans in the downward or upward direction, arbitrary scans, etc.).
  • the scan order applied to the residual signal arrangement may be different from the scan order used to scan the residual signal in the transform region.
  • FIGS. 10 to 12 the residual signal rearrangement is explained based on an 8x8 block, but the transform area and transform block can be determined using the methods of FIGS. 10 to 12 even for blocks of larger sizes such as 16x16, 32x32, and 64x64.
  • FIGS. 10 to 12 are explained based on a vertical triangle binary tree structure. However, the residual signal rearrangement of FIGS. 10 to 12 can also be applied to the horizontal triangular binary tree structure. However, since the division directions of the vertical triangle binary tree structure and the horizontal triangle binary tree structure are different, the embodiments of FIGS. 10 to 12 may be applied with the left and right reversed.
  • 13 to 16 describe an example of a method for rearranging residual signals in a rectangular binary tree structure.
  • FIG. 13 explains an example of a method for rearranging residual signals into two transform blocks in a vertical right rectangular binary tree structure.
  • the upper block 1300 is divided into two square blocks 1302 and 1304. And in order to rearrange the residual signals included in the rectangular blocks 1302 and 1304, transformation areas R1 and R2 (1306 and 1308) are determined. According to FIG. 13, regardless of the division direction, a 4x4 block is determined by dividing the 8x8 upper block 1300 into four parts, and the transformation areas 1306 and 1308 are determined by combining the four 4x4 blocks. You can.
  • the transform area R1 1306 may include an upper-right block and a lower-left block
  • the transform area R2 1308 may include an upper-left block and a lower-right block.
  • transform blocks (1318, 1320) can be determined.
  • a transform block 1318 of 4x8 size can be created.
  • a transform block 1320 with a size of 4x8 can be created.
  • FIG. 13 it is shown that a transform block with a size of 4x8 is generated, but depending on the embodiment, a transform block with a size of 8x4 may be generated.
  • two 8x4-sized transform blocks are generated from four 4x4-sized blocks divided from the upper block 1300.
  • the four 4x4 blocks may be determined to be four 4x4 transform blocks without rearranging the residual signals.
  • FIG. 14 explains an example of a method for rearranging residual signals into four transform blocks in a vertical right rectangular binary tree structure.
  • the upper block 1400 is divided into two square blocks 1402 and 1404. And for rearrangement of the residual signals included in the square blocks 1402 and 1404, transformation areas R1, R2, R3, and R4 (1406, 1408, 1410, and 1412) are determined. To determine the transformation area, the upper block 1400 may be divided into two 4x4 blocks (1414, 1416) and four 2x4 blocks (1418, 1420, 1422, 1424), as shown in FIG. 14.
  • the transformation area R1 1406 may be composed of a 4x4 block 1414.
  • the transformation area R2 (1408) may be composed of a 4x4 block (1416).
  • Transformation area R3 (1410) may be composed of two 2x4 blocks (1418, 1424).
  • Transformation area R4 (1412) may be composed of two 2x4 blocks (1420, 1422).
  • transform blocks 1426, 1428, 1430, and 1432 can be determined.
  • the residual signal of the transformation area R1 1406 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 conversion block 1426 according to the horizontal zigzag scan order.
  • the residual signal of the transform area R2 1408 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 transform block 1428 according to a horizontal zigzag scan order.
  • a 2x8 transform block 1430 can be created.
  • a 2x8-sized transform block 1432 can be created.
  • a transform block of 2x8 size is shown to be generated, but depending on the embodiment, a transform block of 4x4 or 8x2 size may be generated.
  • the residual signals of the transform regions R1 and R2 are rearranged into a 2x8 transform block.
  • the transform areas R1 and R2 may be determined as a 4x4 transform block without rearranging the residual signals.
  • FIG. 14 an example of a residual signal rearrangement method for a vertical right rectangular binary tree structure is described.
  • the embodiment of FIG. 14 can also be applied to a vertical left rectangular binary tree structure, a horizontal upper rectangular binary tree structure, and a horizontal lower rectangular binary tree structure.
  • the transformation areas R1, R2, R3, and R4 may be determined differently from those in FIG. 14. Specifically, the transformation area R3 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary passes. And the transformation area R4 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary does not pass. Transformation areas R1 and R2 can be set to correspond to two 4x4 blocks through which the division boundary does not pass.
  • the size of the transformation area can be determined to be 4x2 or 4x4, and the size of the transformation block is 8x2 or 4x4. can be decided.
  • Figure 15 explains another embodiment of a method for rearranging residual signals into four transform blocks in a vertical right rectangular binary tree structure.
  • the upper block 1500 is divided into two square blocks 1502 and 1504. And for rearrangement of the residual signals included in the square blocks 1502 and 1504, transformation areas R1, R2, R3, and R4 (1506, 1508, 1510, and 1512) are determined. To determine the transformation area, the upper block 1500 may be divided into two 2x8 blocks (1514, 1516) and four 2x4 blocks (1518, 1520, 1522, 1524), as shown in FIG. 15.
  • the transform area R1 may be composed of a 2x8 block (1514).
  • the transformation area R2 (1508) may be composed of a 2x8 block (1516).
  • Transformation area R3 (1510) may be composed of two 2x4 blocks (1518, 1524).
  • Transformation area R4 (1512) may be composed of two 2x4 blocks (1520, 1522).
  • transform blocks 1526, 1528, 1530, and 1532 can be determined.
  • the transform area R1 1506 may be determined as a 2x8 transform block 1526.
  • the transform area R2 1508 can be determined as a 2x8 transform block 1528.
  • a transform block of 2x8 size is shown to be generated, but as residual signal rearrangement is performed, a transform block of 4x4 or 8x2 size may be generated.
  • the residual signal of the transformation area R3 1510 may be scanned according to a horizontal zigzag scan order, and a 2x8 conversion block 1530 may be generated according to the horizontal zigzag scan order of the scanned residual signal.
  • the residual signal of the transformation area R4 1512 may be scanned according to a horizontal zigzag scan order, and a 2x8 conversion block 1532 may be generated according to the horizontal zigzag scan order of the scanned residual signal.
  • a transform block of 2x8 size is shown to be generated, but as residual signal rearrangement is performed, a transform block of 4x4 or 8x2 size may be generated.
  • Figure 15 illustrates an example of a residual signal rearrangement method for a vertical right rectangular binary tree structure.
  • the embodiment of FIG. 15 can also be applied to a vertical left rectangular binary tree structure, a horizontal upper rectangular binary tree structure, and a horizontal lower rectangular binary tree structure.
  • the transformation areas R1, R2, R3, and R4 may be determined differently from those in FIG. 15. Specifically, the transformation area R4 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary passes. And the transformation area R3 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary does not pass. Transformation areas R1 and R2 can be set to correspond to two 8x2 blocks or 2x8 blocks through which the division boundary does not pass.
  • the size of the block constituting the transformation area may be determined to be 4x2 or 8x2, and the size of the transformation block can be determined as 8x2 or 4x4.
  • FIG. 16 explains an example of a method for rearranging residual signals into three transform blocks in a vertical right rectangular binary tree structure.
  • the upper block 1600 is divided into two square blocks 1602 and 1604. And for rearrangement of the residual signals included in the square blocks 1602 and 1604, transformation areas R1, R2, and R3 (1606, 1608, 1610) are determined. To determine the transformation area, the upper block 1600 may be divided into two 4x4 blocks (1612, 1614) and four 2x4 blocks (1616, 1618, 1620, 1622), as shown in FIG. 14.
  • the transformation area R1 1606 may be composed of two 4x4 blocks 1612 and 1614.
  • the transformation area R2 (1608) may be composed of two 2x4 blocks (1616, 1622).
  • Transformation area R3 (1610) may be composed of two 2x4 blocks (1618, 1620).
  • transform blocks 1624, 1626, and 1628 can be determined.
  • the residual signal of the transformation area R1 1606 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 4x8 conversion block 1624 according to the horizontal zigzag scan order.
  • the residual signal of the transform area R1 (1606) may be arranged in a transform block of 8x4 size.
  • the residual signal in the transformation area R2 (1608) is scanned according to the horizontal zigzag scan order, and the scanned residual signal is combined into two 2x4 blocks (1616, 1622) according to the horizontal zigzag scan order to form a 2x8 size. It can be arranged in the conversion block 1626 of .
  • the residual signal in the transformation area R3 (1610) is scanned according to the horizontal zigzag scan order, and the scanned residual signal is combined with two 2x4 blocks (1618, 1620) according to the horizontal zigzag scan order to form a 2x8 sized Transformation block 1628 may be created.
  • the residual signals of transform areas R2 and R3 (1608, 1610) may be arranged in a transform block with a size of 4x4 or 8x2.
  • Figure 16 illustrates an example of a residual signal rearrangement method for a vertical right rectangular binary tree structure.
  • the embodiment of FIG. 16 can also be applied to a vertical left rectangular binary tree structure, a horizontal upper rectangular binary tree structure, and a horizontal lower rectangular binary tree structure.
  • the transformation areas R1, R2, and R3 may be determined differently from those in FIG. 16. Specifically, the transformation area R1 can be set to correspond to two 4x4 blocks through which the division boundary does not pass. And the transformation area R2 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary passes. Additionally, the transformation area R3 can be set to correspond to a 4x2 block or 2x4 block through which the division boundary does not pass.
  • the size of the block constituting the transformation area may be determined to be 4x2 or 4x4, and The size of the corresponding transform block may be determined to be 8x4, and the size of the transform blocks corresponding to transform areas R2 and R3 may be determined to be 8x2 or 4x4.
  • the residual signal scan of the transformation area was performed according to the zigzag scan order in the horizontal direction, but any other scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, horizontal scan in the right or left direction, bottom Alternatively, it may be performed according to an upward vertical scan, random scan, etc.).
  • the residual signals scanned in the transform area are arranged in the transform block according to the zigzag scan order in the horizontal direction, but any other scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, zigzag scan in the right or left direction)
  • the residual signals can be rearranged in the transform blocks based on horizontal scans, vertical scans in the downward or upward direction, arbitrary scans, etc.).
  • the scan order applied to rearrange the residual signals may be different from the scan order used to scan the residual signals of the transformation region.
  • FIGS. 13 to 16 the residual signal rearrangement is explained based on an 8x8 block, but the transform area and transform block can be determined using the methods of FIGS. 13 to 16 even for blocks of larger sizes such as 16x16, 32x32, and 64x64.
  • 17 and 18 illustrate an example of a method for rearranging residual signals in an asymmetric ternary tree structure.
  • Figure 17 explains an example of a method for rearranging residual signals into four transform blocks in a vertical right ternary tree structure.
  • the upper block 1700 is divided into two triangular blocks 1702 and 1704 and one parallelogram square block 1706. And for rearrangement of the residual signals included in the blocks 1702, 1704, and 1706, transformation areas R1, R2, R3, and R4 (1708, 1710, 1712, and 1714) are determined. To determine the transformation area, the upper block 1700 may be divided into eight 2x4 blocks (1716, 1718, 1720, 1722, 1724, 1726, 1728, 1730), as shown in FIG. 17.
  • the transformation area R1 (1708) may be composed of two 2x4 blocks (1716, 1726).
  • Transformation area R2 (1710) may be composed of two 2x4 blocks (1718, 1724).
  • Transformation area R3 (1712) may be composed of two 2x4 blocks (1720, 1730).
  • Transformation area R4 (1714) may be composed of two 2x4 blocks (1722, 1728).
  • transform blocks 1732, 1734, 1736, and 1738 can be determined.
  • the residual signal of the transformation area R1 1708 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in an 8x2 conversion block 1732 according to the horizontal zigzag scan order.
  • the residual signal of the transform area R2 1710 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in an 8x2 transform block 1734 according to a horizontal zigzag scan order.
  • the residual signal of the transform area R3 1712 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in an 8x2 transform block 1736 according to a horizontal zigzag scan order.
  • the residual signal of the transform area R4 1714 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in an 8x2 transform block 1738 according to a horizontal zigzag scan order.
  • the residual signals of the transform regions R1, R2, R3, and R4 (1708, 1710, 1712, and 1714) may be arranged in a transform block with a size of 4x4 or 2x8.
  • FIG. 17 an embodiment of the residual signal rearrangement method for the vertical right ternary tree structure is described.
  • the embodiment of FIG. 17 can also be applied to a vertical left ternary tree structure, a horizontal upper ternary tree structure, and a horizontal lower ternary tree structure.
  • the transformation areas R1, R2, R3, and R4 may be determined differently from those in FIG. 17.
  • the transformation regions R1, R2, R3, and R4 are respectively two 2x4 blocks (1718, 1724), two 2x4 blocks (1716, 1726), two 2x4 blocks (1722, 1728), and It can be set to correspond to two 2x4 blocks (1720, 1730).
  • the upper block 1700 is divided into eight 4x2 sized blocks, and the transformation areas R1, R2, R3, and R4 can each be determined to contain two 4x2 sized blocks. there is. Accordingly, the transformation area of the horizontal asymmetric ternary tree structure can be determined to be the same as if the upper block 1700 of FIG. 17 is tilted by 90 degrees. And the size of the transform block in which the residual signals of the transform region are rearranged can be determined to be 4x4 or 8x2.
  • Figure 18 explains an example of a method for rearranging residual signals into three transform blocks in an asymmetric ternary tree structure.
  • the upper block 1800 is divided into two triangular blocks 1802 and 1804 and one parallelogram square block 1806. And for rearrangement of the residual signals included in the blocks 1802, 1804, and 1806, transform areas R1, R2, and R3 (1808, 1810, 1812) are determined. To determine the transformation area, the upper block 1800 may be divided into eight 2x4 blocks (1814, 1816, 1818, 1820, 1822, 1824, 1826, 1828), as shown in FIG. 18.
  • transformation area R1 may be composed of four 2x4 blocks (1814, 1818, 1824, 1828). Transformation area R2 (1810) may be composed of two 2x4 blocks (1816, 1822). Transformation area R3 (1812) may be composed of two 2x4 blocks (1820, 1826).
  • transform blocks 1830, 1832, and 1834 may be determined.
  • the residual signals of the transform area R1 (1808) can be arranged in a 4x8 transform block (1830) by two methods.
  • the transform block 1830 can be created by combining four 2x4 blocks 1814, 1818, 1824, and 1828 based on the location of the transform area. For example, the residual signal of block 1814 is in the upper left of transform block 1830, the residual signal in block 1818 is in the upper right of transform block 1830, and the residual signal in block 1824 is in the upper left of transform block 1830.
  • Blocks 1814, 1818, 1824, and 1828 may be combined such that the residual signal of block 1828 is located on the lower left of transform block 1830.
  • the second arrangement method (1838) four 2x4 blocks (1814, 1818, 1824, 1828) are sequentially scanned in a horizontal zigzag scan order, and the scanned residual signals are scanned in a horizontal zigzag scan order.
  • the transform block 1830 can be determined by arranging it into a 4x8 sized transform block 1830.
  • the residual signal of the transform area R1 (1808) may be arranged in a transform block of 8x4 size.
  • the residual signal of the transformation area R2 1810 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 conversion block 1832 according to the horizontal zigzag scan order. Additionally, the residual signal of the transform area R3 1812 may be scanned according to a horizontal zigzag scan order, and the scanned residual signal may be arranged in a 2x8 transform block 1834 according to the horizontal zigzag scan order. Depending on the embodiment, the residual signals of transform areas R2 and R3 (1810, 1812) may be arranged in a transform block of 4x4 or 8x2 size.
  • FIG. 18 an embodiment of the residual signal rearrangement method for the vertical right ternary tree structure is described.
  • the embodiment of FIG. 18 can also be applied to a vertical left ternary tree structure, a horizontal upper ternary tree structure, and a horizontal lower ternary tree structure.
  • the transformation areas R1, R2, and R3 may be determined differently from those in FIG. 18.
  • the transformation regions R1, R2, and R3 have four 2x4 blocks (1816, 1820, 1822, 1826), two 2x4 blocks (1814, 1824), and two 2x4 blocks (1818, 1828), respectively. ) can be set to correspond to.
  • the upper block (1800) is divided into eight 4x2 blocks, the transformation area R1 contains four 4x2 blocks, and R2 and R3 each contain two 4x2 blocks. It can be determined to include blocks of any size. Accordingly, the transformation area of the horizontal asymmetric ternary tree structure can be determined to be the same as if the upper block 1800 of FIG. 18 is tilted by 90 degrees. And the size of the transform block in which the residual signals of the transform area are rearranged can be determined as 4x4 or 8x2.
  • the residual signal scan of the transformation region was performed according to the zigzag scan order in the horizontal direction, but any other scan order (zigzag scan in the vertical direction, zigzag scan in the diagonal direction, horizontal scan in the right or left direction, bottom Alternatively, it may be performed according to an upward vertical scan, random scan, etc.).
  • the residual signals scanned in the transform area are arranged in the transform block according to the horizontal zigzag scan order, but can be arranged in any other scan order (vertical zigzag scan, diagonal zigzag scan, right or left direction).
  • the residual signals can be arranged in transform blocks based on horizontal scans, vertical scans in the downward or upward direction, arbitrary scans, etc.).
  • the scan order applied to the residual signal arrangement may be different from the scan order used to scan the residual signal in the transform region.
  • the transform area and transform block can be determined in blocks of larger sizes such as 16x16, 32x32, and 64x64 using the methods of FIGS. 17 and 18.
  • the residual signal generated by inverse transformation of the transform block may be rearranged in the transform region. And the current block can be restored based on the residual signal of the transform domain.
  • Figures 19 to 22 describe a syntax structure for determining a block partition method that reflects the geometric partition tree structure proposed in Figures 5 to 7.
  • QT is a quad tree
  • MTT is a multi-type tree
  • TQT is a triangle quad tree
  • BT is a binary tree
  • TT is a ternary tree.
  • GBT stands for geometric binary tree
  • ATT stands for asymmetric ternary tree.
  • the circular nodes mean branch points related to the selection of the tree division structure.
  • FIG. 19 shows an example 1900 of a syntax structure for determining a block division method reflecting a geometric division tree structure.
  • the current block is split. Whether or not the current block is split may be determined based on the split flag or the characteristics of the current block (size, shape, color component, slice type, etc.). When the split flag points to 0, it may be determined that the current block is not split. Conversely, when the split flag indicates 1, it may be determined that the current block is split. Depending on the embodiment, it may be determined that when the split flag points to 0, the current block is split, and when the split flag points to 1, the current block may be determined not to be split.
  • the current block is determined to be a leaf node. Then, prediction and transformation are performed on the current block determined as a leaf node. Conversely, if it is determined that the current block is to be split, node 1904 proceeds to determine how to split the current block.
  • the division method of the current block is determined.
  • the decision of the node 1904 may be determined based on the photo tree flag (QT flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • QT flag the photo tree flag
  • the characteristics of the current block size, shape, color component, slice type, etc.
  • node 1906 proceeds to determine the type of the photo tree structure of the current block. Conversely, if it is determined that the current block is divided according to a multi-type tree structure, node 1908 proceeds to determine the type of the multi-type tree structure of the current block.
  • a division method of the current block is determined between a rectangular photo tree structure and a triangular photo tree structure.
  • the decision of the node 1906 may be determined based on the triangle photo tree flag (TQT flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • TQT flag triangle photo tree flag
  • the characteristics of the current block size, shape, color component, slice type, etc.
  • the triangular photo tree flag points to 0 it may be determined that the current block is divided according to a rectangular photo tree structure.
  • the triangle photo tree flag points to 1
  • a triangular photo tree structure may be selected for the current block
  • a rectangular photo tree structure may be selected for the current block.
  • the current block is split according to a rectangular photo tree structure or a triangular photo tree structure.
  • subblocks can be additionally divided if the conditions allowing division are met. However, if the current block is divided by a triangular photo tree structure, the subblocks may no longer be divided.
  • node 1906 is omitted, and the current block is divided according to the rectangular photo tree structure. Additionally, in the case of an embodiment in which the triangular photo tree structure is not used, node 1906 is also omitted, and the current block is divided according to the rectangular photo tree structure.
  • the division direction of the current block is determined.
  • the decision of the node 1908 may be determined according to the split direction flag or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • the division direction flag indicates 0, the division direction of the current block may be determined to be horizontal.
  • the division direction flag indicates 1, the division direction of the current block may be determined to be vertical.
  • the division direction flag indicates 0, the division direction of the current block may be determined to be vertical, and when the division direction flag indicates 1, the division direction of the current block may be determined to be horizontal.
  • node 1910 proceeds to determine the type of the tree structure of the current block among the tree structures in the horizontal direction.
  • node 1912 proceeds to determine the type of tree structure of the current block among the tree structures in the vertical direction.
  • the division direction is determined before the number of blocks to be divided and whether to apply geometric division. However, depending on the embodiment, the division direction may be determined after the number of blocks to be divided is determined. Additionally, depending on the embodiment, the division direction may be determined after both the number of blocks to be divided and whether to apply geometric division are determined. Alternatively, depending on the embodiment, the division direction may be determined at the end of the block division method.
  • a splitting method of the current block is determined.
  • the decision of the node 1910 may be determined based on the binary tree flag (BT_flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • BT_flag binary tree flag
  • characteristics of the current block size, shape, color component, slice type, etc.
  • the binary tree flag points to 0 it may be determined that the current block is split according to the binary tree structure.
  • the binary tree flag points to 1 it may be determined that the current block is divided according to the ternary tree structure.
  • the binary tree flag points to 0 it may be determined that the current block is split according to the ternary tree structure
  • the split direction flag points to 1 it may be determined that the current block is split according to the binary tree structure.
  • node 1914 is performed to determine the type of tree structure of the current block among the horizontal binary tree structures.
  • node 1916 is processed to determine the type of tree structure of the current block among the horizontal ternary tree structures.
  • Node 1912 determines how to divide the current block between a binary tree structure and a ternary tree structure.
  • the binary tree flag of node 1912 is the same syntax element as the binary tree flag of node 1910.
  • node 1918 proceeds to determine the type of tree structure of the current block among the vertical binary tree structures. Conversely, if it is determined that the current block is divided according to the ternary tree structure, node 1920 proceeds to determine the type of tree structure of the current block among the vertical ternary tree structures.
  • a splitting method of the current block is determined: a rectangular binary tree structure or a geometric binary tree structure.
  • the decision of the node 1914 may be determined based on the geometric binary tree flag (GBT_flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • GBT_flag geometric binary tree flag
  • characteristics of the current block size, shape, color component, slice type, etc.
  • the current block is partitioned according to a horizontal rectangular binary tree structure.
  • the current block is split according to the geometric binary tree structure in the horizontal direction.
  • two or more horizontal geometric binary tree structures may be allowed in the current block. Therefore, when there are two or more horizontal geometric binary tree structures allowed for the current block, the geometric binary tree structure of the current block can be selected according to the geometric binary tree structure determination method of FIG. 21.
  • a splitting method of the current block is determined: a rectangular ternary tree structure or an asymmetric ternary tree structure.
  • the decision of the node 1916 may be determined according to the asymmetric ternary tree flag (ATT_flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • ATT_flag asymmetric ternary tree flag
  • characteristics of the current block size, shape, color component, slice type, etc.
  • the current block is partitioned according to a horizontal rectangular ternary tree structure.
  • the current block is split according to an asymmetric ternary binary tree structure in the horizontal direction.
  • two or more horizontal asymmetric ternary tree structures may be allowed in the current block. Therefore, when there are two or more asymmetric ternary tree structures in the horizontal direction allowed for the current block, the asymmetric ternary tree structure of the current block can be selected according to the asymmetric ternary tree structure determination method of FIG. 22.
  • node 1918 similar to node 1914, a method of dividing the current block between a rectangular binary tree structure and a geometric binary tree structure is determined.
  • the geometric binary tree flag of node 1918 is identical to the geometric binary tree flag of node 1914.
  • the current block is partitioned according to a rectangular binary tree structure. If it is determined that the current block is partitioned according to a vertical rectangular binary tree structure, the current block is partitioned according to a vertical rectangular binary tree structure. Conversely, if it is determined that the current block is split according to the geometric binary tree structure, the current block is split according to the geometric binary tree structure in the vertical direction. As shown in FIG. 6, two or more vertical geometric binary tree structures may be allowed in the current block. Therefore, when there are two or more vertical geometric binary tree structures allowed for the current block, the geometric binary tree structure of the current block can be selected according to the geometric binary tree structure determination method of FIG. 21.
  • node 1920 similar to node 1916, a method of dividing the current block between a rectangular ternary tree structure and an asymmetric ternary tree structure is determined.
  • the asymmetric ternary tree flag of node 1920 is identical to the asymmetric ternary tree flag of node 1916.
  • the current block is split according to a vertical ternary tree structure.
  • the current block is split according to the asymmetric ternary tree structure in the vertical direction.
  • two or more vertically asymmetric ternary tree structures may be allowed in the current block. Therefore, when there are two or more asymmetric ternary tree structures in the vertical direction allowed for the current block, the asymmetric ternary tree structure of the current block can be selected according to the asymmetric ternary tree structure determination method of FIG. 22.
  • nodes 1914 and 1918 are omitted, and the current block is split according to the rectangular binary tree structure. Additionally, even in the case of embodiments in which the geometric binary tree structure is not used, nodes 1914 and 1918 are omitted, and the current block is split according to the rectangular binary tree structure.
  • nodes 1916 and 1920 are omitted, and the current block is split according to a rectangular ternary structure. Additionally, even in embodiments in which an asymmetric ternary tree structure is not used, nodes 1916 and 1920 are omitted, and the current block is split according to a rectangular ternary tree structure.
  • nodes 1906, 1914, 1916, 1918, and 1920 may be omitted, depending on whether a geometric partition tree structure is included as an encoding tool.
  • the selection step of a binary tree and a geometric binary tree and the selection step of a ternary tree and an asymmetric ternary tree can be omitted.
  • the selection step of the photo tree and the triangular photo tree and the selection step of the three-way tree and asymmetric three-way tree can be omitted.
  • nodes 1916 and 1920 may be activated, and nodes 1906, 1914, and 1918 may be omitted. Accordingly, the selection step of the photo tree and the triangular photo tree and the selection step of the binary tree and the geometric binary tree can be omitted.
  • the geometric partition tree structure is included as an encoding tool in the embodiment, if it is determined that the geometric partition tree structure is not allowed in higher data units such as sequence parameter sets, picture parameter sets, slice headers, coding tree units, etc., it is not allowed.
  • a geometric partition tree structure that does not have a geometric partitioning tree structure may be excluded from the block partitioning of the current block. Additionally, depending on the characteristics of the current block (size, shape, color component, slice type, etc.), an unacceptable geometric partition tree structure may be excluded from the block partition of the current block.
  • Figure 20 shows an example (2000) of a syntax structure for determining a block division method reflecting a geometric division tree structure.
  • the division method of the current block among a rectangular photo tree structure, a triangular photo tree structure, and a multi-type tree structure is determined according to the photo tree/multi-type tree index (QT/MTT index) at node 2004.
  • the decision of the node 2004 may be determined based on the photo tree/multi-type tree index or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • the photo tree/multi-type tree index points to 0 it may be determined that the current block is divided according to a rectangular photo tree structure.
  • the photo tree/multi-type tree index points to 10
  • it may be determined that the current block is divided according to a triangular photo tree structure.
  • the photo tree/multi-type tree index points to 11
  • the tree structure indicated by the symbol indicated by the photo tree/multi-type tree index may be set differently from that of FIG. 20.
  • Nodes 2002, 2006, 2008, 2010, 2012, 2014, 2016, and 2018 of FIG. 20 may perform the same functions as nodes 1902, 1908, 1910, 1912, 1914, 1916, 1918, and 1920 of FIG. 19, respectively.
  • Figure 21 shows an example of a syntax structure for determining a geometric binary tree structure.
  • the geometric binary tree structure determination method of FIG. 21 Accordingly, among two or more geometric binary tree structures, the geometric binary tree structure of the current block may be selected.
  • a splitting method of the current block is determined between a triangular binary tree structure and a square binary tree structure.
  • the decision of the node 2012 may be determined based on the GBT shape flag or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • the GBT type flag points to 0 it may be determined that the current block is split according to a triangular binary tree structure.
  • the GBT type flag points to 1
  • the GBT shape flag indicates a rectangular binary tree structure may be selected for the current block
  • the GBT shape flag indicates 1
  • a triangular binary tree structure may be selected for the current block.
  • the current block is split according to a triangular binary tree structure. 19 or 20, if the division direction is determined to be vertical, the current block is divided according to a vertical triangle binary tree structure. And if the splitting direction is determined to be horizontal, the current block is split according to the horizontal triangle binary tree structure.
  • node 2104 is performed to determine the square binary tree direction of the current block.
  • the direction of the rectangular binary tree of the current block is determined.
  • the decision of the node 2104 may be determined according to the square binary tree direction flag (QBT direction flag) or the characteristics of the current block (size, shape, color component, slice type, etc.).
  • QBT direction flag square binary tree direction flag
  • characteristics of the current block size, shape, color component, slice type, etc.
  • the square binary tree direction flag points to 0
  • the square binary tree direction flag points to 1
  • the tree structure indicated by the symbol of the square binary tree direction flag may be set opposite to the square binary tree direction flag of FIG. 21.
  • the current block can be divided according to the vertical right rectangular binary tree. And if the division direction is vertical and the rectangular binary tree direction is left, the current block can be divided according to the vertical left rectangular binary tree. If the division direction is horizontal and the rectangular binary tree direction is upward, the current block can be divided according to the horizontal upper rectangular binary tree. And when the division direction is horizontal and the rectangular binary tree direction is downward, the current block can be divided according to the horizontal lower rectangular binary tree.
  • nodes 2102 and/or 2104 may be omitted, depending on whether a geometric binary tree structure is included as an encoding tool.
  • nodes 2102 and 2104 are not activated. Therefore, the method according to FIG. 21 is not performed, and the current block can be split according to a vertical or horizontal triangular binary tree.
  • node 2102 is not activated. Therefore, only the direction of the square binary tree at node 2104 is determined. If the direction of the rectangular binary tree is fixed to one, node 2104 is also omitted, so the method according to FIG. 21 may not be performed.
  • Geometric binary tree structures that do not work can be excluded from the block division of the current block. Additionally, depending on the characteristics of the current block (size, shape, color component, slice type, etc.), an unacceptable geometric binary tree structure may be excluded from block division of the current block.
  • the current block may be divided according to a geometric binary tree structure, and the sub-block determined by the division of the current block may be encoded or decoded without being further divided.
  • Figure 22 shows an example of a syntax structure for determining an asymmetric ternary tree structure.
  • the asymmetric ternary tree structure determination method of FIG. 22 is used. Accordingly, among two or more asymmetric ternary tree structures, the asymmetric ternary tree structure of the current block may be selected.
  • the asymmetric ternary tree direction of the current block is determined.
  • the decision of the node 2202 may be determined based on the asymmetric ternary tree direction flag (ATT direction flag) or the characteristics of the current block.
  • ATT direction flag asymmetric ternary tree direction flag
  • the asymmetric three-tree direction flag points to 0
  • the asymmetric three-tree direction flag points to 1
  • it may be determined that the current block is divided according to an asymmetric three-tree structure in the left or bottom direction.
  • the tree structure indicated by the symbol of the asymmetric three-tree direction flag may be set opposite to the asymmetric three-tree direction flag of FIG. 22.
  • the current block can be split according to the vertical right ternary tree. And if the splitting direction is vertical and the square binary tree direction is left, the current block can be split according to the vertical left ternary tree. If the splitting direction is horizontal and the square binary tree direction is upper, the current block can be split according to the horizontal upper ternary tree. And when the division direction is horizontal and the square binary tree direction is downward, the current block can be divided according to the horizontal downward ternary tree.
  • node 2202 may be omitted.
  • an asymmetric ternary tree structure included as an encoding tool in the embodiment, if it is determined that a specific asymmetric ternary tree structure is not allowed in higher data units such as sequence parameter set, picture parameter set, slice header, encoding tree unit, etc., it is allowed.
  • An asymmetric ternary tree structure that does not work can be excluded from the block division of the current block.
  • an impermissible asymmetric ternary tree structure may be excluded from block division of the current block.
  • the current block may be divided according to an asymmetric ternary tree structure, and the subblock determined by the division of the current block may be encoded or decoded without being further divided.
  • the current block may be divided according to the tree structure described in FIGS. 4 to 7. And prediction and/or transformation processes may be performed on the divided sub-blocks, or division may be performed on the sub-blocks again. If conversion is performed on a lower block, the residual signal rearrangement described in FIGS. 9 to 18 may be performed before conversion. According to the syntax structures of FIGS. 19 to 22, a tree structure for division of the current block may be determined.
  • Figure 23 shows an example of a video decoding method using a tree structure determination method for block division.
  • step 2302 based on block division information obtained from the bitstream, a tree structure for division of the current block is determined among candidate tree structures allowed for the current block.
  • the candidate tree structures include a geometric split tree structure, and the geometric split tree structure may include at least one of a triangular photo tree structure, a geometric binary tree structure, and an asymmetric ternary tree structure.
  • the geometric binary tree structure may include a triangular binary tree structure and a square binary tree structure.
  • the triangular binary tree structure may include a vertical triangular binary tree structure and a horizontal triangular binary tree structure.
  • the rectangular binary tree structure may include a vertical right rectangular binary tree structure, a vertical left rectangular binary tree structure, a horizontal upper rectangular binary tree structure, and a horizontal lower rectangular binary tree structure.
  • the asymmetric ternary tree structure may include a vertical right ternary tree structure, a vertical left ternary tree structure, a horizontal upper ternary tree structure, and a horizontal lower ternary tree structure.
  • the block division information includes a triangle photo tree flag indicating a division method of the current block among a rectangular photo tree structure and a triangle photo tree structure, and a geometric binary tree representing a division method of the current block among a rectangular binary tree structure and a geometric binary tree structure. It may include a flag, and an asymmetric ternary tree flag indicating a partitioning method of the current block among a rectangular ternary tree structure and an asymmetric ternary tree structure.
  • the block division information includes a photo tree flag indicating a division method of the current block among a photo tree structure and a multi-type tree structure, and the triangle photo tree flag indicates that the photo tree flag indicates a division method of the current block in the photo tree.
  • the photo tree flag indicates a division method of the current block in the photo tree.
  • the block splitting information includes a binary tree flag indicating a splitting method of the current block among a binary tree structure and a ternary tree structure, and the geometric binary tree flag includes a binary tree flag indicating a splitting method of the current block.
  • the binary tree flag indicates that the partitioning method of the current block is a ternary tree structure, it can be obtained from the bitstream.
  • the block splitting information is GBT indicating a splitting method of the current block among a triangular binary tree structure and a square binary tree structure when the geometric binary tree flag indicates that the current block is a geometric binary tree structure. It may further include a shape flag, and when the GBT shape flag indicates that the current block is a division method of the current block is a rectangular binary tree structure, it may further include a rectangular binary tree direction flag indicating the rectangular binary tree direction of the current block. there is.
  • the block splitting information may further include an asymmetric ternary tree direction flag indicating the asymmetric ternary tree direction of the current block when the asymmetric ternary tree flag indicates that the current block is divided into an asymmetric ternary tree structure. You can.
  • the block splitting information may further include a splitting direction flag indicating a splitting direction of the current block among vertical and horizontal directions when the binary tree structure or the ternary tree structure is applied to the current block.
  • a splitting direction flag indicating a splitting direction of the current block among vertical and horizontal directions when the binary tree structure or the ternary tree structure is applied to the current block.
  • the geometric partition tree structure is not allowed in the current block, or the geometric partition tree structure is determined in the current block based on at least one of the size, shape, color component, and slice type of the current block. If the geometric partition tree structure is not applied, the triangular photo tree flag, the geometric binary tree flag, and the asymmetric ternary tree flag may not be obtained from the bitstream.
  • step 2304 the current block is split according to the determined tree structure.
  • the current block may be divided into four triangular blocks of the same size. If the tree structure of the current block is a triangular binary tree structure, the current block may be divided into two triangular blocks of the same size. If the tree structure of the current block is a rectangular binary tree structure, the current block may be divided into two non-rectangular rectangular blocks. If the tree structure of the current block is an asymmetric ternary tree structure, the current block may be divided into two triangular blocks and one square block.
  • step 2306 a sub-block of the current block divided from the current block is decoded.
  • the lower block may no longer be partitioned.
  • rearranging the residual signals of the plurality of transform blocks corresponding to the current block in the plurality of transform regions includes scanning the residual signals of the plurality of transform blocks according to a predetermined first scan order, and It may include rearranging the scanned residual signals into the plurality of conversion areas according to a predetermined second scan order.
  • the predetermined first scan order may be determined as one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan
  • the predetermined second scan order may be determined as one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan.
  • Figure 24 shows an example of a video encoding method to which a tree structure determination method for block division is applied.
  • a tree structure for splitting the current block may be determined among candidate tree structures allowed for the current block. And block division information representing the tree structure may be encoded.
  • the candidate tree structure is the same as described in step 2302. Additionally, syntax elements included in the block division information are the same as those described in step 2302. However, syntax elements are generated in the encoding stage, and the syntax elements are explained as follows.
  • the triangular photo tree flag may be encoded and included in the bitstream when the photo tree flag indicates that the division method of the current block is a photo tree structure.
  • the geometric binary tree flag may be encoded and included in the bitstream when the binary tree flag indicates that the division method of the current block is a binary tree structure.
  • the asymmetric three-tree flag may be encoded and included in the bitstream when the asymmetric three-tree flag indicates that the division method of the current block is a three-way tree structure.
  • a rectangular binary tree direction flag indicating the rectangular binary tree direction of the current block may be encoded and included in the bitstream.
  • an asymmetric three-tree direction flag indicating the asymmetric three-tree direction of the current block may be encoded and included in the bitstream.
  • a split direction flag indicating the split direction of the current block among vertical and horizontal directions may be encoded and included in the bitstream.
  • step 2404 the current block is split according to the determined tree structure. As described with respect to step 2304, the current block may be split in step 2404 according to the block splitting method of each tree structure.
  • a sub-block of the current block divided from the current block may be encoded.
  • the lower block may no longer be partitioned.
  • rearranging the residual signals of the plurality of transform regions corresponding to the current block to the plurality of transform blocks includes scanning the residual signals of the plurality of transform regions according to a predetermined second scan order, and It may include rearranging the scanned residual signal into the plurality of transform blocks according to a predetermined first scan order.
  • the predetermined first scan order may be determined as one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan
  • the predetermined second scan order may be determined as one of a vertical zigzag scan, a horizontal zigzag scan, and a diagonal zigzag scan.
  • Figure 25 is a diagram illustrating a content streaming system to which an embodiment according to the present invention can be applied.
  • a content streaming system to which an embodiment of the present invention is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smartphones, cameras, CCTV, etc. into digital data, generates a bitstream, and transmits it to the streaming server.
  • multimedia input devices such as smartphones, cameras, CCTV, etc. directly generate bitstreams
  • the encoding server may be omitted.
  • the bitstream may be generated by an image encoding method and/or an image encoding device to which an embodiment of the present invention is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to the user device based on a user request through a web server, and the web server can serve as a medium to inform the user of what services are available.
  • the web server delivers it to a streaming server, and the streaming server can transmit multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server may control commands/responses between each device in the content streaming system.
  • the streaming server may receive content from a media repository and/or encoding server. For example, when receiving content from the encoding server, the content can be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a certain period of time.
  • Examples of the user devices include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, slate PCs, Tablet PC, ultrabook, wearable device (e.g. smartwatch, smart glass, head mounted display), digital TV, desktop There may be computers, digital signage, etc.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation slate PCs
  • Tablet PC ultrabook
  • wearable device e.g. smartwatch, smart glass, head mounted display
  • digital TV desktop There may be computers, digital signage, etc.
  • Each server in the content streaming system may be operated as a distributed server, and in this case, data received from each server may be distributedly processed.
  • an image can be encoded/decoded using at least one or a combination of at least one of the above embodiments.
  • the order in which the above embodiments are applied may be different in the encoding device and the decoding device. Alternatively, the order in which the above embodiments are applied may be the same in the encoding device and the decoding device.
  • the above embodiments can be performed for each luminance and chrominance signal.
  • the above embodiments for luminance and chrominance signals can be performed in the same way.
  • the above embodiments may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field.
  • the bitstream generated by the encoding method according to the above embodiment may be stored in a non-transitory computer-readable recording medium. Additionally, the bitstream stored in the non-transitory computer-readable recording medium can be decoded using the decoding method according to the above embodiment.
  • examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. -optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa.
  • the present invention can be used in devices that encode/decode images and recording media that store bitstreams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에서, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 현재 블록의 분할을 위한 트리 구조를 결정하는 단계, 결정된 트리 구조에 따라 현재 블록을 분할하는 단계, 및 현재 블록으로부터 분할된 현재 블록의 하위 블록을 복호화하는 단계를 포함하고, 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하며, 기하학적 분할 트리 구조는, 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함하는 비디오 복호화 방법이 제공된다.

Description

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
본 발명은 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다. 구체적으로, 본 발명은 기하학적 분할 트리 구조에 따른 블록 분할을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다.
최근 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 더 높은 해상도 및 화질을 갖는 영상에 대한 고효율 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.
영상 부호화 및 복호화에 있어서, 예측 및 변환의 효율성을 위하여, 동일한 예측 방법에 의하여 예측되는 샘플들을 하나의 블록에 묶고, 블록의 샘플들을 동일한 예측 방법에 따라 예측 부호화할 경우, 샘플의 예측 방법에 대한 부호화 정보를 크게 감축할 수 있다. 따라서, 영상 샘플들의 예측 정확도를 높이기 위하여, 영상의 특성에 따라 영상을 블록 단위로 정교하게 분할하는 방안이 논의되고 있다.
본 발명은 기하학적 분할 트리 구조에 따른 분할을 이용하여 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 본 발명에서 제공된 영상 복호화 방법 또는 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 획득된 블록 분할 정보에 기초하여, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하는 단계, 상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계, 및 상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 복호화하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 트리 구조가 삼각형 사진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 4개의 삼각형 블록으로 분할되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 기하학적 이진 트리 구조는 삼각형 이진 트리 구조와 사각형 이진 트리 구조를 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 트리 구조가 삼각형 이진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 2개의 삼각형 블록으로 분할되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 트리 구조가 사각형 이진 트리 구조일 경우, 상기 현재 블록은 2개의 직사각형이 아닌 사각형 블록으로 분할되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 트리 구조가 비대칭 삼진 트리 구조일 경우, 상기 현재 블록은 2개의 삼각형 블록과 1개의 사각형 블록으로 분할되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 직사각형 사진 트리 구조 및 삼각형 사진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 삼각형 사진 트리 플래그, 직사각형 이진 트리 구조 및 기하 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 기하 이진 트리 플래그, 및 직사각형 삼진 트리 구조 및 비대칭 삼진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 비대칭 삼진 트리 플래그를 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 사진 트리 구조 및 멀티 타입 트리 구조 중 현재 블록의 분할 방법을 나타내는 사진 트리 플래그를 포함하고, 상기 삼각형 사진 트리 플래그는, 상기 사진 트리 플래그가 상기 현재 블록의 분할 방법이 사진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 이진 트리 구조 및 삼진 트리 구조 중 현재 블록의 분할 방법을 나태내는 이진 트리 플래그를 포함하고, 상기 기하 이진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 이진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되고, 상기 비대칭 삼진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 삼진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 상기 기하 이진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 기하 이진 트리 구조임을 나타낼 때, 삼각형 이진 트리 구조 및 사각형 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 GBT 형태 플래그를 더 포함하고, 상기 GBT 형태 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 사각형 이진 트리 구조 임을 나타낼 때, 현재 블록의 사각형 이진 트리 방향을 나타내는 사각형 이진 트리 방향 플래그를 더 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 상기 비대칭 삼진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 비대칭 삼진 트리 구조임을 나타낼 때, 상기 현재 블록의 비대칭 삼진 트리 방향을 나타내는 비대칭 삼진 트리 방향 플래그를 더 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 블록 분할 정보는, 상기 현재 블록에 상기 이진 트리 구조 또는 상기 삼진 트리 구조가 적용되는 경우, 수직 방향 및 수평 방향 중 상기 현재 블록의 분할 방향을 나타내는 분할 방향 플래그를 더 포함하고, 상기 현재 블록에 상기 이진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 이진 트리 구조가 결정되고, 상기 현재 블록에 상기 삼진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 삼진 트리 구조가 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 상위 데이터 단위에서, 상기 기하학적 분할 트리 구조가 상기 현재 블록에 허용되지 않음이 결정되거나, 상기 현재 블록의 크기, 형태, 색 성분 및 슬라이스 타입 중 적어도 하나에 기초하여 상기 현재 블록에 상기 기하학적 분할 트리 구조가 적용되지 않는 경우, 상기 삼각형 사진 트리 플래그, 상기 기하 이진 트리 플래그, 상기 비대칭 삼진 트리 플래그는 상기 비트스트림으로부터 획득되지 않는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록의 하위 블록을 복호화하는 단계는, 상기 현재 블록이 상기 기하학적 분할 트리 구조에 따라 분할된 경우, 상기 하위 블록의 영역에 따라, 상기 현재 블록으로부터 복수의 변환 영역을 결정하는 단계, 및 상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계, 상기 복수의 변환 영역을 결합하여, 상기 현재 블록의 잔차 신호가 포함된 잔차 블록을 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계는, 상기 복수의 변환 블록의 잔차 신호를 소정의 제1 스캔 순서에 따라 스캔하는 단계, 및 상기 스캔된 잔차 신호를 소정의 제2 스캔 순서에 따라 상기 복수의 변환 영역에 재배열하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 소정의 제1 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되고, 상기 소정의 제2 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 기하학적 분할 트리 구조가 상기 현재 블록의 트리 구조로 결정됨에 대응하여, 상기 하위 블록은 분할되지 않는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하고, 상기 트리 구조를 나타내는 블록 분할 정보를 부호화하는 단계, 상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계, 및 상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 부호화하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 비 일시적 컴퓨터 판독가능한 기록 매체는, 상기 비디오 부호화 방법에 의하여 생성된 비트스트림을 저장한다.
본 발명의 일 실시예에 따른 전송 방법은, 상기 비디오 부호화 방법에 의하여 생성된 비트스트림을 전송한다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명은 기하학적 분할 트리 구조에 따라 부호화 단위와 같은 블록의 정교한 분할 방법을 제안한다. 블록이 정교하게 분할됨에 따라, 예측 정확성이 향상됨으로써 부호화 효율이 증가할 수 있다.
또한 본 발명은 기하학적 분할 트리 구조가 적용된 블록의 변환을 위한 잔차 신호 재배열 방법을 제안한다. 잔차 신호 재배열에 따라, 기하학적 분할 트리 구조가 적용된 블록의 변환 효율성이 증대될 수 있다.
또한 본 발명은 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조를 제공한다. 본 발명에서 제공된 신택스 구조에 따라, 기하학적 분할 트리 구조를 비롯한 다양한 트리 구조가 선택될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 4는 사진 트리 구조, 멀티타입 트리 구조의 일 실시 예를 나타낸다.
도 5 는 삼각형 사진 트리 구조(Triangle quad tree, TQT)를 나타낸다.
도 6 은 기하학적 이진 트리 (Geometric binary tree, GBT)를 나타낸다.
도 7 은 비대칭 분할에 따른 비대칭 삼진 트리 (Asymmetric ternary tree, ATT) 구조를 나타낸다.
도 8 은 기하학적 분할 트리 구조로 분할된 각각의 영역에 변환 및 양자화를 적용하기 위해 잔차 신호를 재배열하는 순서를 나타낸다.
도 9 는 삼각형 사진 트리 구조에서 잔차 신호를 재배열하는 방법의 일 실시 예를 설명한다.
도 10은 수직 삼각형 이진 트리 구조에서 잔차 신호들을 2개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 11은 수직 삼각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 12는 수직 삼각형 이진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 13은 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 2개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 14는 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 15는 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 다른 일 실시 예를 설명한다.
도 16은 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 17은 수직 우측 삼진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 18은 비대칭 삼진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 19는 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조의 일 실시 예를 나타낸다.
도 20은 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조의 일 실시 예를 나타낸다.
도 21은 기하 이진 트리 구조의 결정을 위한 신택스 구조의 일 실시 예를 도시한다.
도 22는 비대칭 삼진 트리 구조의 결정을 위한 신택스 구조의 일 실시 예를 도시한다.
도 23은 블록 분할을 위한 트리 구조 결정 방법이 적용된 비디오 복호화 방법의 일 실시 예를 나타낸다.
도 24는 블록 분할을 위한 트리 구조 결정 방법이 적용된 비디오 부호화 방법의 일 실시 예를 나타낸다.
도 25는 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 획득된 블록 분할 정보에 기초하여, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하는 단계, 상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계, 및 상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 복호화하는 단계를 포함할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 예시적으로 제공될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
실시예에서 용어 "적어도 하나(at least one)"는 1, 2, 3 및 4와 같은 1 이상의 개수들 중 하나를 의미할 수 있다. 실시예에서 용어 "복수(a plurality of)"는 2, 3 및 4와 같은 2 이상의 개수들 중 하나를 의미할 수 있다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
용어 설명
이하에서, “영상”은 동영상(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "동영상의 부호화 및/또는 복호화"를 의미할 수 있으며, "동영상을 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, "동영상" 및 "비디오"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다. 여기서, 대상 영상은 현재 영상과 동일한 의미를 가질 수 있다.
이하에서, "영상(image)", "픽처(picture)", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “대상 블록”은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, “유닛”은 블록과 구분하여 지칭하기 위해 휘도(Luma) 성분 블록과 그에 대응하는 색차(Chroma) 성분 블록을 포함한 것을 의미할 수 있다. 일 예로, 부호화 트리 유닛(Coding Tree Unit, CTU)은 하나의 휘도 성분(Y) 부호화 트리 블록(Coding Tree Block, CTB)과 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다.
이하에서, “샘플”, “화소” 및 “픽셀”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 여기서, 샘플은 블록을 구성하는 기본 단위를 나타낼 수 있다.
이하에서, “인터” 및 “화면 간”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “인트라” 및 “화면 내”는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 하나 이상의 영상들을 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 영상 분할부(110), 인트라 예측부(120), 움직임 예측부(121), 움직임 보상부(122), 스위치(115), 감산기(113), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(117), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
또한, 부호화 장치(100)는 입력 영상에 대한 부호화를 통해 부호화된 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있거나, 유/무선 전송 매체를 통해 스트리밍될 수 있다.
영상 분할부(110)는 동영상 부호화/복호화의 효율을 높이기 위해, 입력 영상을 다양한 형태로 분할할 수 있다. 즉, 입력 동영상은 다수의 픽처로 구성되어 있고 하나의 픽처는 압축 효율, 병렬처리 등을 위하여 계층적으로 분할되어 처리될 수 있다. 예를 들어, 하나의 픽처를 하나 또는 다수개의 타일(tile) 또는 슬라이스(slice)로 분할하고 다시 다수개의 CTU (Coding Tree Unit)로 분할할 수 있다. 또 다른 방식으로, 먼저 하나의 픽처를 직사각형 모양의 슬라이스의 그룹으로 정의되는 다수개의 서브픽처(sub-picture)로 분할하고, 각 서브픽처를 상기 타일/슬라이스로 분할할 수도 있다. 여기서, 서브픽처는 픽처를 부분적으로 독립 부호화/복호화 및 전송하는 기능을 지원하기 위하여 활용될 수 있다. 여러 개의 서브픽처는 각각 개별적으로 복원 가능하기에 멀티 채널 입력을 하나의 픽처로 구성하는 응용에 있어서 편집이 용이하다는 장점을 가지게 된다. 또한, 타일을 횡방향으로 분할하여 브릭(brick)을 생성할 수도 있다. 여기서, 브릭(brick)은 픽처내 병렬처리의 기본 단위로 활용할 수 있다. 또한, 하나의 CTU는 쿼드 트리(QT: Quadtree)로 재귀적으로 분할될 수 있고, 분할의 말단 노드를 CU (Coding Unit)라고 정의할 수 있다. CU는 예측 단위인 PU(Prediction Unit)와 변환 단위인 TU (Transform Unit)로 분할되어 예측과 분할이 수행될 수 있다. 한편, CU는 예측 단위 및/또는 변환 단위 그 자체로 활용할 수 있다. 여기서, 유연한 분할을 위하여 각 CTU는 쿼드 트리(QT) 뿐만 아니라 멀티타입 트리(MTT: Multi-Type Tree)로 재귀적으로 분할될 수도 있다. CTU는 QT의 말단 노드에서 멀티타입 트리로 분할이 시작될 수 있으며 MTT는 BT(Binary Tree)와 TT(Triple Tree)로 구성될 수 있다. 예를 들어, MTT구조에는 수직 이진 분할모드(SPLIT_BT_VER), 수평 이진 분할모드(SPLIT_BT_HOR), 수직 삼진 분할모드(SPLIT_TT_VER), 수평 삼진 분할모드(SPLIT_TT_HOR)로 구분될 수 있다. 또한, 분할 시 휘도 블록의 쿼드 트리의 최소 블록 크기(MinQTSize)는 16x16이고 이진 트리의 최대블록 크기(MaxBtSize)는 128x128, 삼진 트리의 최대 블록 크기(MaxTtSize)는 64x64로 설정할 수 있다. 또한, 이진 트리의 최소 블록 크기(MinBtSize)와 삼진 트리의 최소 블록 크기(MinTtSize)는 4x4, 멀티 타입 트리의 최대 깊이(MaxMttDepth)는 4로 지정할 수 있다. 또한 I 슬라이스의 부호화 효율을 높이기 위하여 휘도와 색차 성분의 CTU 분할 구조를 서로 다르게 사용하는 듀얼 트리(dual tree)를 적용할 수도 있다. 상기 사진 트리 구조는 직사각형 사진 트리 구조 및 기하학적 분할이 적용된 삼각형 사진 트리 구조를 포함할 수 있다. 그리고 상기 삼진 트리 구조는 직사각형 삼진 트리 구조 및 기하학적 분할이 적용된 비대칭 삼진 트리 구조를 포함할 수 있다. 상기 이진 트리 구조는 직사각형 이진 트리 구조 및 기하학적 분할이 적용된 기하학적 이진 트리 구조를 포함할 수 있다.
반면 P와 B슬라이스에서는 CTU 내의 휘도와 색차 CTB (Coding Tree Block)들이 코딩 트리 구조를 공유하는 싱글 트리(single tree)로 분할할 수 있다.
부호화 장치(100)는 입력 영상에 대해 인트라 모드 및/또는 인터 모드로 부호화를 수행할 수 있다. 또는, 부호화 장치(100)는 입력 영상에 대해 상기 인트라 모드 및 인터 모드가 아닌 제3의 모드 (예, IBC 모드, Palette 모드 등)로 부호화를 수행할 수도 있다. 단, 상기 제3의 모드가 인트라 모드 또는 인터 모드와 유사한 기능적 특징을 가지는 경우, 설명의 편의를 위해 인트라 모드 또는 인터 모드로 분류하기도 한다. 본 발명에서는 상기 제3의 모드에 대한 구체적인 설명이 필요한 경우에만 이를 별도로 분류하여 기술할 것이다.
예측 모드로 인트라 모드가 사용되는 경우 스위치(115)는 인트라로 전환될 수 있고, 예측 모드로 인터 모드가 사용되는 경우 스위치(115)는 인터로 전환될 수 있다. 여기서 인트라 모드는 화면 내 예측 모드를 의미할 수 있으며, 인터 모드는 화면 간 예측 모드를 의미할 수 있다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 입력 블록 및 예측 블록의 차분(residual)을 사용하여 잔여 블록을 부호화할 수 있다. 입력 영상은 현재 부호화의 대상인 현재 영상으로 칭해질 수 있다. 입력 블록은 현재 부호화의 대상인 현재 블록 혹은 부호화 대상 블록으로 칭해질 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 현재 블록의 주변에 이미 부호화/복호화된 블록의 샘플을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 현재 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 입력 블록에 대한 예측 샘플들을 생성할 수 있다. 여기서 인트라 예측은 화면 내 예측을 의미할 수 있다.
인트라 예측 방식으로, DC 모드, Planar 모드와 같은 무방향성 예측 모드와 방향성 예측 모드 (예, 65개 방향)가 적용될 수 있다. 여기서, 인트라 예측 방식은 인트라 예측 모드 또는 화면 내 예측 모드로 표현될 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부(121)는, 움직임 예측 과정에서 참조 영상으로부터 입력 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 움직임 벡터를 도출할 수 있다. 이때, 상기 영역으로 탐색 영역을 사용할 수 있다. 참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 여기서, 참조 영상에 대한 부호화/복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.
움직임 보상부(122)는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다. 여기서 인터 예측은 화면 간 예측 혹은 움직임 보상을 의미할 수 있다.
상기 움직임 예측부(121)과 움직임 보상부(122)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 화면 간 예측 혹은 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 예측 및 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge Mode), 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction; AMVP) 모드, 인트라 블록 카피(Intra Block Copy; IBC) 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 화면 간 예측 혹은 움직임 보상을 수행할 수 있다.
또한, 상기 화면 간 예측 방법을 기초로, sub-PU 기반 예측의 AFFINE 모드, SbTMVP (Subblock-based Temporal Motion Vector Prediction) 모드, 및 PU 기반 예측의 MMVD(Merge with MVD) 모드, GPM(Geometric Partitioning Mode) 모드를 적용할 수도 있다. 또한, 각 모드의 성능 향상을 위하여 HMVP(History based MVP), PAMVP(Pairwise Average MVP), CIIP(Combined Intra/Inter Prediction), AMVR(Adaptive Motion Vector Resolution), BDOF(Bi-Directional Optical-Flow), BCW(Bi-predictive with CU Weights), LIC (Local Illumination Compensation), TM(Template Matching), OBMC(Overlapped Block Motion Compensation) 등을 적용할 수도 있다.
감산기(113)는 입력 블록 및 예측 블록의 차분을 사용하여 잔여 블록을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다. 잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나, 양자화하거나, 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위의 잔여 신호일 수 있다.
변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 생성할 수 있고, 생성된 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.
변환 계수 또는 잔여 신호에 양자화를 적용함으로써 양자화된 레벨(quantized level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 레벨도 변환 계수로 칭해질 수 있다.
일 예로, 화면내 예측을 통해 생성된 4x4 휘도 잔차 블록은 DST(Discrete Sine Transform) 기반 기저 벡터를 통해 변환하며, 나머지 잔차 블록에 대해서는 DCT(Discrete Cosine Transform) 기반의 기저 벡터를 사용하여 변환을 수행할 수 있다. 또한 RQT(Residual Quad Tree) 기술을 통하여 하나의 블록에 대하여 변환 블록을 쿼드 트리 형태로 분할하며 RQT를 통해 분할된 각 변환 블록에 대하여 변환과 양자화를 수행하고 난 후 모든 계수가 0이 되는 경우의 부호화 효율을 높이기 위해 cbf(coded block flag)를 전송할 수 있다.
또 다른 대안으로는, 여러 변환 기저를 선택적으로 사용하여 변환을 수행하는 MTS(Multiple Transform Selection) 기술을 적용할 수도 있다. 즉, CU를 RQT를 통해 TU로 분할하지 않고, SBT(Sub-block Transform) 기술을 통해 TU분할과 유사한 기능을 수행할 수 있다. 구체적으로, SBT는 화면 간 예측 블록에만 적용되며 RQT와 달리 현재 블록을 수직 혹은 수평 방향으로 ½ 혹은 ¼ 크기로 분할한 뒤 그 중 하나의 블록에 대해서만 변환을 수행할 수 있다. 예를 들어, 수직으로 분할된 경우 맨 왼쪽 혹은 맨 오른쪽 블록에 대해 변환을 수행하고, 수평으로 분할된 경우 맨 위쪽 혹은 맨 아래쪽 블록에 대하여 변환을 수행할 수 있다.
또한 DCT 또는 DST를 통해 주파수 영역으로 변환된 잔차 신호를 추가 변환하는 2차 변환 (secondary transform) 기술인 LFNST(Low Frequency Non-Separable Transform)를 적용할 수도 있다. LFNST는 좌측 상단의 4x4 또는 8x8의 저주파수 영역에 대해서 변환을 추가적으로 수행하여 잔차 계수를 좌측 상단으로 집중시킬 수 있게 된다.
양자화부(140)는 변환 계수 또는 잔여 신호를 양자화 매개변수 (QP, Quantization parameter)에 따라 양자화함으로써 양자화된 레벨을 생성할 수 있고, 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
일 예로, 0~51 QP 값을 사용하는 양자화기를 사용할 수 있다. 또는, 영상의 크기가 보다 크고 높은 부호화 효율이 요구되는 경우에는, 0~63 QP를 사용할 수도 있다. 또한 하나의 양자화기를 사용하는 것이 아닌 두 개의 양자화기를 사용하는 DQ(Dependent Quantization) 방법을 적용할 수도 있다. DQ는 두개의 양자화기(예, Q0, Q1)를 사용하여 양자화를 수행하되, 특정 양자화기 사용에 대한 정보를 시그널링 하지 않더라도, 상태 전이 모델을 통해 현재 상태에 기반하여 다음 변환 계수에 사용할 양자화기가 선택되도록 적용할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터(Coding Parameter) 값들 등에 대하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있고, 비트스트림을 출력할 수 있다. 엔트로피 부호화부(150)는 영상의 샘플에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법, 확률 모델, 문맥 모델(Context Model)을 사용하여 산술 부호화를 수행할 수도 있다.
관련하여, CABAC을 적용함에 있어서, 복호화 장치에서 저장되는 확률 테이블의 크기를 줄이고자, 테이블 확률 업데이트 방식을 간단한 수식을 통한 테이블 업데이트 방식으로 변경하여 적용할 수도 있다. 또한 더 정확한 심볼의 확률 값을 얻기 위하여 2개의 서로 다른 확률 모델을 사용할 수도 있다.
엔트로피 부호화부(150)는 변환 계수 레벨(양자화된 레벨)을 부호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 2차원의 블록 형태(form) 계수를 1차원의 벡터 형태로 변경할 수 있다.
부호화 파라미터(Coding Parameter)는 구문 요소 (syntax element)와 같이 부호화 장치(100)에서 부호화되어 복호화 장치(200)로 시그널링되는 정보(플래그, 색인 등)뿐만 아니라, 부호화 과정 혹은 복호화 과정에서 유도되는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다.
여기서, 플래그 혹은 색인을 시그널링(signaling)한다는 것은 인코더에서는 해당 플래그 혹은 색인을 엔트로피 부호화(Entropy Encoding)하여 비트스트림(Bitstream)에 포함하는 것을 의미할 수 있고, 디코더에서는 비트스트림으로부터 해당 플래그 혹은 색인을 엔트로피 복호화(Entropy Decoding)하는 것을 의미할 수 있다.
부호화된 현재 영상은 이후에 처리되는 다른 영상에 대한 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 현재 영상을 다시 복원 또는 복호화할 수 있고, 복원 또는 복호화된 영상을 참조 영상으로 참조 픽처 버퍼(190)에 저장할 수 있다.
양자화된 레벨은 역양자화부(160)에서 역양자화(dequantization)될 수 있고. 역변환부(170)에서 역변환(inverse transform)될 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(117)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 복원 블록(reconstructed block)이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화 및 역변환 중 적어도 하나 이상이 수행된 계수를 의미하며, 복원된 잔여 블록을 의미할 수 있다. 상기 역양자화부(160) 및 역변환부(170)는 양자화부(140) 및 변환부(130)의 역과정으로 수행될 수 있다.
복원 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF), 양방향 필터 (Bilateral filter; BIF), LMCS (Luma Mapping with Chroma Scaling) 등을 복원 샘플, 복원 블록 또는 복원 영상에, 전부 또는 일부 필터링 기술로 적용할 수 있다. 필터부(180)는 인-루프 필터(in-loop filter)로 칭해질 수도 있다. 이때, 인-루프 필터(in-loop filter)는 LMCS를 제외하는 명칭으로 사용하기도 한다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 샘플을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 서로 다른 필터를 적용할 수 있다.
샘플 적응적 오프셋을 이용하여 부호화 에러를 보상하기 위해 샘플 값에 적정 오프셋(offset) 값을 더할 수 있다. 샘플 적응적 오프셋은 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다. 영상에 포함된 샘플을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 샘플의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
양방향 필터 (Bilateral filter; BIF) 또한 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다.
적응적 루프 필터는 복원 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 부호화 유닛(Coding Unit, CU) 별로 시그널링될 수 있고, 각각의 블록에 따라 적용될 적응적 루프 필터의 모양 및 필터 계수는 달라질 수 있다.
LMCS(Luma Mapping with Chroma Scaling)에서, 루마 매핑(LM, Luma-mapping)은 piece-wise 선형 모델을 통해 휘도 값을 재맵핑 하는 것을 의미하고, 크로마 스케일링(CS, Chroma scaling)은 예측 신호의 평균 휘도 값에 따라 색차 성분의 잔차 값을 스케일링해주는 기술을 의미한다. 특히, LMCS는 HDR(High Dynamic Range) 영상의 특성을 반영한 HDR 보정 기술로 활용될 수 있다.
필터부(180)를 거친 복원 블록 또는 복원 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(180)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(201), 스위치 (203), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신하거나, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 또는 인터 모드로 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원된 영상 또는 복호화된 영상을 생성할 수 있고, 복원된 영상 또는 복호화된 영상을 출력할 수 있다.
복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치(203)가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치(203)가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림을 복호화하여 복원된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 복원된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔여 블록과 및 예측 블록을 더함으로써 복호화 대상이 되는 복원 블록을 생성할 수 있다. 복호화 대상 블록은 현재 블록으로 칭해질 수 있다.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 따른 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
엔트로피 복호화부(210)는 변환 계수 레벨(양자화된 레벨)을 복호화하기 위해 변환 계수 스캐닝 방법을 통해 1차원의 벡터 형태 계수를 2차원의 블록 형태로 변경할 수 있다.
양자화된 레벨은 역양자화부(220)에서 역양자화될 수 있고, 역변환부(230)에서 역변환될 수 있다. 양자화된 레벨은 역양자화 및/또는 역변환이 수행된 결과로서, 복원된 잔여 블록으로 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 레벨에 양자화 행렬을 적용할 수 있다. 복호화 장치에 적용되는 역양자화부(220) 및 역변환부(230)는 전술한 부호화 장치에 적용되는 역양자화부(160) 및 역변환부(170)와 동일한 기술을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하는 공간적 예측을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 복호화 장치에 적용되는 인트라 예측부(240)는 전술한 부호화 장치에 적용되는 인트라 예측부(120)와 동일한 기술을 적용할 수 있다.
인터 모드가 사용되는 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하는 움직임 보상을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 상기 움직임 보상부(250)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터를 적용하여 예측 블록을 생성할 수 있다. 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드, 현재 픽처 참조 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 움직임 보상을 수행할 수 있다. 복호화 장치에 적용되는 움직임 보상부(250)는 전술한 부호화 장치에 적용되는 움직임 보상부(122)와 동일한 기술을 적용할 수 있다.
가산기(201)는 복원된 잔여 블록 및 예측 블록을 가산하여 복원 블록을 생성할 수 있다. 필터부(260)는 Inverse-LMCS, 디블록킹 필터, 샘플 적응적 오프셋 및 적응적 루프 필터 등 적어도 하나를 복원 블록 또는 복원 영상에 적용할 수 있다. 복호화 장치에 적용되는 필터부(260)는 전술한 부호화 장치에 적용되는 필터부(180)에 적용된 필터링 기술과 동일한 기술을 적용할 수 있다.
필터부(260)는 복원 영상을 출력할 수 있다. 복원 블록 또는 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다. 필터부(260)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.
일 실시예에 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다. 상기 부호화부(12)의 상세 구성은 전술한 도 1의 부호화 장치(100)와 동일하게 구성하는 것도 가능하다.
전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.
복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다. 상기 복호화부(22)의 상세 구성은 전술한 도 2의 복호화 장치(200)와 동일하게 구성하는 것도 가능하다.
렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
일 실시 예에 따르면, 부호화 및 복호화 과정에서 하나의 픽처(picture)가 작은 영역으로 분할될 수 있다. 하나의 픽처는 서브 픽처(sub-picture), 슬라이스(slice), 타일(tile), 또는 브릭(brick)으로 분할될 수 있다. 상기 서브 픽처, 슬라이스, 타일, 또는 브릭은 여러 개의 부호화 트리 단위 (CTU, coding tree unit)로 구성될 수 있다. 부호화 트리 단위는 사진트리 (QT, Quad tree) 또는 멀티타입 트리(MTT, Multi-type tree) 구조로 분할될 수 있다. 그리고 부호화 트리 단위의 분할을 통해, 부호화의 기본 단위인 부호화 단위(CU, coding unit)가 결정될 수 있다. 그리고 결정된 부호화 단위 마다, 예측, 변환, 양자화 등이 수행될 수 있다. 그리고 부호화 단위에 따라, 영상 복원에 필요한 정보가 부호화 또는 복호화될 수 있다.
부호화 및 복호화 과정에서, 복원된 부호화 단위의 정보를 기반으로 다음 부호화 단위의 부호화 및 복호화 과정이 순차적으로 진행될 수 있다. 하나의 부호화 트리 단위 내의 모든 부호화 단위가 부호화되면 소정의 스캔 순서에 따라 다음의 부호화 트리 단위 내의 부호화 단위들의 부호화가 수행된다. 마찬가지로 복호화 과정에서도, 하나의 부호화 트리 단위 내의 모든 부호화 단위가 복호화되면, 소정의 스캔 순서에 따라 다음의 부호화 트리 단위 내의 부호화 단위들의 복호화가 수행된다
부호화 트리 단위는 균일한 크기를 가지도록 설정될 수 있다. 부호화 트리 단위는 부호화 단위의 분할 트리 구조에서 가장 상위 노드가 된다. 부호화 단위의 최대 크기는 부호화 트리 단위의 크기와 같다. 비록 부호화 트리 단위의 크기는 균일하지만, 부호화 트리 단위 내부의 분할된 부호화 단위들은 다양한 크기를 가질 수 있다. 또한 부호화 단위들은 분할 방법에 따라, 정사각형 뿐만 아니라 직사각형의 형태일 수 있다.
일 실시 예에 따르면, 부호화 트리 단위에서 부호화 단위로의 분할 트리 구조의 종류는 이진 트리(binary tree, BT) 구조, 삼진 트리(ternary tree, TT) 구조, 그리고 사진 트리 구조가 있다. 여기서 멀티타입 트리 구조는 이진 트리 구조, 삼진 트리 구조를 포함한다. 이하, 도 4는 분할 트리 구조의 일 실시 예를 설명한다.
본 개시에서 이진 트리 구조는 상위 블록이 2개의 하위 블록을 포함하는 트리 구조를 나타낸다. 또한 본 개시에서 삼진 트리 구조는 상위 블록이 3개의 하위 블록을 포함하는 트리 구조를 나타낸다. 또한 본 개시에서 사진 트리 구조는 상위 블록이 4개의 하위 블록을 포함하는 트리 구조를 나타낸다
도 4는 사진 트리 구조, 멀티타입 트리 구조의 일 실시 예를 나타낸다.
도 4에서 상위 블록의 크기는 2Nx2N으로 정의된다. 하위 블록의 크기는 상위 블록의 크기를 기준으로 설명된다. 상기 블록은 부호화 단위, 예측 단위, 변환 단위 또는 이와 유사한 역할을 하는 데이터 단위를 의미할 수 있다. 그리고 상위 블록은 분할의 대상이 되는 블록을 의미하고, 하위 블록은 상위 블록의 분할로 생성된 블록을 의미한다.
직사각형 사진 트리 구조(400)에 따르면, 상위 블록(402)는 NxN 크기의 정사각형 형태의 4개의 블록(404, 406, 408, 410)으로 분할된다.
멀티타입 트리 구조 (420)은 직사각형 이진 트리 구조 (430)와 직사각형 삼진 트리 구조 (450)를 포함한다. 직사각형 이진 트리 구조 (430)에 따르면, 상위 블록(432)는 직사각형의 2개의 블록으로 분할된다. 분할 방향에 따라, 직사각형 이진 트리 구조 (430)는 수직 직사각형 이진 트리 구조(434)와 수평 직사각형 이진 트리 구조(440)를 포함할 수 있다. 수직 직사각형 이진 트리 구조(434)에 따르면, 상위 블록(432)은 Nx2N 크기의 직사각형 형태의 2개의 블록(436, 438)으로 분할된다. 그리고 수평 직사각형 이진 트리 구조(440)에 따르면, 상위 블록(432)은 2NxN 크기의 직사각형 형태의 2개의 블록(442, 444)으로 분할된다.
도 4에서는 정사각형의 블록이 직사각형 이진 트리 구조로 분할되는 예가 설명되었다. 하지만, 직사각형의 블록이 직사각형 이진 트리 구조에 따라 분할될 수 있다. 예를 들어, 상위 블록의 크기가 2NxN일 때, 분할된 블록의 크기는 분할 방향에 따라, NxN 이거나 2NxN/2 일 수 있다. 또는, 상위 블록의 크기가 Nx2N일 때, 분할된 블록의 크기는 분할 방향에 따라, NxN 이거나 N/2x2N 일 수 있다.
직사각형 삼진 트리 구조 (450)에 따르면, 상위 블록(452)는 직사각형의 3개의 블록으로 분할된다. 분할 방향에 따라, 직사각형 삼진 트리 구조 (450)는 수직 직사각형 삼진 트리 구조(454)와 수평 직사각형 삼진 트리 구조(462)를 포함할 수 있다. 수직 직사각형 삼진 트리 구조(454)에 따르면, 상위 블록(452)은 N/2x2N 크기의 직사각형 형태의 2개의 블록(456, 458)과 Nx2N 크기의 직사각형 형태의 1개의 블록(460)으로 분할된다. 그리고 수평 직사각형 삼진 트리 구조(462)에 따르면, 상위 블록(452)은 2NxN/2 크기의 직사각형 형태의 2개의 블록(464, 466)과 2NxN 크기의 직사각형 형태의 1개의 블록(468)으로 분할된다.
도 4에서는 정사각형의 블록이 직사각형 삼진 트리 구조로 분할되는 예가 설명되었다. 하지만, 직사각형의 블록이 직사각형 삼진 트리 구조에 따라 분할될 수 있다. 예를 들어, 상위 블록의 크기가 Nx2N이고 수평 직사각형 삼진 트리 구조에 의하여 분할될 때, 상위 블록은 NxN 크기의 1개의 블록과 NxN/2 크기의 2개의 블록으로 분할될 수 있다. 또는, 상위 블록의 크기가 2NxN이고 수직 직사각형 삼진 트리 구조에 의하여 분할될 때, 상위 블록은 NxN 크기의 1개의 블록과 N/2xN 크기의 2개의 블록으로 분할될 수 있다.
일 실시 예에 따르면, 부호화 트리 단위는 직사각형 사진 트리 구조에 의하여 소정의 크기 범위 내에서 재귀적으로 분할될 수 있다. 직사각형 사진 트리 구조를 통하여 부호화 트리 단위로부터 분할된 하위 부호화 유닛은, 소정의 크기 조건이 만족될 경우, 직사각형 이진 트리 구조 및 직사각형 삼진 트리 구조에 의하여 분할될 수 있다.
일 실시 예에 따르면, 한번 멀티타입 트리 구조에 따른 분할로 인하여 결정된 부호화 유닛에 대하여, 더 이상 직사각형 사진 트리 구조에 따른 분할이 적용될 수 없다. 또한 멀티타입 트리 구조에 따른 분할은 부호화 유닛에 재귀적으로 적용될 수 없다.
일 실시 예 따르면, 분할이 완료된 부호화 단위를 기준으로 변환이 수행될 수 있다. 즉, 부호화 단위를 기준으로 변환이 수행될 수 있다. 따라서 하나의 부호화 트리 단위의 분할이 완료되면 분할된 각각의 부호화 단위에 대해 소정의 스캔 순서에 따라 순차적으로 변환, 양자화, 엔트로피 부호화 등이 수행될 수 있다.
일 실시 예 따르면, 블록 분할 구조는 앞서 설명된 직사각형 이진 트리 구조, 직사각형 삼진 트리 구조, 직사각형 사진 트리 구조 외에도 기하학적 분할 트리 구조를 포함할 수 있다. 기하학적 분할 트리 구조가 적용된 기하학적 분할 모드에 따르면, 하나의 부호화 단위는 소정의 직선 분할 경계에 따라 두 개 이상의 영역으로 분할될 수 있다. 예를 들어, 삼각형 사진 트리, 기하학적 이진 트리, 비대칭 삼진 트리의 경우, 소정의 직선 분할 경계에 따라 네 개, 두 개, 세 개의 영역으로 분할될 수 있다. 그리고 분할된 두 개 이상의 영역은 서로 다른 부호화 정보에 따라, 서로 독립적으로 예측될 수 있다.
본 발명에서, 하나의 부호화 트리 단위를 분할함에 있어서, 삼각형 또는 일반 사각형의 부호화 단위, 예측 단위 또는 변환 단위가 생성되는 다양한 기하학적 분할 트리 구조가 제안된다. 제안하는 기하학적 분할 트리 구조는 삼각형과 사각형을 사용한 기하학적 이진 트리 (Geometric binary tree, GBT) 구조, 비대칭 삼진 트리 (Asymmetric ternary tree, ATT) 구조, 그리고 삼각형을 사용한 삼각형 사진 트리 (Triangle quad tree, TQT) 구조가 포함된다.
또한 기하학적 분할 트리 구조에 따라 결정된 단위에 변환을 적용하기 위해 잔차 신호를 재배열하는 방법이 제안된다. 그리고 재배열된 잔차 신호에 대하여 효율적인 변환/양자화를 수행하는 방법이 제안된다. 마지막으로, 본 발명에서 제안된 기하학적 분할 트리 구조의 선택을 위한 비트스트림의 신택스 구조가 제안된다.
이하, 본 발명에서 제안하는 기하학적 분할 트리 구조가 설명된다.
도 4에 따르면, 직사각형 이진 트리 구조, 직사각형 삼진 트리 구조, 그리고 직사각형 사진 트리 구조에 따라 부호화 단위가 분할될 경우, 정사각형 및/또는 직사각형의 부호화 단위가 생성된다. 그러나 도 5 내지 7에서 설명된 트리 구조에 따르면, 정사각형과 직사각형이 아닌 사각형과 삼각형이 분할 결과로 생성될 수 있다. 도 5 내지 7에 기초하여, 본 발명에서 제안하는 기하학적 분할 트리 구조가 설명된다.
도 5는 삼각형 사진 트리 구조(Triangle quad tree, TQT)를 나타낸다.
도 4의 직사각형 사진 트리 구조(400)에 따르면, 상위 블록의 크기가 2Nx2N 일 때, 상위 블록(402)는 NxN 크기를 갖는 네 개의 정사각형 블록(404, 406, 408, 410)으로 분할된다. 반면, 도 5의 삼각형 사진 트리 구조(500)에 따르면, 2Nx2N 크기의 상위 블록(502)은 동일한 크기의 네 개의 삼각형 블록(504, 506, 508, 510)으로 분할된다. 여기서, 각 삼각형의 밑변의 크기는 2N이고, 밑변을 기준으로 높이는 N이다.
부호화 단위는 소정의 크기 범위에서 직사각형 사진 트리 구조(400)에 따라 재귀적으로 분할될 수 있다. 그러나, 삼각형 사진 트리 분할 구조(500)에 따라 분할된 삼각형 블록들에 대하여 더 이상 분할이 수행될 수 없다. 즉, 상위 블록이 삼각형 사진 트리 분할 구조(500)에 따라 분할되면, 각각의 분할된 삼각형 형태의 부호화 단위는 잎 노드(leaf node)가 되어 더 이상 분할될 수 없다.
도 6은 기하학적 이진 트리 (Geometric binary tree, GBT)를 나타낸다.
도 6에서 설명된 기하학적 이진 트리는 삼각형 이진 트리(Triangle binary tree, Triangle BT(TBT)) 구조 (610)와 사각형 이진 트리(Quadrangle binary tree, Quadrangle BT(QBT)) 구조 (630)로 구분된다. 그리고 삼각형 이진 트리 구조 (610)는 수직 삼각형 이진 트리(Vertical triangle BT, VTBT) 구조 (612)와 수평 삼각형 이진 트리(Horizontal triangle BT, HTBT) 구조 (618)로 구분된다. 삼각형 이진 트리 구조(610)에서 분할 경계에 의해 구분되는 각각의 영역은 동일한 크기를 갖는다.
수직 삼각형 이진 트리 구조(612)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 직각 삼각형 블록(614, 616)으로 분할된다. 상기 직각 삼각형 블록(614, 616)의 경계는 상위 블록(600)의 좌하측 꼭지점과 우상측 꼭지점을 연결한다.
수평 삼각형 이진 트리 구조(618)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 직각 삼각형 블록(620, 622)으로 분할된다. 상기 직각 삼각형 블록(620, 622)의 경계는 상위 블록(600)의 좌상측 꼭지점과 우하측 꼭지점을 연결한다.
사각형 이진 트리 구조 (630)는 수직 우측 사각형 이진 트리(Vertical right Quadrangle BT, VRQBT) 구조 (632), 수직 좌측 사각형 이진 트리(Vertical left Quadrangle BT, VLQBT) 구조 (638), 수평 상측 사각형 이진 트리(Horizontal up Quadrangle BT, HUQBT) 구조 (644), 그리고 수평 하측 사각형 이진 트리(Horizontal down Quadrangle BT, HDQBT) 구조 (650)로 구분될 수 있다. 사각형 이진 트리 구조 (630)에서 분할 경계에 의해 구분되는 각각의 영역은 동일한 크기를 갖는다.
수직 우측 사각형 이진 트리 구조 (632)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 사각형 블록(634, 636)으로 분할된다. 상기 사각형 블록(634, 636)의 경계는 상위 블록(600)의 하측선에서 좌측으로부터 1/2N만큼 떨어진 지점과 상측선에서 좌측으로부터 3/2N만큼 떨어진 지점을 연결한다.
수직 좌측 사각형 이진 트리 구조 (638)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 사각형 블록(640, 642)으로 분할된다. 상기 사각형 블록(640, 642)의 경계는 상위 블록(600)의 하측선에서 좌측으로부터 3/2N만큼 떨어진 지점과 상측선에서 좌측으로부터 1/2N만큼 떨어진 지점을 연결한다.
수평 상측 사각형 이진 트리 구조 (644)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 사각형 블록(646, 648)으로 분할된다. 상기 사각형 블록(646, 648)의 경계는 상위 블록(600)의 좌측선에서 상측으로부터 3/2N만큼 떨어진 지점과 우측선에서 상측으로부터 1/2N만큼 떨어진 지점을 연결한다.
수평 하측 사각형 이진 트리 구조 (650)에 따르면, 2Nx2N 크기의 상위 블록(600)은 2개의 사각형 블록(652, 654)으로 분할된다. 상기 사각형 블록(652, 654)의 경계는 상위 블록(600)의 좌측선에서 상측으로부터 1/2N만큼 떨어진 지점과 우측선에서 상측으로부터 3/2N만큼 떨어진 지점을 연결한다.
실시 예에 따라, 상기 설명된 4개의 사각형 이진 트리 구조의 경계가 연결하는 지점의 위치는 다르게 결정될 수 있다.
도 6에는 4개의 사각형 이진 트리 구조만 도시되었지만, 다른 형태의 사각형 이진 트리 구조가 블록 분할에 사용될 수 있다. 도 6에는 상위 블록(600)의 분할 경계의 양 끝점이 상측선과 하측선에 있거나, 우측선과 좌측선에 있는 실시예만 설명되었다. 그러나 실시 예에 따라, 상기 분할 경계 양 끝점이 상측선과 우측선에 있거나, 상측선과 좌측선에 있거나, 하측선과 우측선에 있거나, 하측선과 좌측선에 있도록 결정될 수 있다.
그리고 분할 경계를 결정하기 위하여, 경계의 양 끝점의 위치가 각각 결정될 수 있다. 예를 들어, 수직 사각형 이진 트리 구조의 경우, 상위 블록(600)의 상측선의 분할 경계의 끝점의 위치와 상위 블록(600)의 하측선의 분할 경계의 끝점의 위치가 결정될 수 있다. 이 때, 두 위치의 x 성분은 동일하지 않게 결정될 수 있다. 그리고 수평 사각형 이진 트리 구조의 경우, 상위 블록(600)의 좌측선의 분할 경계의 끝점의 위치와 상위 블록(600)의 우측선의 분할 경계의 끝점의 위치가 결정될 수 있다. 이 때, 두 위치의 y 성분은 동일하지 않게 결정될 수 있다. 이 때 상기 분할 경계 양 끝점이 상측선과 우측선에 있거나, 상측선과 좌측선에 있거나, 하측선과 우측선에 있거나, 하측선과 좌측선에 있는 경우에도 마찬가지로, 경계의 양 끝점의 위치가 각각 결정될 수 있다. 이 때 상기 끝 점의 위치는 1/4, 1/8, 1/16 등의 단위로 결정될 수 있다.
또는 상위 블록(600)의 분할 경계를 결정하기 위하여, 분할 경계의 각도와 위치가 각각 결정될 수 있다. 그리고 분할 경계의 각도에 따라 분할 방향이 결정되고, 분할 경계의 위치에 따라, 상위 블록(600)의 특정 지점으로부터 분할 경계가 통과하는 특정 지점이 결정될 수 있다. 상기 분할 방향은 사선 방향으로 구성된 소정의 방향 후보들 중에서 선택될 수 있다. 상기 소정의 방향 후보에는 수직 방향, 수평 방향이 제외될 수 있다. 상기 분할 경계의 위치는 상위 블록(600)의 중앙 지점을 중심으로 결정될 수 있다. 예를 들어, 상위 블록(600)의 중앙 지점의 좌표를 (N,N)이라고 할 때, 중앙 지점의 x성분 또는 y성분에 오프셋을 더함으로써, 상기 분할 경계의 위치가 결정될 수 있다.
도 4의 직사각형 이진 트리 구조(430)에 따르면, 부호화 유닛은 동일한 크기의 두 개의 직사각형 블록으로 분할된다. 한편 기하학적 이진 트리 구조에 따르면, 부호화 유닛은 동일한 크기의 두 개의 삼각형 블록 혹은 사각형 블록으로 분할된다.
또한, 도 4의 직사각형 이진 트리 구조(430)에 따른 분할으로 생성된 하위 부호화 단위는 소정의 크기 조건 및/또는 소정의 깊이 조건을 만족하면 직사각형 이진 트리 구조 또는 직사각형 삼진 트리 구조에 따라 분할될 수 있다. 다만, 직사각형 이진 트리 구조에 따른 분할으로 생성된 하위 부호화 단위는 더 이상 직사각형 사진 트리 구조에 따라 분할될 수 없도록 설정될 수 있다.
기하학적 이진 트리 구조에 따라 생성된 하위 블록에는 직사각형 사진 트리 구조 뿐만 아니라 직사각형 이진 트리 구조 및 직사각형 삼진 트리 구조에 의한 분할도 적용되지 않을 수 있다. 즉, 상위 블록이 기하학적 이진 트리로 분할될 경우, 분할에 의하여 생성된 하위 블록에는 더 이상 분할되지 않을 수 있다.
도 7은 비대칭 분할에 따른 비대칭 삼진 트리 (Asymmetric ternary tree, ATT) 구조를 나타낸다.
도 7에 따르면, 비대칭 삼진 트리 구조 (710)는 수직 우측 삼진 트리(Vertical right ternary tree, VRTT) 구조 (712), 수직 좌측 삼진 트리(Vertical left ternary tree, VLTT) 구조 (720), 수평 상측 삼진 트리 (Horizontal up ternary tree, HUTT) 구조 (728) 그리고 수평 하측 삼진 트리(Horizontal down ternary tree, HDTT) 구조 (736)를 포함할 수 있다. 비대칭 삼진 트리 구조 (710)에 따라, 블록은 Nx2N의 면적의 사각형 블록과 (Nx2N)/2의 면적의 두 개의 삼각형 블록으로 분할된다.
수직 우측 삼진 트리 구조 (712) 에 따르면, 2Nx2N 크기의 상위 블록(700)은 Nx2N의 면적의 사각형 블록 (714)과 (Nx2N)/2의 면적의 두 개의 삼각형 블록 (716, 718)으로 분할된다. 사각형 블록 (714)과 좌측 삼각형 블록 (716)을 분할하는 경계는 상위 블록 (700)의 좌하측 꼭지점과 상단선의 중앙 지점을 연결한다. 사각형 블록 (714)과 우측 삼각형 블록 (718)을 분할하는 경계는 상위 블록 (700)의 우상측 꼭지점과 하단선의 중앙 지점을 연결한다.
수직 좌측 삼진 트리 구조 (720) 에 따르면, 2Nx2N 크기의 상위 블록 (700)은 Nx2N의 면적의 사각형 블록 (722)과 (Nx2N)/2의 면적의 두 개의 삼각형 블록 (724, 726)으로 분할된다. 사각형 블록 (722)과 우측 삼각형 블록 (724)을 분할하는 경계는 상위 블록 (700)의 우하측 꼭지점과 상단선의 중앙 지점을 연결한다. 사각형 블록 (722)과 좌측 삼각형 블록 (726)을 분할하는 경계는 상위 블록 (700)의 좌상측 꼭지점과 하단선의 중앙 지점을 연결한다.
수평 상측 삼진 트리 구조 (728) 에 따르면, 2Nx2N 크기의 상위 블록(700)은 2NxN의 면적의 사각형 블록 (730)과 (Nx2N)/2의 면적의 두 개의 삼각형 블록 (732, 734)으로 분할된다. 사각형 블록 (730)과 상측 삼각형 블록 (732)을 분할하는 경계는 상위 블록 (700)의 우상측 꼭지점과 좌측선의 중앙 지점을 연결한다. 사각형 블록 (730)과 하측 삼각형 블록 (734)을 분할하는 경계는 상위 블록 (700)의 좌하측 꼭지점과 우측선의 중앙 지점을 연결한다.
수평 하측 삼진 트리 구조 (736) 에 따르면, 2Nx2N 크기의 상위 블록(700)은 2NxN의 면적의 사각형 블록 (738)과 (Nx2N)/2의 면적의 두 개의 삼각형 블록 (740, 742)으로 분할된다. 사각형 블록 (738)과 상측 삼각형 블록 (740)을 분할하는 경계는 상위 블록 (700)의 좌상측 꼭지점과 우측선의 중앙 지점을 연결한다. 사각형 블록 (738)과 하측 삼각형 블록 (742)을 분할하는 경계는 상위 블록 (700)의 우하측 꼭지점과 좌측선의 중앙 지점을 연결한다.
실시 예에 따라, 상기 설명된 4개의 비대칭 삼진 트리의 경계가 연결하는 지점의 위치는 다르게 결정될 수 있다.
도 7에는 4개의 비대칭 삼진 트리 구조만 도시되었지만, 다른 형태의 비대칭 삼진 트리 구조가 블록 분할에 사용될 수 있다. 이 때, 분할 경계를 결정하기 위하여, 경계의 양 끝점 중 블록의 경계선에 위치한 끝점의 위치가 각각 결정될 수 있다. 이 때 경계의 양 끝점 중 블록의 꼭지점에 위치한 끝점의 위치는 고정될 수 있다.
예를 들어, 수직 우측 삼진 트리 구조의 경우, 좌측 분할 경계를 결정하기 위하여, 상위 블록(700)의 상측선의 좌측 분할 경계의 끝점의 위치가 결정되고, 우측 분할 경계를 결정하기 위하여, 상위 블록(700)의 하측선의 우측 분할 경계의 끝점의 위치가 결정될 수 있다. 또한 수직 좌측 삼진 트리 구조의 경우, 좌측 분할 경계를 결정하기 위하여, 상위 블록(700)의 하측선의 좌측 분할 경계의 끝점의 위치가 결정되고, 우측 분할 경계를 결정하기 위하여, 상위 블록(700)의 상측선의 우측 분할 경계의 끝점의 위치가 결정될 수 있다. 또한 수평 상측 삼진 트리 구조의 경우, 상측 분할 경계를 결정하기 위하여, 상위 블록(700)의 좌측선의 상측 분할 경계의 끝점의 위치가 결정되고, 하측 분할 경계를 결정하기 위하여, 상위 블록(700)의 우측선의 하측 분할 경계의 끝점의 위치가 결정될 수 있다. 또한 수평 하측 삼진 트리 구조의 경우, 상측 분할 경계를 결정하기 위하여, 상위 블록(700)의 우측선의 상측 분할 경계의 끝점의 위치가 결정되고, 하측 분할 경계를 결정하기 위하여, 상위 블록(700)의 좌측선의 하측 분할 경계의 끝점의 위치가 결정될 수 있다. 이 때 상기 끝 점의 위치는 1/4, 1/8, 1/16 등의 단위로 결정될 수 있다.
일 실시 예에 따른 직사각형 삼진 트리 구조에 따르면, 블록은 세 개의 직사각형 블록으로 분할된다. 그리고 직사각형 삼진 트리 구조에 따른 분할에 의하여 생성된 하위 블록은 분할 가능한 크기 조건과 깊이 조건을 만족하면 직사각형 이진 트리 구조 또는 직사각형 삼진 트리 구조에 따라 분할될 수 있다. 그러나, 직사각형 사진 트리 구조에 따른 분할은 상기 하위 블록에 적용되지 않도록 부호화 및 복호화 장치가 설정될 수 있다.
반면 상기 비대칭 삼진 트리 구조에 따르면, 블록은 동일한 크기의 두 개의 삼각형 블록과 하나의 사각형 블록으로 분할된다. 그리고 비대칭 삼진 트리 구조에 따른 분할에 의하여 생성된 하위 블록에는 직사각형 이진 트리 구조, 직사각형 삼진 트리 구조, 및 직사각형 사진 트리 구조에 따른 분할이 적용되지 않도록 부호화 및 복호화 장치가 설정될 수 있다.
일 실시 예에 따르면, 분할이 완료된 부호화 유닛 블록을 기준으로 변환이 수행될 수 있다. 따라서, 부호화 유닛 블록이 변환을 수행하는 기본 단위일 수 있다. 따라서 이진 트리, 삼진 트리 또는 직사각형 사진 트리 구조에 따라 분할된 각각의 부호화 유닛 블록에 대해 순차적으로 변환(역변환), 양자화(역양자화), 엔트로피 부호화(엔트로피 복호화)가 수행될 수 있다. 이 때, 변환(역변환)과 양자화(역양자화)는 정사각형 또는 직사각형 모양의 블록에만 적용될 수 있다.
도 5 내지 도 7에서 설명된 기하학적 분할 트리 구조에 따르면, 삼각형 블록 및/또는 사각형 블록이 생성된다. 기하학적 분할 트리 구조에 따라 생성된 사각형 블록은 정사각형 또는 직사각형이 아닌 평행사변형 또는 사다리꼴의 형태를 가진다. 즉, 기하학적 분할 트리 구조에 따라 분할된 블록은 정사각형 또는 직사각형이 아니므로, 정사각형 또는 직사각형 블록을 위한 변환 방법이 기하학적 분할 트리 구조에 따라 생성된 블록에 적용되기 어렵다. 따라서 기하학적 분할 트리 구조에 따라 생성된 블록에 변환 및 양자화를 적용하기 위하여, 상기 블록의 잔차 신호를 재배열함으로써, 변환이 적용될 수 있는 형태로 잔차 신호가 벡터화 될 필요가 있다.
도 8은 기하학적 분할 트리 구조로 분할된 각각의 영역에 변환 및 양자화를 적용하기 위해 잔차 신호를 재배열하는 순서를 나타낸다.
단계 802에서는, 블록의 분할 구조 및 블록 분할이 수행된다. 블록의 분할 구조는 직사각형 이진 트리, 직사각형 삼진 트리 또는 직사각형 사진 트리 구조 뿐만 아니라, 앞서 설명된 기하학적 트리 구조들 중 하나로 결정될 수 있다.
단계 804에서는, 블록 분할이 기하학적 트리 구조들 중 하나에 기초하여 수행된 경우, 변환이 필요한 블록에 대한 변환 영역이 결정된다.
단계 806에서는, 변환 영역의 블록들에 대한 잔차 신호 재배열이 수행된다. 잔차 신호 재배열에 따라, 잔차 신호가 벡터화 된다. 그리고 벡터화 된 잔차 신호가 포함된 변환 블록이 생성된다.
그리고 단계 808에서는. 잔차 신호 재배열이 적용된 변환 블록에 대하여, 변환 및 양자화가 수행된다.
만약, 블록의 분할 구조가 기하학적 트리 구조가 아닌 이진 트리, 삼진 트리 또는 직사각형 사진 트리 구조일 경우, 단계 804 및 806이 수행되지 않고, 각 블록에 대하여 변환 및 양자화가 수행될 수 있다.
도 8의 부호화 프로세스를 기준으로 설명되었다. 복호화 프로세스에서는, 변환 블록의 변환 계수에 대하여 역양자화 및 역변환이 수행됨으로써, 잔차 신호가 생성되며, 변환 블록의 잔차 신호가 변환 영역에 역으로 재배열된다. 그리고 변환 영역의 잔차 신호를 기준으로 상위 블록 또는 하위 블록의 잔차 블록이 결정될 수 있다.
도 9는 삼각형 사진 트리 구조에서 잔차 신호를 재배열하는 방법의 일 실시 예를 설명한다.
도 9에서 상위 블록 (900)은 네 개의 삼각형 블록 (902, 904, 906, 908)으로 분할된다. 그리고 각 삼각형 블록에 대응되는 분할 영역 R1 내지 R4 (912, 914, 916, 918)가 결정된다. 각 분할 영역은 분할 경계 내부의 잔차 신호를 포함할 수 있다.
분할 경계에 위치한 잔차 신호는 인접한 2개의 삼각형 블록들 중 어떤 삼각형 블록에 포함될지 결정될 필요가 있다. 도 9에서는 분할 경계에 위치한 잔차 신호는 시계 방향에 있는 삼각형 블록에 대응되는 변환 영역에 포함된다. 실시 예에 따라, 도 9와 달리 분할 경계에 위치한 잔차 신호가 반시계 방향에 있는 삼각형 블록에 포함될 수도 있다.
따라서, 네 개의 삼각형 블록 (902, 904, 906, 908)에 대응되는 변환 영역 R1 내지 R4 (912, 914, 916, 918)가 결정된다. 예를 들어, 변환 영역 R1 (912)에는 삼각형 블록 (902)에 포함된 잔차 신호 R1,0, R2,0, R3,0, R4,0, R5,0, R6,0, R2,1, R3,1, R4,1, R5,1, R3,2, R4,2 뿐만 아니라, 2개의 삼각형 블록(902, 908)의 경계에 있는 잔차 신호 R0,0, R1,1, R2,2, R3,3 가 포함된다. 만약 도 9와 달리, 분할 경계에 위치한 잔차 신호가 반시계 방향에 있는 삼각형 블록에 포함될 경우, 변환 영역 R1 (912)에는 2개의 삼각형 블록(902, 904)의 경계에 있는 잔차 신호 R7,0, R6,1, R5,2, R4,3 가 포함될 수 있다.
상기 변환 영역은 정사각형 또는 직사각형이 아닌 바, 변환이 적용될 수 없다. 따라서, 각 변환 영역의 잔차 신호는 직사각형 또는 정사각형의 형태로 재배열될 필요가 있다. 예를 들어, 변환 영역 R1 (912)의 잔차 신호들은 정사각형 변환 블록 (922)에 재배열된다.
이 때, 변환 영역 R1 (912)의 잔차 신호들은 수평 방향의 지그재그 스캔 순서에 따라 스캔된다. 그리고 상기 스캔된 잔차 신호들은 스캔된 순서대로 정사각형 변환 블록 (922)에 수평 방향의 지그재그 스캔 순서에 따라 배열된다. 구체적인 예로, 변환 영역 R1 (912)의 잔차 신호들은 수평 방향의 지그재그 스캔 순서에 따라 R0,0, R1,0, R2,0, R3,0, R4,0, R5,0, R6,0, R1,1, R2,1, R3,1, R4,1, R5,1, R2,2, R3,2, R4,2, R3,3의 순서대로 스캔될 수 있다. 그리고 상기 스캔된 잔차 신호는 순서대로 정사각형 변환 블록 (922)에 수평 방향의 지그재그 스캔 순서로 배열된다.
도 9에서는 변환 영역의 잔차 신호 스캔이 수평 방향의 지그재그 스캔 순서에 따라 수행되었으나, 이는 하나의 예시에 불과하다. 따라서 변환 영역의 잔차 신호 스캔은 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)를 기반으로 수행될 수 있다.
그리고 도 9에서는 변환 영역에서 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서로 정사각형 변환 블록에 배열되었으나, 잔차 신호의 배열은 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)를 기반으로 수행될 수 있다.
도 9에 따르면, 각 변환 영역은 16개의 잔차 신호를 포함하고 있다. 도 9에 따른 잔차 신호 재배열은 8x8 크기의 상위 블록 (900)보다 큰 블록에 대하여도 적용될 수 있다. 예를 들어, 16x16, 32x32, 64x64 크기의 상위 블록에 대하여도 도 9에 따른 잔차 신호 재배열이 적용될 수 있다.
도 9에 따르면, 스캔된 잔차 신호가 4x4 크기의 변환 블록(922, 924, 926, 928)에 배열되었지만, 실시 예에 따라. 2x8 또는 8x2 크기의 변환 블록들에 배열될 수 도 있다. 즉, 잔차 신호가 배열될 변환 블록은 정사각형이 아닌 직사각형의 형태일 수 있다.
이하, 도 10 내지 16은 기하학적 이진 트리 구조에서 잔차 신호를 재배열하는 방법의 실시 예들을 설명한다.
도 10 및 12은 수직 삼각형 이진 트리 구조에서 잔차 신호를 재배열하는 방법의 일 실시 예를 설명한다.
도 10은 수직 삼각형 이진 트리 구조에서 잔차 신호들을 2개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 10에 따르면, 상위 블록 (1000)은 두 개의 삼각형 블록 (1002, 1004)로 분할된다. 그리고 상기 삼각형 블록 (1002, 1004)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1 및 R2 (1006, 1008)가 결정된다. 도 10에 따르면, 분할 방향에 관계없이, 8x8 크기의 상위 블록 (1000)을 4등분하여 4x4 크기의 블록이 결정되고, 상기 4개의 4x4 크기의 블록을 조합함으로써 변환 영역 (1006, 1008)이 결정될 수 있다. 예를 들어, 변환 영역 R1 (1006)은 우상측 블록 (1012)과 좌하측 블록 (1014)을 포함할 수 있고, 변환 영역 R2 (1008)는 좌상측 블록 (1010)과 우하측 블록 (1016)을 포함할 수 있다.
변환 영역 R1 및 R2 (1006, 1008)에 기초하여, 변환 블록 (1018, 1020)이 결정될 수 있다. 변환 영역 R1 (1006)의 우상측 블록과 좌하측 블록을 결합하여, 4x8 크기의 변환 블록 (1018)이 생성될 수 있다. 그리고 변환 영역 R2 (1008)의 좌상측 블록과 우하측 블록을 결합하여, 4x8 크기의 변환 블록 (1020)이 생성될 수 있다. 도 10에서는 4x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 8x4 크기의 변환 블록이 생성될 수도 있다.
도 10에서는 상위 블록 (1000)으로부터 분할된 4개의 4x4 크기의 블록으로부터 2개의 4x8 크기의 변환 블록이 생성된다. 하지만 다른 실시 예에 따르면, 상기 4개의 4x4 크기의 블록이 잔차 신호 재배열 없이 4개의 4x4 크기의 변환 블록으로 결정될 수 있다.
도 11은 수직 삼각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 11에 따르면, 상위 블록 (1100)은 두 개의 삼각형 블록 (1102, 1104)로 분할된다. 그리고 상기 삼각형 블록 (1102, 1104)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2, R3 및 R4 (1106, 1108, 1110, 1112)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1100)이 도 11에 도시된 바와 같이, 2개의 4x4 블록(1114, 1116)과 8개의 2x2 블록(1118, 1120, 1122, 1124, 1126, 1128, 1130, 1132)으로 분할될 수 있다.
도 11에 따르면, 변환 영역 R1 (1106)은 4x4 블록(1114)으로 구성될 수 있다. 그리고 변환 영역 R2 (1108)은 4x4 블록(1116)으로 구성될 수 있다. 변환 영역 R3 (1110)은 4개의 2x2 블록(1120, 1122, 1128, 1130)으로 구성될 수 있다. 변환 영역 R4 (1112)은 4개의 2x2 블록(1118, 1124, 1126, 1132)으로 구성될 수 있다.
변환 영역 R1, R2, R3 및 R4 (1106, 1108, 1110, 1112)에 기초하여, 변환 블록 (1134, 1136, 1138, 1140)이 결정될 수 있다. 변환 영역 R1 (1106)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1134)에 배열될 수 있다. 그리고 변환 영역 R2 (1108)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1136)에 배열될 수 있다.
변환 영역 R3 (1110)의 4개의 2x2 블록 (1120, 1122, 1128, 1130)을 결합하여, 2x8 크기의 변환 블록 (1138)이 생성될 수 있다. 변환 영역 R4 (1112)의 4개의 2x2 블록 (1118, 1124, 1126, 1132)을 결합하여, 2x8 크기의 변환 블록 (1140)이 생성될 수 있다. 도 11에서는 2x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 4x4 또는 8x2 크기의 변환 블록이 생성될 수도 있다.
도 11에서는 변환 영역 R1 및 R2 (1106, 1108)의 잔차 신호가 2x8 크기의 변환 블록에 재배열되었다. 그러나 실시 예에 따라, 변환 영역 R1 및 R2 (1106, 1108)는 잔차 신호 재배열 없이 4x4 크기의 변환 블록으로 결정될 수 있다.
도 12는 수직 삼각형 이진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 12에 따르면, 상위 블록 (1200)은 두 개의 삼각형 블록 (1202, 1204)로 분할된다. 그리고 상기 삼각형 블록 (1202, 1204)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2, 및 R3 (1206, 1208, 1210)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1200)이 도 12에 도시된 바와 같이, 2개의 4x4 블록(1212, 1214)과 8개의 2x2 블록(1216, 1218, 1220, 1222, 1224, 1226, 1228, 1230)으로 분할될 수 있다.
도 12에 따르면, 변환 영역 R1 (1206)은 2개의 4x4 블록(1212, 1214)으로 구성될 수 있다. 변환 영역 R2 (1208)은 4개의 2x2 블록(1218, 1220, 1226, 1228)으로 구성될 수 있다. 변환 영역 R3 (1210)은 4개의 2x2 블록(1216, 1222, 1224, 1230)으로 구성될 수 있다.
변환 영역 R1, R2 및 R3 (1206, 1208, 1210)에 기초하여, 변환 블록 (1132, 1134, 1136)이 결정될 수 있다. 변환 영역 R1 (1206)의 잔차 신호를 상측의 4x4 블록(1212)부터 순서대로 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 4x8 크기의 변환 블록 (1232)에 배열될 수 있다. 도 12에서는 4x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 8x4 크기의 변환 블록이 생성될 수도 있다.
변환 영역 R2 (1208)의 4개의 2x2 블록 (1218, 1220, 1226, 1228)을 결합하여, 2x8 크기의 변환 블록 (1234)이 생성될 수 있다. 변환 영역 R3 (1210)의 4개의 2x2 블록 (1216, 1222, 1224, 1230)을 결합하여, 2x8 크기의 변환 블록 (1236)이 생성될 수 있다. 도 12에서는 2x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 4x4 또는 8x2 크기의 변환 블록이 생성될 수도 있다.
도 10 내지 12에서는 변환 영역의 잔차 신호 스캔이 수평 방향의 지그재그 스캔 순서에 따라 수행되었으나, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)에 따라 수행될 수도 있다.
도 10 내지 12에서는 변환 영역에서 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 변환 블록에 배열되었지만, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)를 기반으로 잔차 신호가 변환 블록에 배열될 수 있다. 잔차 신호 배열에 적용되는 스캔 순서는 변환 영역의 잔차 신호 스캔에 사용된 스캔 순서와 다를 수 있다.
도 10 내지 12에서 8x8 크기의 블록을 기준으로 잔차 신호 재배열이 설명되었지만, 16x16, 32x32, 64x64와 같이 더 큰 크기의 블록에도 도 10 내지 12의 방법으로 변환 영역 및 변환 블록이 결정될 수 있다.
도 10 내지 12에서는 수직 삼각형 이진 트리 구조를 기준으로 설명되었다. 그러나 수평 삼각형 이진 트리 구조에 대하여도 도 10 내지 12의 잔차 신호 재배열이 적용될 수 있다. 다만, 수직 삼각형 이진 트리 구조와 수평 삼각형 이진 트리 구조의 분할 방향이 다르므로, 도 10 내지 12의 실시 예는 좌우 반전되어 적용될 수 있다.
도 13 내지 16은 사각형 이진 트리 구조에서 잔차 신호를 재배열하는 방법의 일 실시 예를 설명한다.
도 13은 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 2개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 13에 따르면, 상위 블록 (1300)은 두 개의 사각형 블록 (1302, 1304)로 분할된다. 그리고 상기 사각형 블록 (1302, 1304)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1 및 R2 (1306, 1308)가 결정된다. 도 13에 따르면, 분할 방향에 관계없이, 8x8 크기의 상위 블록 (1300)을 4등분하여 4x4 크기의 블록이 결정되고, 상기 4개의 4x4 크기의 블록을 조합함으로써 변환 영역 (1306, 1308)이 결정될 수 있다. 예를 들어, 변환 영역 R1 (1306)은 우상측 블록과 좌하측 블록을 포함할 수 있고, 변환 영역 R2 (1308)는 좌상측 블록과 우하측 블록을 포함할 수 있다.
변환 영역 R1 및 R2 (1306, 1308)에 기초하여, 변환 블록 (1318, 1320)이 결정될 수 있다. 변환 영역 R1 (1306)의 우상측 블록 (1312)과 좌하측 블록 (1314)을 결합하여, 4x8 크기의 변환 블록 (1318)이 생성될 수 있다. 그리고 변환 영역 R2 (1308)의 좌상측 블록 (1310)과 우하측 블록 (1316)을 결합하여, 4x8 크기의 변환 블록 (1320)이 생성될 수 있다. 도 13에서는 4x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 8x4 크기의 변환 블록이 생성될 수도 있다.
도 13에서는 상위 블록 (1300)으로부터 분할된 4개의 4x4 크기의 블록으로부터 2개의 8x4 크기의 변환 블록이 생성된다. 하지만 다른 실시 예에 따르면, 상기 4개의 4x4 크기의 블록이 잔차 신호 재배열 없이 4개의 4x4 크기의 변환 블록으로 결정될 수 있다.
도 14는 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 14에 따르면, 상위 블록 (1400)은 두 개의 사각형 블록 (1402, 1404)로 분할된다. 그리고 상기 사각형 블록 (1402, 1404)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2, R3 및 R4 (1406, 1408, 1410, 1412)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1400)이 도 14에 도시된 바와 같이, 2개의 4x4 블록(1414, 1416)과 4개의 2x4 블록(1418, 1420, 1422, 1424)으로 분할될 수 있다.
도 14에 따르면, 변환 영역 R1 (1406)은 4x4 블록(1414)으로 구성될 수 있다. 그리고 변환 영역 R2 (1408)은 4x4 블록(1416)으로 구성될 수 있다. 변환 영역 R3 (1410)은 2개의 2x4 블록(1418, 1424)으로 구성될 수 있다. 변환 영역 R4 (1412)은 2개의 2x4 블록(1420, 1422)으로 구성될 수 있다.
변환 영역 R1, R2, R3 및 R4 (1406, 1408, 1410, 1412)에 기초하여, 변환 블록 (1426, 1428, 1430, 1432)이 결정될 수 있다. 변환 영역 R1 (1406)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1426)에 배열될 수 있다. 그리고 변환 영역 R2 (1408)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1428)에 배열될 수 있다.
변환 영역 R3 (1410)의 2개의 2x4 블록 (1418, 1424)을 결합하여, 2x8 크기의 변환 블록 (1430)이 생성될 수 있다. 변환 영역 R4 (1412)의 2개의 2x4 블록 (1420, 1422)을 결합하여, 2x8 크기의 변환 블록 (1432)이 생성될 수 있다. 도 14에서는 2x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 실시 예에 따라, 4x4 또는 8x2 크기의 변환 블록이 생성될 수도 있다.
도 14에서는 변환 영역 R1 및 R2 (1406, 1408)의 잔차 신호가 2x8 크기의 변환 블록에 재배열되었다. 그러나 실시 예에 따라, 변환 영역 R1 및 R2 (1406, 1408)는 잔차 신호 재배열 없이 4x4 크기의 변환 블록으로 결정될 수 있다.
도 14에서 수직 우측 사각형 이진 트리 구조에 대한 잔차 신호 재배열 방법의 실시 예가 설명되었다. 도 14의 실시 예는 수직 좌측 사각형 이진 트리 구조, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조에도 적용이 가능하다. 다만, 분할 경계에 따라, 변환 영역 R1, R2, R3 및 R4가 도 14와 다르게 결정될 수 있다. 구체적으로 변환 영역 R3는 분할 경계가 통과하는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 그리고 변환 영역 R4는 분할 경계가 통과하지 않는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 변환 영역 R1 및 R2는 분할 경계가 통과하지 않는 2개의 4x4 블록 에 대응되도록 설정될 수 있다. 또한, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조의 경우, 변환 영역의 경계가 수평 방향에 가깝기 때문에, 변환 영역의 크기가 4x2 또는 4x4로 결정될 수 있으며, 변환 블록의 크기는 8x2 또는 4x4로 결정될 수 있다.
도 15는 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 다른 일 실시 예를 설명한다.
도 15에 따르면, 상위 블록 (1500)은 두 개의 사각형 블록 (1502, 1504)로 분할된다. 그리고 상기 사각형 블록 (1502, 1504)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2, R3 및 R4 (1506, 1508, 1510, 1512)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1500)이 도 15에 도시된 바와 같이, 2개의 2x8 블록(1514, 1516)과 4개의 2x4 블록(1518, 1520, 1522, 1524)으로 분할될 수 있다.
도 15에 따르면, 변환 영역 R1 (1506)은 2x8 블록 (1514)으로 구성될 수 있다. 그리고 변환 영역 R2 (1508)은 2x8 블록 (1516)으로 구성될 수 있다. 변환 영역 R3 (1510)은 2개의 2x4 블록 (1518, 1524)으로 구성될 수 있다. 변환 영역 R4 (1512)은 2개의 2x4 블록 (1520, 1522)으로 구성될 수 있다.
변환 영역 R1, R2, R3 및 R4 (1506, 1508, 1510, 1512)에 기초하여, 변환 블록 (1526, 1528, 1530, 1532)이 결정될 수 있다. 변환 영역 R1 (1506)는 2x8 크기의 변환 블록 (1526)으로 결정될 수 있다. 그리고 변환 영역 R2 (1508)은 2x8 크기의 변환 블록 (1528)으로 결정될 수 있다. 도 15에서는 2x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 잔차 신호 재배열이 수행됨에 따라 4x4 또는 8x2 크기의 변환 블록이 생성될 수도 있다.
변환 영역 R3 (1510)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1530)이 생성될 수 있다. 변환 영역 R4 (1512) 의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1532)이 생성될 수 있다. 도 15에서는 2x8 크기의 변환 블록이 생성되는 것으로 도시되었지만, 잔차 신호 재배열이 수행됨에 따라 4x4 또는 8x2 크기의 변환 블록이 생성될 수도 있다.
도 15는 수직 우측 사각형 이진 트리 구조에 대한 잔차 신호 재배열 방법의 실시 예가 설명되었다. 도 15의 실시 예는 수직 좌측 사각형 이진 트리 구조, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조에도 적용이 가능하다. 다만, 분할 경계에 따라, 변환 영역 R1, R2, R3 및 R4가 도 15와 다르게 결정될 수 있다. 구체적으로 변환 영역 R4는 분할 경계가 통과하는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 그리고 변환 영역 R3는 분할 경계가 통과하지 않는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 변환 영역 R1 및 R2는 분할 경계가 통과하지 않는 2개의 8x2 블록 또는 2x8 블록에 대응되도록 설정될 수 있다. 또한, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조의 경우, 변환 영역의 경계가 수평 방향에 가깝기 때문에, 변환 영역을 구성하는 블록의 크기가 4x2 또는 8x2로 결정될 수 있으며, 변환 블록의 크기는 8x2 또는 4x4 로 결정될 수 있다.
도 16은 수직 우측 사각형 이진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 16에 따르면, 상위 블록 (1600)은 두 개의 사각형 블록 (1602, 1604)로 분할된다. 그리고 상기 사각형 블록 (1602, 1604)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2 및 R3 (1606, 1608, 1610)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1600)이 도 14에 도시된 바와 같이, 2개의 4x4 블록(1612, 1614)과 4개의 2x4 블록(1616, 1618, 1620, 1622)으로 분할될 수 있다.
도 16에 따르면, 변환 영역 R1 (1606)은 2개의 4x4 블록(1612, 1614)으로 구성될 수 있다. 그리고 변환 영역 R2 (1608)은 2개의 2x4 블록(1616, 1622)으로 구성될 수 있다. 변환 영역 R3 (1610)은 2개의 2x4 블록(1618, 1620)으로 구성될 수 있다.
변환 영역 R1, R2, 및 R3 (1606, 1608, 1610)에 기초하여, 변환 블록 (1624, 1626, 1628)이 결정될 수 있다. 변환 영역 R1 (1606)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 4x8 크기의 변환 블록 (1624)에 배열될 수 있다. 실시 예에 따라, 변환 영역 R1 (1606)의 잔차 신호는 8x4 크기의 변환 블록에 배열될 수 있다
그리고 변환 영역 R2 (1608)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2개의 2x4 블록 (1616, 1622)을 결합하여, 2x8 크기의 변환 블록 (1626)에 배열될 수 있다. 변환 영역 R3 (1610) 의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2개의 2x4 블록 (1618, 1620)을 결합하여, 2x8 크기의 변환 블록 (1628)이 생성될 수 있다. 실시 예에 따라, 변환 영역 R2 및 R3 (1608, 1610)의 잔차 신호는 4x4 또는 8x2 크기의 변환 블록에 배열될 수 있다.
도 16은 수직 우측 사각형 이진 트리 구조에 대한 잔차 신호 재배열 방법의 실시 예가 설명되었다. 도 16의 실시 예는 수직 좌측 사각형 이진 트리 구조, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조에도 적용이 가능하다. 다만, 분할 경계에 따라, 변환 영역 R1, R2, 및 R3가 도 16과 다르게 결정될 수 있다. 구체적으로 변환 영역 R1은 분할 경계가 통과하지 않는 2개의 4x4 블록 에 대응되도록 설정될 수 있다. 그리고 변환 영역 R2는 분할 경계가 통과하는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 또한 변환 영역 R3는 분할 경계가 통과하지 않는 4x2 블록 또는 2x4 블록에 대응되도록 설정될 수 있다. 또한, 수평 상측 사각형 이진 트리 구조, 수평 하측 사각형 이진 트리 구조의 경우, 변환 영역의 경계가 수평 방향에 가깝기 때문에, 변환 영역을 구성하는 블록의 크기가 4x2 또는 4x4로 결정될 수 있으며, 변환 영역 R1에 대응되는 변환 블록의 크기는 8x4로, 변환 영역 R2 및 R3에 대응되는 변환 블록의 크기는 8x2 또는 4x4로 결정될 수 있다.
도 13 내지 16에서는 변환 영역의 잔차 신호 스캔이 수평 방향의 지그재그 스캔 순서에 따라 수행되었으나, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)에 따라 수행될 수도 있다.
도 13 내지 16에서는 변환 영역에서 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 변환 블록에 배열되었지만, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)를 기반으로 잔차 신호가 변환 블록에 재배열될 수 있다. 잔차 신호 재배열에 적용되는 스캔 순서는 변환 영역의 잔차 신호 스캔에 사용된 스캔 순서와 다를 수 있다.
도 13 내지 16에서 8x8 크기의 블록을 기준으로 잔차 신호 재배열이 설명되었지만, 16x16, 32x32, 64x64와 같이 더 큰 크기의 블록에도 도 13 내지 16의 방법으로 변환 영역 및 변환 블록이 결정될 수 있다.
도 17 내지 18은 비대칭 삼진 트리 구조에서 잔차 신호를 재배열하는 방법의 일 실시 예를 설명한다.
도 17은 수직 우측 삼진 트리 구조에서 잔차 신호들을 4개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 17에 따르면, 상위 블록 (1700)은 두 개의 삼각형 블록 (1702, 1704)과 한 개의 평행사변형의 사각형 블록 (1706)으로 분할된다. 그리고 상기 블록들 (1702, 1704, 1706)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2, R3 및 R4 (1708, 1710, 1712, 1714)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1700)이 도 17에 도시된 바와 같이, 8개의 2x4 블록 (1716, 1718, 1720, 1722, 1724, 1726, 1728, 1730)으로 분할될 수 있다.
도 17에 따르면, 변환 영역 R1 (1708)은 2개의 2x4 블록(1716, 1726)으로 구성될 수 있다. 변환 영역 R2 (1710)은 2개의 2x4 블록 (1718, 1724)으로 구성될 수 있다. 변환 영역 R3 (1712)은 2개의 2x4 블록 (1720, 1730)으로 구성될 수 있다. 변환 영역 R4 (1714)은 2개의 2x4 블록 (1722, 1728)으로 구성될 수 있다.
변환 영역 R1, R2, R3 및 R4 (1708, 1710, 1712, 1714)에 기초하여, 변환 블록 (1732, 1734, 1736, 1738)이 결정될 수 있다. 변환 영역 R1 (1708)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 8x2 크기의 변환 블록 (1732)에 배열될 수 있다. 그리고 변환 영역 R2 (1710)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 8x2 크기의 변환 블록 (1734)에 배열될 수 있다. 변환 영역 R3 (1712)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 8x2 크기의 변환 블록 (1736)에 배열될 수 있다. 그리고 변환 영역 R4 (1714)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 8x2 크기의 변환 블록 (1738)에 배열될 수 있다. 실시 예에 따라, 변환 영역 R1, R2, R3 및 R4 (1708, 1710, 1712, 1714)의 잔차 신호는 4x4 또는 2x8 크기의 변환 블록에 배열될 수 있다.
도 17에서 수직 우측 삼진 트리 구조에 대한 잔차 신호 재배열 방법의 실시 예가 설명되었다. 그러나 도 17의 실시 예는 수직 좌측 삼진 트리 구조, 수평 상측 삼진 트리 구조, 수평 하측 삼진 트리 구조에도 적용이 가능하다. 다만, 분할 경계에 따라, 변환 영역 R1, R2, R3 및 R4가 도 17과 다르게 결정될 수 있다.
구체적으로 수직 좌측 삼진 트리 구조에서, 변환 영역 R1, R2, R3 및 R4는 각각 2개의 2x4 블록(1718, 1724), 2개의 2x4 블록(1716, 1726), 2개의 2x4 블록(1722, 1728), 2개의 2x4 블록(1720, 1730) 에 대응되도록 설정될 수 있다.
수평 상측 삼진 트리 구조 및 수평 하측 삼진 트리 구조에서는 상위 블록 (1700)은 8개의 4x2 크기의 블록으로 분할되고, 변환 영역 R1, R2, R3 및 R4은 각각 2개의 4x2 크기의 블록을 포함하도록 결정될 수 있다. 따라서, 수평 방향의 비대칭 삼진 트리 구조의 변환 영역은 도 17의 상위 블록 (1700)을 90도로 기울인 것과 동일하게 결정될 수 있다. 그리고 변환 영역의 잔차 신호가 재배열되는 변환 블록의 크기는 4x4 또는 8x2으로 결정될 수 있다.
도 18은 비대칭 삼진 트리 구조에서 잔차 신호들을 3개의 변환 블록으로 재배열하는 방법의 일 실시 예를 설명한다.
도 18에 따르면, 상위 블록 (1800)은 두 개의 삼각형 블록 (1802, 1804)과 한 개의 평행사변형의 사각형 블록 (1806)으로 분할된다. 그리고 상기 블록들 (1802, 1804, 1806)에 포함된 잔차 신호의 재배열을 위하여, 변환 영역 R1, R2 및 R3 (1808, 1810, 1812)가 결정된다. 변환 영역의 결정을 위하여 상위 블록 (1800)이 도 18에 도시된 바와 같이, 8개의 2x4 블록 (1814, 1816, 1818, 1820, 1822, 1824, 1826, 1828)으로 분할될 수 있다.
도 18에 따르면, 변환 영역 R1 (1808)은 4개의 2x4 블록(1814, 1818, 1824, 1828)으로 구성될 수 있다. 변환 영역 R2 (1810)은 2개의 2x4 블록(1816, 1822)으로 구성될 수 있다. 변환 영역 R3 (1812)은 2개의 2x4 블록(1820, 1826)으로 구성될 수 있다.
변환 영역 R1, R2, 및 R3 (1808, 1810, 1812)에 기초하여, 변환 블록 (1830, 1832, 1834)이 결정될 수 있다. 도 18에 따르면, 변환 영역 R1 (1808)의 잔차 신호들은 2가지 방법에 의하여 4x8 크기의 변환 블록 (1830)에 배열될 수 있다. 제1 배열 방법 (1836)에 따르면, 4개의 2x4 블록(1814, 1818, 1824, 1828)을 변환 영역의 위치에 기반하여 결합함으로써, 변환 블록 (1830)이 생성될 수 있다. 예를 들어, 블록(1814)의 잔차 신호가 변환 블록 (1830)의 좌상측에, 블록(1818)의 잔차 신호가 변환 블록 (1830)의 우상측에, 블록(1824)의 잔차 신호가 변환 블록 (1830)의 좌하측에, 그리고 블록(1828)의 잔차 신호가 변환 블록 (1830)의 우하측에 위치하도록, 블록(1814, 1818, 1824, 1828)들이 결합될 수 있다. 제2 배열 방법 (1838)에 따르면, 4개의 2x4 블록(1814, 1818, 1824, 1828)을 순서대로 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 4x8 크기의 변환 블록 (1830)에 배열함으로써, 변환 블록 (1830)이 결정될 수 있다. 실시 예에 따라, 변환 영역 R1 (1808)의 잔차 신호는 8x4 크기의 변환 블록에 배열될 수 있다.
변환 영역 R2 (1810)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1832)에 배열될 수 있다. 또한 변환 영역 R3 (1812)의 잔차 신호를 수평 방향의 지그재그 스캔 순서에 따라 스캔하고, 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 2x8 크기의 변환 블록 (1834)에 배열될 수 있다. 실시 예에 따라, 변환 영역 R2 및 R3 (1810, 1812)의 잔차 신호는 4x4 또는 8x2 크기의 변환 블록에 배열될 수 있다.
도 18에서 수직 우측 삼진 트리 구조에 대한 잔차 신호 재배열 방법의 실시 예가 설명되었다. 그러나 도 18의 실시 예는 수직 좌측 삼진 트리 구조, 수평 상측 삼진 트리 구조, 수평 하측 삼진 트리 구조에도 적용이 가능하다. 다만, 분할 경계에 따라, 변환 영역 R1, R2, 및 R3 가 도 18과 다르게 결정될 수 있다.
구체적으로 수직 좌측 삼진 트리 구조에서, 변환 영역 R1, R2 및 R3는 각각 4개의 2x4 블록 (1816, 1820, 1822, 1826), 2개의 2x4 블록 (1814, 1824), 2개의 2x4 블록 (1818, 1828)에 대응되도록 설정될 수 있다.
수평 상측 삼진 트리 구조 및 수평 하측 삼진 트리 구조에서는 상위 블록 (1800)은 8개의 4x2 크기의 블록으로 분할되고, 변환 영역 R1은 4개의 4x2 크기의 블록을 포함하고, R2 및 R3는 각각 2개의 4x2 크기의 블록을 포함하도록 결정될 수 있다. 따라서, 수평 방향의 비대칭 삼진 트리 구조의 변환 영역은 도 18의 상위 블록 (1800)을 90도로 기울인 것과 동일하게 결정될 수 있다. 그리고 변환 영역의 잔차 신호가 재배열되는 변환 블록의 크기는 4x4 또는 8x2으로 결정될 수 있다
도 17 및 18에서는 변환 영역의 잔차 신호 스캔이 수평 방향의 지그재그 스캔 순서에 따라 수행되었으나, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)에 따라 수행될 수도 있다.
도 17 및 18에서는 변환 영역에서 스캔된 잔차 신호가 수평 방향의 지그재그 스캔 순서에 따라 변환 블록에 배열되었지만, 다른 임의의 스캔 순서(수직 방향의 지그재그 스캔, 대각선 방향의 지그재그 스캔, 우측 또는 좌측 방향의 수평 스캔, 하측 또는 상측 방향의 수직 스캔, 임의의 스캔 등)를 기반으로 잔차 신호가 변환 블록에 배열될 수 있다. 잔차 신호 배열에 적용되는 스캔 순서는 변환 영역의 잔차 신호 스캔에 사용된 스캔 순서와 다를 수 있다.
도 17 및 18에서 8x8 크기의 블록을 기준으로 잔차 신호 재배열이 설명되었지만, 16x16, 32x32, 64x64와 같이 더 큰 크기의 블록에도 도 17 및 18의 방법으로 변환 영역 및 변환 블록이 결정될 수 있다.
도 9 내지 18에서 기하학적 분할 트리 구조에서 분할 영역의 잔차 신호를 변환 블록에 배열하는 방법이 설명되었다. 실시 예에 따라, 예측은 하위 블록에 대하여 수행되고, 변환은 상위 블록에 대하여 수행될 수 있다. 상위 블록에 대하여 변환이 수행될 경우, 잔차 신호 재배열이 수행되지 않고, 상위 블록의 잔차 신호들이 변환될 수 있다.
또한, 도 9 내지 18에서, 부호화를 기준으로 잔차 신호 재배열이 설명되었다. 따라서 복호화에서는, 변환 블록의 역변환으로 생성된 잔차 신호가 변환 영역에 재배열될 수 있다. 그리고 변환 영역의 잔차 신호에 기초하여 현재 블록이 복원될 수 있다.
이하, 도 19 내지 22는 도 5 내지 7에서 제안된 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조가 설명된다. 도 19 내지 22에서 QT는 사진 트리 (quad tree), MTT는 멀티 타입 트리 (multi-type tree), TQT는 삼각형 사진 트리 (triangle quad tree), BT는 이진 트리 (binary tree), TT는 삼진 트리 (ternary tree), GBT는 기하학적 이진 트리 (geometric binary tree), ATT는 비대칭 삼진 트리 (asymmetric ternary tree)를 의미한다. 그리고 도 19 내지 22에서 원형의 노드는 트리 분할 구조의 선택에 관련된 분기점을 의미한다.
도 19는 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조의 일 실시 예(1900)를 나타낸다.
노드 1902에서. 현재 블록이 분할되는지 여부가 판단된다. 현재 블록의 분할 여부는 분할 플래그 (Split Flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등)에 따라 결정될 수 있다. 상기 분할 플래그가 0을 가리킬 때, 현재 블록이 분할되지 않는 것으로 결정될 수 있다. 반대로 상기 분할 플래그가 1을 가리킬 때, 현재 블록이 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 분할 플래그가 0을 가리킬 때, 현재 블록이 분할되고, 분할 플래그가 1을 가리킬 때, 현재 블록이 분할되지 않는 것으로 결정될 수 있다.
현재 블록이 분할되지 않는 것으로 결정된 경우, 현재 블록은 잎 노드로 결정된다. 그리고 잎 노드로 결정된 현재 블록에 대하여 예측 및 변환 등이 수행된다. 반대로, 현재 블록이 분할되는 것으로 결정된 경우, 현재 블록의 분할 방법을 결정하기 위하여 노드 1904가 진행된다.
노드 1904에서, 사진 트리 구조 및 멀티 타입 트리 구조 중 현재 블록의 분할 방법이 판단된다. 상기 노드 1904의 판단은 사진 트리 플래그 (QT flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등)에 따라 결정될 수 있다. 상기 사진 트리 플래그가 0을 가리킬 때, 현재 블록이 사진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 사진 트리 플래그가 1을 가리킬 때, 현재 블록이 멀티 타입 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 사진 트리 플래그가 0을 가리킬 때, 현재 블록이 멀티 타입 트리 구조가 선택되고, 사진 트리 플래그가 1을 가리킬 때, 현재 블록이 사진 트리 구조가 선택될 수 있다.
현재 블록이 사진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록의 사진 트리 구조의 타입을 결정하기 위하여 노드 1906이 진행된다. 반대로, 현재 블록이 멀티 타입 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록의 멀티 타입 트리 구조의 타입을 결정하기 위하여 노드 1908이 진행된다.
노드 1906에서, 직사각형 사진 트리 구조 및 삼각형 사진 트리 구조 중 현재 블록의 분할 방법이 판단된다. 상기 노드 1906의 판단은 삼각형 사진 트리 플래그 (TQT flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등)에 따라 결정될 수 있다. 상기 삼각형 사진 트리 플래그가 0을 가리킬 때, 현재 블록이 직사각형 사진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 삼각형 사진 트리 플래그가 1을 가리킬 때, 현재 블록이 삼각형 사진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 삼각형 사진 트리 플래그가 0을 가리킬 때, 현재 블록에 대하여 삼각형 사진 트리 구조가 선택되고, 삼각형 사진 트리 플래그가 1을 가리킬 때, 현재 블록에 대하여 직사각형 사진 트리 구조가 선택될 수 있다.
노드 1906에서 분할 방법이 선택되면 현재 블록은 직사각형 사진 트리 구조 또는 삼각형 사진 트리 구조에 따라 분할된다. 현재 블록이 직사각형 사진 트리 구조에 의하여 분할될 경우, 하위 블록은 분할이 허용되는 조건이 만족되면 추가적으로 분할될 수 있다. 그러나, 현재 블록이 삼각형 사진 트리 구조에 의하여 분할될 경우, 하위 블록은 더 이상 분할되지 않을 수 있다.
만약 현재 블록에 대하여 삼각형 사진 트리 구조가 허용되지 않을 경우, 노드 1906은 생략되고, 현재 블록은 직사각형 사진 트리 구조에 따라 분할된다. 또한, 삼각형 사진 트리 구조가 사용되지 않는 실시 예의 경우 역시 노드 1906은 생략되고, 현재 블록은 직사각형 사진 트리 구조에 따라 분할된다.
노드 1908에서, 수직 방향 및 수평 방향 중 현재 블록의 분할 방향이 결정된다. 상기 노드 1908의 판단은 분할 방향 플래그 (Split direction flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등)에 따라 결정될 수 있다. 상기 분할 방향 플래그가 0을 가리킬 때, 현재 블록의 분할 방향이 수평 방향으로 결정될 수 있다. 반대로 상기 분할 방향 플래그가 1을 가리킬 때, 현재 블록의 분할 방향이 수직 방향으로 결정될 수 있다. 실시 예에 따라, 분할 방향 플래그가 0을 가리킬 때, 현재 블록의 분할 방향이 수직 방향으로 결정되고, 분할 방향 플래그가 1을 가리킬 때, 현재 블록의 분할 방향이 수평 방향으로 결정될 수 있다.
현재 블록이 수평 방향으로 분할되는 것으로 결정된 경우, 수평 방향의 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1910이 진행된다. 반대로, 현재 블록이 수직 방향으로 분할되는 것으로 결정된 경우, 수직 방향의 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1912이 진행된다. 도 19에서는 분할 방향이 분할되는 블록의 개수 및 기하학적 분할의 적용 여부보다 먼저 결정되었다. 그러나 실시 예에 따라, 분할되는 블록의 개수가 결정된 뒤 분할 방향이 결정될 수 있다. 또한, 실시 예에 따라, 분할되는 블록의 개수와 기하학적 분할의 적용 여부가 모두 결정된 뒤, 분할 방향이 결정될 수 있다. 또는 실시 예에 따라, 블록 분할 방법의 마지막에 분할 방향이 결정될 수 있다.
노드 1910에서, 이진 트리 구조 및 삼진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 상기 노드 1910의 판단은 이진 트리 플래그(BT_flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 이진 트리 플래그가 0을 가리킬 때, 현재 블록이 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 이진 트리 플래그가 1을 가리킬 때, 현재 블록이 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 이진 트리 플래그가 0을 가리킬 때, 현재 블록이 삼진 트리 구조에 따라 분할되는 것으로 결정되고, 분할 방향 플래그가 1을 가리킬 때, 현재 블록이 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다.
현재 블록이 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 수평 방향의 이진 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1914이 진행된다. 반대로, 현재 블록이 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 수평 방향의 삼진 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1916이 진행된다.
노드 1912는, 노드 1910과 마찬가지로, 이진 트리 구조 및 삼진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 노드 1912의 이진 트리 플래그는 노드 1910의 이진 트리 플래그와 동일한 신택스 요소이다.
현재 블록이 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 수직 방향의 이진 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1918이 진행된다. 반대로, 현재 블록이 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 수직 방향의 삼진 트리 구조들 중 현재 블록의 트리 구조의 타입을 결정하기 위하여 노드 1920이 진행된다.
노드 1914에서, 직사각형 이진 트리 구조 및 기하 이진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 상기 노드 1914의 판단은 기하 이진 트리 플래그(GBT_flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 기하 이진 트리 플래그가 0을 가리킬 때, 현재 블록이 직사각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 기하 이진 트리 플래그가 1을 가리킬 때, 현재 블록이 기하 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 기하 이진 트리 플래그가 0을 가리킬 때, 현재 블록이 기하 이진 트리 구조에 따라 분할되는 것으로 결정되고, 이진 트리 플래그가 1을 가리킬 때, 현재 블록이 직사각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다.
현재 블록이 직사각형 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수평 직사각형 이진 트리 구조에 따라 분할된다. 반대로, 현재 블록이 기하 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수평 방향의 기하 이진 트리 구조에 따라 분할된다. 도 6에서 도시된 바와 같이, 2개 이상의 수평 방향의 기하 이진 트리 구조가 현재 블록에 허용될 수 있다. 그러므로 현재 블록에 허용되는 수평 방향의 기하 이진 트리 구조가 2개 이상일 때, 도 21의 기하 이진 트리 구조 결정 방법에 따라, 현재 블록의 기하 이진 트리 구조가 선택될 수 있다.
노드 1916에서, 직사각형 삼진 트리 구조 및 비대칭 삼진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 상기 노드 1916의 판단은 비대칭 삼진 트리 플래그(ATT_flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 비대칭 삼진 트리 플래그가 0을 가리킬 때, 현재 블록이 직사각형 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 비대칭 삼진 트리 플래그가 1을 가리킬 때, 현재 블록이 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 비대칭 삼진 트리 플래그가 0을 가리킬 때, 현재 블록이 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정되고, 비대칭 삼진 트리 플래그가 1을 가리킬 때, 현재 블록이 직사각형 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다.
현재 블록이 직사각형 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수평 방향의 직사각형 삼진 트리 구조에 따라 분할된다. 반대로, 현재 블록이 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수평 방향의 비대칭 삼진 이진 트리 구조에 따라 분할된다. 도 7에서 도시된 바와 같이, 2개 이상의 수평 방향의 비대칭 삼진 트리 구조가 현재 블록에 허용될 수 있다. 그러므로 현재 블록에 허용되는 수평 방향의 비대칭 삼진 트리 구조가 2개 이상일 때, 도 22의 비대칭 삼진 트리 구조 결정 방법에 따라, 현재 블록의 비대칭 삼진 트리 구조가 선택될 수 있다.
노드 1918에서, 상기 노드 1914와 마찬가지로, 직사각형 이진 트리 구조 및 기하 이진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 노드 1918의 기하 이진 트리 플래그는 노드 1914의 기하 이진 트리 플래그와 동일하다.
현재 블록이 직사각형 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수직 직사각형 이진 트리 구조에 따라 분할된다. 반대로, 현재 블록이 기하 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수직 방향의 기하 이진 트리 구조에 따라 분할된다. 도 6에서 도시된 바와 같이, 2개 이상의 수직 방향의 기하 이진 트리 구조가 현재 블록에 허용될 수 있다. 그러므로 현재 블록에 허용되는 수직 방향의 기하 이진 트리 구조가 2개 이상일 때, 도 21의 기하 이진 트리 구조 결정 방법에 따라, 현재 블록의 기하 이진 트리 구조가 선택될 수 있다.
노드 1920에서, 상기 노드 1916과 마찬가지로, 직사각형 삼진 트리 구조 및 비대칭 삼진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 노드 1920의 비대칭 삼진 트리 플래그는 노드 1916의 비대칭 삼진 트리 플래그와 동일하다.
현재 블록이 직사각형 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수직 방향의 삼진 트리 구조에 따라 분할된다. 반대로, 현재 블록이 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 수직 방향의 비대칭 삼진 트리 구조에 따라 분할된다. 도 7에서 도시된 바와 같이, 2개 이상의 수직 방향의 비대칭 삼진 트리 구조가 현재 블록에 허용될 수 있다. 그러므로 현재 블록에 허용되는 수직 방향의 비대칭 삼진 트리 구조가 2개 이상일 때, 도 22의 비대칭 삼진 트리 구조 결정 방법에 따라, 현재 블록의 비대칭 삼진 트리 구조가 선택될 수 있다.
만약 현재 블록에 대하여 기하 이진 트리 구조가 허용되지 않을 경우, 노드 1914 및 1918은 생략되고, 현재 블록은 직사각형 이진 트리 구조에 따라 분할된다. 또한, 기하 이진 트리 구조가 사용되지 않는 실시 예의 경우에도 노드 1914 및 1918은 생략되고, 현재 블록은 직사각형 이진 트리 구조에 따라 분할된다.
만약 현재 블록에 대하여 비대칭 삼진 트리 구조가 허용되지 않을 경우, 노드 1916 및 1920은 생략되고, 현재 블록은 직사각형 삼진 구조에 따라 분할된다. 또한, 비대칭 삼진 트리 구조가 사용되지 않는 실시 예의 경우에도 노드 1916 및 1920은 생략되고, 현재 블록은 직사각형 삼진 트리 구조에 따라 분할된다.
앞서 언급했듯이, 기하학적 분할 트리 구조 중 일부는 블록 분할에 사용되지 않을 수 있다. 따라서, 영상 부호화 및 복호화의 일 실시 예에서 어떤 기하학적 분할 트리 구조가 부호화 툴로써 포함되는지 여부에 따라, 노드 1906, 1914, 1916, 1918 및 1920은 생략될 수 있다.
예를 들어, 삼각형 사진 트리 구조만 실시 예에 포함되는 경우, 노드 1906만 활성화되고, 노드 1914, 1916, 1918 및 1920은 생략될 수 있다. 따라서, 이진 트리와 기하 이진 트리의 선택 단계와 삼진 트리와 비대칭 삼진 트리의 선택 단계가 생략될 수 있다.
다른 예로, 기하 이진 트리 구조만 실시 예에 포함되는 경우, 노드 1914 및 1918만 활성화되고, 노드 1906, 1916 및 1920은 생략될 수 있다. 따라서, 사진 트리와 삼각형 사진 트리의 선택 단계와 삼진 트리와 비대칭 삼진 트리의 선택 단계가 생략될 수 있다.
다른 예로, 비대칭 삼진 트리 구조만 실시 예에 포함되는 경우, 노드 1916 및 1920만 활성화되고, 노드 1906, 1914 및 1918은 생략될 수 있다. 따라서, 사진 트리와 삼각형 사진 트리의 선택 단계와 이진 트리와 기하 이진 트리의 선택 단계가 생략될 수 있다.
또한, 실시 예에 부호화 툴로써 포함되는 기하학적 분할 트리 구조라고 하더라도, 시퀀스 파라미터 세트, 픽처 파라미터 세트, 슬라이스 헤더, 부호화 트리 단위 등과 같은 상위 데이터 단위에서 기하학적 분할 트리 구조가 허용되지 않는다고 결정된 경우, 허용되지 않는 기하학적 분할 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다. 또한, 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 등에 따라, 허용되지 않는 기하학적 분할 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다.
도 19에 따르면, 현재 블록이 사진 트리 구조에 의하여 분할되는지 여부가 먼저 판단되었다. 그러나 현재 블록이 삼진 트리 구조에 의하여 분할되는지 여부가 먼저 판단될 수 있다. 마찬가지로, 현재 블록이 이진 트리 구조에 의하여 분할되는지 여부가 먼저 판단될 수 있다. 분할 구조 결정을 위한 신택스 구조에 있어서, 사용 확률이 높은 분할 구조의 적용 여부를 먼저 판단함으로써, 분할 구조 결정을 위하여 필요한 데이터량을 감축할 수 있다.
도 20은 기하학적 분할 트리 구조가 반영된 블록 분할 방법 결정을 위한 신택스 구조의 일 실시 예(2000)를 나타낸다.
도 19와 달리, 도 20에서는 노드 2004에서 사진 트리/멀티 타입 트리 인덱스 (QT/MTT index)에 따라, 직사각형 사진 트리 구조, 삼각형 사진 트리 구조 및 멀티 타입 트리 구조 중 현재 블록의 분할 방법이 판단된다. 상기 노드 2004의 판단은 사진 트리/멀티 타입 트리 인덱스 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 사진 트리/멀티 타입 트리 인덱스가 0을 가리킬 때, 현재 블록이 직사각형 사진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 상기 사진 트리/멀티 타입 트리 인덱스가 10을 가리킬 때, 현재 블록이 삼각형 사진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 상기 사진 트리/멀티 타입 트리 인덱스가 11을 가리킬 때, 현재 블록이 멀티 타입 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 다만 실시 예에 따라, 사진 트리/멀티 타입 트리 인덱스가 가리키는 심볼이 나타내는 트리 구조는 도 20과 다르게 설정될 수 있다.
도 20의 노드 2002, 2006, 2008, 2010, 2012, 2014, 2016, 2018는 각각 도 19의 노드 1902, 1908, 1910, 1912, 1914, 1916, 1918, 1920과 동일한 기능을 수행할 수 있다.
도 21은 기하 이진 트리 구조의 결정을 위한 신택스 구조의 일 실시 예를 도시한다.
노드 1914, 1918, 2012, 및 2016에서 현재 블록이 기하 이진 트리 구조에 의하여 분할됨이 결정되고, 현재 블록에 허용된 기하 이진 트리 구조가 2개 이상일 경우, 도 21의 기하 이진 트리 구조 결정 방법에 따라, 2개 이상의 기하 이진 트리 구조들 중, 현재 블록의 기하 이진 트리 구조가 선택될 수 있다.
노드 2102에 따르면, 삼각형 이진 트리 구조 및 사각형 이진 트리 구조 중 현재 블록의 분할 방법이 결정된다. 상기 노드 2012의 판단은 GBT 형태 플래그 (GBT shape flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 GBT 형태 플래그가 0을 가리킬 때, 현재 블록이 삼각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 GBT 형태 플래그가 1을 가리킬 때, 현재 블록이 사각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, GBT 형태 플래그가 0을 가리킬 때, 현재 블록에 대하여 사각형 이진 트리 구조가 선택되고, GBT 형태 플래그가 1을 가리킬 때, 현재 블록에 대하여 삼각형 이진 트리 구조가 선택될 수 있다.
현재 블록이 삼각형 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록은 삼각형 이진 트리 구조에 따라 분할된다. 만약 도 19 또는 20에서, 분할 방향이 수직 방향으로 결정된 경우, 현재 블록은 수직 삼각형 이진 트리 구조에 따라 분할된다. 그리고 분할 방향이 수평 방향으로 결정된 경우, 현재 블록은 수평 삼각형 이진 트리 구조에 따라 분할된다.
현재 블록이 사각형 이진 트리 구조에 따라 분할되는 것으로 결정된 경우, 현재 블록의 사각형 이진 트리 방향을 결정하기 위하여 노드 2104가 수행된다.
노드 2104에 따르면, 현재 블록의 사각형 이진 트리 방향이 결정된다. 상기 노드 2104의 판단은 사각형 이진 트리 방향 플래그 (QBT direction flag) 또는 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 에 따라 결정될 수 있다. 상기 사각형 이진 트리 방향 플래그가 0을 가리킬 때, 현재 블록이 우측 또는 상측 방향의 사각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 사각형 이진 트리 방향 플래그가 1을 가리킬 때, 현재 블록이 좌측 또는 하측 방향의 사각형 이진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 사각형 이진 트리 방향 플래그의 심볼이 나타내는 트리 구조는 도 21의 사각형 이진 트리 방향 플래그와 반대로 설정될 수 있다.
만약, 분할 방향이 수직이고, 사각형 이진 트리 방향이 우측인 경우, 현재 블록은 수직 우측 사각형 이진 트리에 따라 분할될 수 있다. 그리고 분할 방향이 수직이고, 사각형 이진 트리 방향이 좌측인 경우, 현재 블록은 수직 좌측 사각형 이진 트리에 따라 분할될 수 있다. 분할 방향이 수평이고, 사각형 이진 트리 방향이 상측인 경우, 현재 블록은 수평 상측 사각형 이진 트리에 따라 분할될 수 있다. 그리고 분할 방향이 수평이고, 사각형 이진 트리 방향이 하측인 경우, 현재 블록은 수평 하측 사각형 이진 트리에 따라 분할될 수 있다.
기하 이진 트리 구조 중 일부는 블록 분할에 사용되지 않을 수 있다. 따라서, 영상 부호화 및 복호화의 일 실시 예에서 어떤 기하 이진 트리 구조가 부호화 툴로써 포함되는지 여부에 따라, 노드 2102 및/또는 2104는 생략될 수 있다.
예를 들어, 삼각형 이진 트리만 실시 예에 포함되는 경우, 노드 2102 및 2104는 활성화되지 않는다. 따라서, 도 21에 따른 방법은 수행되지 않고, 현재 블록은 수직 또는 수평 삼각형 이진 트리에 따라 분할될 수 있다.
또 다른 예로 사각형 이진 트리만 실시 예에 포함되는 경우, 노드 2102는 활성화되지 않는다. 따라서 노드 2104에서 사각형 이진 트리 방향만 결정된다. 만약, 사각형 이진 트리 방향이 하나로 고정된 경우, 노드 2104도 생략됨으로써, 도 21에 따른 방법이 수행되지 않을 수 있다.
또한, 실시 예에 부호화 툴로써 포함되는 기하 이진 트리 구조라고 하더라도, 시퀀스 파라미터 세트, 픽처 파라미터 세트, 슬라이스 헤더, 부호화 트리 단위 등과 같은 상위 데이터 단위에서 특정 기하 이진 트리 구조가 허용되지 않는다고 결정된 경우, 허용되지 않는 기하 이진 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다. 또한, 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 등에 따라, 허용되지 않는 기하 이진 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다.
현재 블록은 기하 이진 트리 구조에 따라 분할될 수 있으며, 현재 블록의 분할로 결정된 하위 블록은 추가적으로 분할되지 않고, 부호화 또는 복호화될 수 있다.
도 22는 비대칭 삼진 트리 구조의 결정을 위한 신택스 구조의 일 실시 예를 도시한다.
노드 1916, 1920, 2014, 및 2018에서 현재 블록이 비대칭 삼진 트리 구조에 의하여 분할됨이 결정되고, 현재 블록에 허용된 비대칭 삼진 트리 구조가 2개 이상일 경우, 도 22의 비대칭 삼진 트리 구조 결정 방법에 따라, 2개 이상의 비대칭 삼진 트리 구조들 중, 현재 블록의 비대칭 삼진 트리 구조가 선택될 수 있다.
노드 2202에 따르면, 현재 블록의 비대칭 삼진 트리 방향이 결정된다. 상기 노드 2202의 판단은 비대칭 삼진 트리 방향 플래그 (ATT direction flag) 또는 현재 블록의 특성에 따라 결정될 수 있다. 상기 비대칭 삼진 트리 방향 플래그가 0을 가리킬 때, 현재 블록이 우측 또는 상측 방향의 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 반대로 상기 비대칭 삼진 트리 방향 플래그가 1을 가리킬 때, 현재 블록이 좌측 또는 하측 방향의 비대칭 삼진 트리 구조에 따라 분할되는 것으로 결정될 수 있다. 실시 예에 따라, 비대칭 삼진 트리 방향 플래그의 심볼이 나타내는 트리 구조는 도 22의 비대칭 삼진 트리 방향 플래그와 반대로 설정될 수 있다.
만약, 분할 방향이 수직이고, 비대칭 삼진 트리 방향이 우측인 경우, 현재 블록은 수직 우측 삼진 트리에 따라 분할될 수 있다. 그리고 분할 방향이 수직이고, 사각형 이진 트리 방향이 좌측인 경우, 현재 블록은 수직 좌측 삼진 트리에 따라 분할될 수 있다. 분할 방향이 수평이고, 사각형 이진 트리 방향이 상측인 경우, 현재 블록은 수평 상측 삼진 트리에 따라 분할될 수 있다. 그리고 분할 방향이 수평이고, 사각형 이진 트리 방향이 하측인 경우, 현재 블록은 수평 하측 삼진 트리에 따라 분할될 수 있다.
비대칭 삼진 트리 구조 중 일부는 블록 분할에 사용되지 않을 수 있다. 따라서, 영상 부호화 및 복호화의 일 실시 예에서 각 분할 방향에 대하여 특정 비대칭 삼진 트리 방향만 적용되는 경우, 노드 2202 는 생략될 수 있다.
또한, 실시 예에 부호화 툴로써 포함되는 비대칭 삼진 트리 구조라고 하더라도, 시퀀스 파라미터 세트, 픽처 파라미터 세트, 슬라이스 헤더, 부호화 트리 단위 등과 같은 상위 데이터 단위에서 특정 비대칭 삼진 트리 구조가 허용되지 않는다고 결정된 경우, 허용되지 않는 비대칭 삼진 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다. 또한, 현재 블록의 특성 (크기, 형태, 색 성분, 슬라이스 타입 등) 등에 따라, 허용되지 않는 비대칭 삼진 트리 구조는 현재 블록의 블록 분할에서 제외될 수 있다.
현재 블록은 비대칭 삼진 트리 구조에 따라 분할될 수 있으며, 현재 블록의 분할로 결정된 하위 블록은 추가적으로 분할되지 않고, 부호화 또는 복호화될 수 있다.
상기 본 개시 내용을 종합하자면, 도 4 내지 7에서 설명된 트리 구조에 따라 현재 블록이 분할될 수 있다. 그리고 분할된 하위 블록에 대하여 예측 및/또는 변환 과정이 수행되거나, 하위 블록에 대하여 다시 분할이 수행될 수 있다. 만약 하위 블록에 대한 변환이 수행될 경우, 변환 전에 도 9 내지 18에서 설명된 잔차 신호 재배열이 수행될 수 있다. 도 19 내지 22의 신택스 구조에 따라, 현재 블록의 분할을 위한 트리 구조가 결정될 수 있다.
도 23은 블록 분할을 위한 트리 구조 결정 방법이 적용된 비디오 복호화 방법의 일 실시 예를 나타낸다.
단계 2302에서, 비트스트림으로부터 획득된 블록 분할 정보에 기초하여, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조가 결정된다.
상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함할 수 있다. 그리고 상기 기하학적 이진 트리 구조는 삼각형 이진 트리 구조와 사각형 이진 트리 구조를 포함할 수 있다. 삼각형 이진 트리 구조는 수직 삼각형 이진 트리 구조 및 수평 삼각형 이진 트리 구조를 포함할 수 있다. 또한 사각형 이진 트리 구조는 수직 우측 사각형 이진 트리 구조, 수직 좌측 사각형 이진 트리 구조, 수평 상측 사각형 이진 트리 구조, 및 수평 하측 사각형 이진 트리 구조를 포함할 수 있다. 그리고 비대칭 삼진 트리 구조는 수직 우측 삼진 트리 구조, 수직 좌측 삼진 트리 구조, 수평 상측 삼진 트리 구조, 및 수평 하측 삼진 트리 구조를 포함할 수 있다.
상기 블록 분할 정보는, 직사각형 사진 트리 구조 및 삼각형 사진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 삼각형 사진 트리 플래그, 직사각형 이진 트리 구조 및 기하 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 기하 이진 트리 플래그, 및 직사각형 삼진 트리 구조 및 비대칭 삼진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 비대칭 삼진 트리 플래그를 포함할 수 있다.
상기 블록 분할 정보는, 사진 트리 구조 및 멀티 타입 트리 구조 중 현재 블록의 분할 방법을 나타내는 사진 트리 플래그를 포함하고, 상기 삼각형 사진 트리 플래그는, 상기 사진 트리 플래그가 상기 현재 블록의 분할 방법이 사진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득될 수 있다.
상기 블록 분할 정보는, 이진 트리 구조 및 삼진 트리 구조 중 현재 블록의 분할 방법을 나태내는 이진 트리 플래그를 포함하고, 상기 기하 이진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 이진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되고, 상기 비대칭 삼진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 삼진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득될 수 있다.
상기 블록 분할 정보는, 상기 기하 이진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 기하 이진 트리 구조임을 나타낼 때, 삼각형 이진 트리 구조 및 사각형 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 GBT 형태 플래그를 더 포함하고, 상기 GBT 형태 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 사각형 이진 트리 구조 임을 나타낼 때, 현재 블록의 사각형 이진 트리 방향을 나타내는 사각형 이진 트리 방향 플래그를 더 포함할 수 있다.
상기 블록 분할 정보는, 상기 비대칭 삼진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 비대칭 삼진 트리 구조임을 나타낼 때, 상기 현재 블록의 비대칭 삼진 트리 방향을 나타내는 비대칭 삼진 트리 방향 플래그를 더 포함할 수 있다.
상기 블록 분할 정보는, 상기 현재 블록에 상기 이진 트리 구조 또는 상기 삼진 트리 구조가 적용되는 경우, 수직 방향 및 수평 방향 중 상기 현재 블록의 분할 방향을 나타내는 분할 방향 플래그를 더 포함할 수 있다. 상기 현재 블록에 상기 이진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 이진 트리 구조가 결정되고, 상기 현재 블록에 상기 삼진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 삼진 트리 구조가 결정될 수 있다.
상기 현재 블록의 상위 데이터 단위에서, 상기 기하학적 분할 트리 구조가 상기 현재 블록에 허용되지 않음이 결정되거나, 상기 현재 블록의 크기, 형태, 색 성분 및 슬라이스 타입 중 적어도 하나에 기초하여 상기 현재 블록에 상기 기하학적 분할 트리 구조가 적용되지 않는 경우, 상기 삼각형 사진 트리 플래그, 상기 기하 이진 트리 플래그, 상기 비대칭 삼진 트리 플래그는 상기 비트스트림으로부터 획득되지 않을 수 있다.
단계 2304에서, 결정된 트리 구조에 따라 상기 현재 블록이 분할된다.
상기 현재 블록의 트리 구조가 삼각형 사진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 4개의 삼각형 블록으로 분할될 수 있다. 상기 현재 블록의 트리 구조가 삼각형 이진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 2개의 삼각형 블록으로 분할될 수 있다. 상기 현재 블록의 트리 구조가 사각형 이진 트리 구조일 경우, 상기 현재 블록은 2개의 직사각형이 아닌 사각형 블록으로 분할될 수 있다. 상기 현재 블록의 트리 구조가 비대칭 삼진 트리 구조일 경우, 상기 현재 블록은 2개의 삼각형 블록과 1개의 사각형 블록으로 분할될 수 있다.
단계 2306에서, 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록이 복호화된다.
상기 기하학적 분할 트리 구조가 상기 현재 블록의 트리 구조로 결정됨에 대응하여, 상기 하위 블록은 더 이상 분할되지 않을 수 있다.
상기 현재 블록의 하위 블록을 복호화함에 있어서, 상기 현재 블록이 상기 기하학적 분할 트리 구조에 따라 분할된 경우, 상기 하위 블록의 영역에 따라, 상기 현재 블록으로부터 복수의 변환 영역을 결정하는 단계, 및 상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계, 및 상기 복수의 변환 영역을 결합하여, 상기 현재 블록의 잔차 신호가 포함된 잔차 블록을 결정하는 단계를 포함할 수 있다.
여기서, 상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계는, 상기 복수의 변환 블록의 잔차 신호를 소정의 제1 스캔 순서에 따라 스캔하는 단계, 및 상기 스캔된 잔차 신호를 소정의 제2 스캔 순서에 따라 상기 복수의 변환 영역에 재배열하는 단계를 포함할 수 있다.
상기 소정의 제1 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되고, 또한 상기 소정의 제2 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정될 수 있다.
도 24는 블록 분할을 위한 트리 구조 결정 방법이 적용된 비디오 부호화 방법의 일 실시 예를 나타낸다.
단계 2402에서, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조가 결정될 수 있다. 그리고 상기 트리 구조를 나타내는 블록 분할 정보가 부호화될 수 있다.
상기 후보 트리 구조에 관하여 단계 2302에서 설명된 바와 동일하다. 또한 상기 블록 분할 정보에 포함되는 신택스 요소는 단계 2302에서 설명된 바와 동일하다. 다만 부호화 단계에서는 신택스 요소가 생성되는 바, 신택스 요소에 대하여 아래와 같이 설명된다.
상기 삼각형 사진 트리 플래그는, 상기 사진 트리 플래그가 상기 현재 블록의 분할 방법이 사진 트리 구조임을 나타낼 때, 부호화되어 상기 비트스트림에 포함될 수 있다. 그리고 상기 기하 이진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 이진 트리 구조임을 나타낼 때, 부호화되어 상기 비트스트림에 포함될 수 있다. 또한 상기 비대칭 삼진 트리 플래그는, 상기 비대칭 삼진 트리 플래그가 상기 현재 블록의 분할 방법이 삼진 트리 구조임을 나타낼 때, 부호화되어 상기 비트스트림에 포함될 수 있다.
상기 GBT 형태 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 사각형 이진 트리 구조 임을 나타낼 때, 현재 블록의 사각형 이진 트리 방향을 나타내는 사각형 이진 트리 방향 플래그가 부호화되어 상기 비트스트림에 포함될 수 있다.
상기 비대칭 삼진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 비대칭 삼진 트리 구조임을 나타낼 때, 상기 현재 블록의 비대칭 삼진 트리 방향을 나타내는 비대칭 삼진 트리 방향 플래그가 부호화되어 상기 비트스트림에 포함될 수 있다.
상기 현재 블록에 상기 이진 트리 구조 또는 상기 삼진 트리 구조가 적용되는 경우, 수직 방향 및 수평 방향 중 상기 현재 블록의 분할 방향을 나타내는 분할 방향 플래그가 부호화되어 상기 비트스트림에 포함될 수 있다.
단계 2404에서, 결정된 트리 구조에 따라 상기 현재 블록이 분할된다. 단계 2304에 관하여 설명된 바와 같이, 각 트리 구조의 블록 분할 방법에 따라 단계 2404에서 상기 현재 블록이 분할될 수 있다.
단계 2406에서, 상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록이 부호화될 수 있다.
상기 기하학적 분할 트리 구조가 상기 현재 블록의 트리 구조로 결정됨에 대응하여, 상기 하위 블록은 더 이상 분할되지 않을 수 있다.
상기 현재 블록의 하위 블록을 부호화함에 있어서, 상기 현재 블록이 상기 기하학적 분할 트리 구조에 따라 분할된 경우, 상기 하위 블록의 영역에 따라, 상기 현재 블록으로부터 복수의 변환 영역을 결정하는 단계, 및 상기 복수의 변환 영역의 잔차 신호를 상기 현재 블록에 대응되는 복수의 변환 블록에 재배열하는 단계, 및 상기 복수의 변환 블록에 대하여 변환 및 양자화를 수행하는 단계를 포함할 수 있다.
여기서, 상기 현재 블록에 대응되는 복수의 변환 영역의 잔차 신호를 상기 복수의 변환 블록에 재배열하는 단계는, 상기 복수의 변환 영역의 잔차 신호를 소정의 제2 스캔 순서에 따라 스캔하는 단계, 및 상기 스캔된 잔차 신호를 소정의 제1 스캔 순서에 따라 상기 복수의 변환 블록에 재배열하는 단계를 포함할 수 있다.
상기 소정의 제1 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되고, 또한 상기 소정의 제2 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정될 수 있다.
도 25는 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.
도 25에 도시된 바와 같이, 본 발명의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수도 있다.
상기 비트스트림은 본 발명의 실시예가 적용된 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
상기의 실시 예들은 부호화 장치 및 복호화 장치에서 동일한 방법 또는 상응하는 방법으로 수행될 수 있다. 또한, 상기 실시 예들 중 적어도 하나 혹은 적어도 하나의 조합을 이용해서 영상을 부호화/복호화할 수 있다.
상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 상이할 수 있다. 또는, 상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 동일할 수 있다.
상기 실시 예들은 휘도 및 색차 신호 각각에 대하여 수행될 수 있다. 또는, 휘도 및 색차 신호에 대한 상기 실시예들이 동일하게 수행될 수 있다.
상기 실시 예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상기 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 실시예에 따른 부호화 방법에 의해 생성된 비트스트림은 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 또한, 상기 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 비트스트림은 상기 실시예에 따른 복호화 방법에 의해 복호화될 수 있다.
여기서, 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
본 발명은 영상을 부호화/복호화하는 장치 및 비트스트림을 저장한 기록 매체에 이용될 수 있다.

Claims (20)

  1. 비디오 복호화 방법에 있어서,
    비트스트림으로부터 획득된 블록 분할 정보에 기초하여, 현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하는 단계;
    상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계; 및
    상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 복호화하는 단계를 포함하고,
    상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함하는 비디오 복호화 방법.
  2. 제1 항에 있어서,
    상기 현재 블록의 트리 구조가 삼각형 사진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 4개의 삼각형 블록으로 분할되는 것을 특징으로 하는 비디오 복호화 방법.
  3. 제1 항에 있어서,
    상기 기하학적 이진 트리 구조는 삼각형 이진 트리 구조와 사각형 이진 트리 구조를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  4. 제3 항에 있어서,
    상기 현재 블록의 트리 구조가 삼각형 이진 트리 구조일 경우, 상기 현재 블록은 동일한 크기의 2개의 삼각형 블록으로 분할되는 것을 특징으로 하는 비디오 복호화 방법.
  5. 제3 항에 있어서,
    상기 현재 블록의 트리 구조가 사각형 이진 트리 구조일 경우, 상기 현재 블록은 2개의 직사각형이 아닌 사각형 블록으로 분할되는 것을 특징으로 하는 비디오 복호화 방법.
  6. 제1 항에 있어서,
    상기 현재 블록의 트리 구조가 비대칭 삼진 트리 구조일 경우, 상기 현재 블록은 2개의 삼각형 블록과 1개의 사각형 블록으로 분할되는 것을 특징으로 하는 비디오 복호화 방법.
  7. 제1 항에 있어서,
    상기 블록 분할 정보는,
    직사각형 사진 트리 구조 및 삼각형 사진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 삼각형 사진 트리 플래그,
    직사각형 이진 트리 구조 및 기하 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 기하 이진 트리 플래그, 및
    직사각형 삼진 트리 구조 및 비대칭 삼진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 비대칭 삼진 트리 플래그를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  8. 제7 항에 있어서,
    상기 블록 분할 정보는,
    사진 트리 구조 및 멀티 타입 트리 구조 중 현재 블록의 분할 방법을 나타내는 사진 트리 플래그를 포함하고,
    상기 삼각형 사진 트리 플래그는, 상기 사진 트리 플래그가 상기 현재 블록의 분할 방법이 사진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되는 것을 특징으로 하는 비디오 복호화 방법.
  9. 제7 항에 있어서,
    상기 블록 분할 정보는,
    이진 트리 구조 및 삼진 트리 구조 중 현재 블록의 분할 방법을 나태내는 이진 트리 플래그를 포함하고,
    상기 기하 이진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 이진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되고,
    상기 비대칭 삼진 트리 플래그는, 상기 이진 트리 플래그가 상기 현재 블록의 분할 방법이 삼진 트리 구조임을 나타낼 때, 상기 비트스트림으로부터 획득되는 것을 특징으로 하는 비디오 복호화 방법.
  10. 제7 항에 있어서,
    상기 블록 분할 정보는,
    상기 기하 이진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 기하 이진 트리 구조임을 나타낼 때, 삼각형 이진 트리 구조 및 사각형 이진 트리 구조 중 상기 현재 블록의 분할 방법을 나타내는 GBT 형태 플래그를 더 포함하고,
    상기 GBT 형태 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 사각형 이진 트리 구조 임을 나타낼 때, 현재 블록의 사각형 이진 트리 방향을 나타내는 사각형 이진 트리 방향 플래그를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  11. 제7 항에 있어서,
    상기 블록 분할 정보는,
    상기 비대칭 삼진 트리 플래그가 상기 현재 블록이 상기 현재 블록의 분할 방법이 비대칭 삼진 트리 구조임을 나타낼 때, 상기 현재 블록의 비대칭 삼진 트리 방향을 나타내는 비대칭 삼진 트리 방향 플래그를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  12. 제7 항에 있어서,
    상기 블록 분할 정보는,
    상기 현재 블록에 상기 이진 트리 구조 또는 상기 삼진 트리 구조가 적용되는 경우, 수직 방향 및 수평 방향 중 상기 현재 블록의 분할 방향을 나타내는 분할 방향 플래그를 더 포함하고,
    상기 현재 블록에 상기 이진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 이진 트리 구조가 결정되고,
    상기 현재 블록에 상기 삼진 트리 구조가 적용되는 경우, 상기 현재 블록의 분할 방향에 따라, 상기 현재 블록에 적용되는 삼진 트리 구조가 결정되는 것을 특징으로 하는 비디오 복호화 방법.
  13. 제7 항에 있어서,
    상기 현재 블록의 상위 데이터 단위에서, 상기 기하학적 분할 트리 구조가 상기 현재 블록에 허용되지 않음이 결정되거나, 상기 현재 블록의 크기, 형태, 색 성분 및 슬라이스 타입 중 적어도 하나에 기초하여 상기 현재 블록에 상기 기하학적 분할 트리 구조가 적용되지 않는 경우, 상기 삼각형 사진 트리 플래그, 상기 기하 이진 트리 플래그, 상기 비대칭 삼진 트리 플래그는 상기 비트스트림으로부터 획득되지 않는 것을 특징으로 하는 비디오 복호화 방법.
  14. 제1 항에 있어서,
    상기 현재 블록의 하위 블록을 복호화하는 단계는,
    상기 현재 블록이 상기 기하학적 분할 트리 구조에 따라 분할된 경우, 상기 하위 블록의 영역에 따라, 상기 현재 블록으로부터 복수의 변환 영역을 결정하는 단계;
    상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계; 및
    상기 복수의 변환 영역을 결합하여, 상기 현재 블록의 잔차 신호가 포함된 잔차 블록을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  15. 제14 항에 있어서,
    상기 현재 블록에 대응되는 복수의 변환 블록의 잔차 신호를 상기 복수의 변환 영역에 재배열하는 단계는,
    상기 복수의 변환 블록의 잔차 신호를 소정의 제1 스캔 순서에 따라 스캔하는 단계; 및
    상기 스캔된 잔차 신호를 소정의 제2 스캔 순서에 따라 상기 복수의 변환 영역에 재배열하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  16. 제15 항에 있어서,
    상기 소정의 제1 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되고,
    상기 소정의 제2 스캔 순서는 수직 지그재그 스캔, 수평 지그재그 스캔, 대각선 지그재그 스캔 중 하나로 결정되는 것을 특징으로 하는 비디오 복호화 방법.
  17. 제1 항에 있어서,
    상기 기하학적 분할 트리 구조가 상기 현재 블록의 트리 구조로 결정됨에 대응하여, 상기 하위 블록은 분할되지 않는 것을 특징으로 하는 비디오 복호화 방법.
  18. 비디오 부호화 방법에 있어서,
    현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하고, 상기 트리 구조를 나타내는 블록 분할 정보를 부호화하는 단계;
    상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계; 및
    상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 부호화하는 단계를 포함하고,
    상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함하는 비디오 부호화 방법.
  19. 비트스트림을 전송하는 비트스트림 전송 방법에 있어서,
    비디오 데이터를 비디오 부호화 방법에 의하여 부호화함으로써 상기 비트스트림을 생성하는 단계; 및
    상기 비트스트림을 전송하는 단계를 포함하고,
    상기 비디오 부호화 방법은,
    현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하고, 상기 트리 구조를 나타내는 블록 분할 정보를 부호화하는 단계;
    상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계; 및
    상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 부호화하는 단계를 포함하고,
    상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함하는 비트스트림 전송 방법.
  20. 비디오 데이터를 비디오 부호화 방법에 의하여 부호화함으로써 생성된 비트스트림을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,
    상기 비디오 부호화 방법은,
    현재 블록에 대하여 허용되는 후보 트리 구조들 중, 상기 현재 블록의 분할을 위한 트리 구조를 결정하고, 상기 트리 구조를 나타내는 블록 분할 정보를 부호화하는 단계;
    상기 결정된 트리 구조에 따라 상기 현재 블록을 분할하는 단계; 및
    상기 현재 블록으로부터 분할된 상기 현재 블록의 하위 블록을 부호화하는 단계를 포함하고,
    상기 후보 트리 구조들은 기하학적 분할 트리 구조를 포함하고, 상기 기하학적 분할 트리 구조는 삼각형 사진 트리 구조, 기하학적 이진 트리 구조, 비대칭 삼진 트리 구조 중 적어도 하나를 포함하는 기록매체.
PCT/KR2023/004579 2022-04-07 2023-04-05 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 WO2023195765A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0043214 2022-04-07
KR20220043214 2022-04-07
KR10-2023-0044609 2023-04-05
KR1020230044609A KR20230144479A (ko) 2022-04-07 2023-04-05 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Publications (1)

Publication Number Publication Date
WO2023195765A1 true WO2023195765A1 (ko) 2023-10-12

Family

ID=88243270

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/004579 WO2023195765A1 (ko) 2022-04-07 2023-04-05 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Country Status (1)

Country Link
WO (1) WO2023195765A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR20200071302A (ko) * 2018-12-11 2020-06-19 가온미디어 주식회사 움직임 예측을 사용하는 영상 복호화 및 부호화 방법
KR20200075775A (ko) * 2018-12-18 2020-06-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200108799A (ko) * 2019-03-11 2020-09-21 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US20220086441A1 (en) * 2019-06-03 2022-03-17 Beijing Bytedance Network Technology Co., Ltd. Intra block copy with triangular partitions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR20200071302A (ko) * 2018-12-11 2020-06-19 가온미디어 주식회사 움직임 예측을 사용하는 영상 복호화 및 부호화 방법
KR20200075775A (ko) * 2018-12-18 2020-06-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200108799A (ko) * 2019-03-11 2020-09-21 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US20220086441A1 (en) * 2019-06-03 2022-03-17 Beijing Bytedance Network Technology Co., Ltd. Intra block copy with triangular partitions

Similar Documents

Publication Publication Date Title
WO2017171370A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018026219A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018066867A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020226424A1 (ko) Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2017204532A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2017176030A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020180102A1 (ko) 영상 코딩 시스템에서 컨텍스트 코딩된 사인 플래그를 사용하는 영상 디코딩 방법 및 그 장치
WO2020251330A1 (ko) 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020055107A1 (ko) 영상 코딩 시스템에서 어파인 mvp 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2018056701A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020171592A1 (ko) 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2021060847A1 (ko) 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020036390A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2020213931A1 (ko) 레지듀얼 계수의 차분 부호화를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020251329A1 (ko) Mip 모드 매핑이 단순화된 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020171647A1 (ko) 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
WO2021172914A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2019194463A1 (ko) 영상의 처리 방법 및 이를 위한 장치
WO2021060844A1 (ko) 팔레트 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020197223A1 (ko) 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩
WO2020009400A1 (ko) 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2021015536A1 (ko) 팔레트 모드의 적용 여부에 따라 디블로킹 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021006697A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020262962A1 (ko) 크로마 변환 블록의 최대 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021006698A1 (ko) 영상 코딩 시스템에서 영상 코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23784989

Country of ref document: EP

Kind code of ref document: A1