WO2026010409A1 - 템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법 - Google Patents

템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법

Info

Publication number
WO2026010409A1
WO2026010409A1 PCT/KR2025/009548 KR2025009548W WO2026010409A1 WO 2026010409 A1 WO2026010409 A1 WO 2026010409A1 KR 2025009548 W KR2025009548 W KR 2025009548W WO 2026010409 A1 WO2026010409 A1 WO 2026010409A1
Authority
WO
WIPO (PCT)
Prior art keywords
template
block
sample values
current
decoding device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/009548
Other languages
English (en)
French (fr)
Inventor
김경아
김양우
박민수
박민우
최광표
최기용
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240177896A external-priority patent/KR20260006425A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026010409A1 publication Critical patent/WO2026010409A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present disclosure relates to the field of video encoding and decoding, and more particularly, to a device and method for encoding or decoding a video by encoding or decoding using a template cost.
  • the image is divided into blocks, and each block is predicted and decoded through inter prediction.
  • Inter prediction is a technique for compressing images by removing temporal redundancy between images.
  • Inter prediction uses a reference image to predict blocks in the current image.
  • the reference block most similar to the current block can be searched within a predetermined search range within the reference image.
  • the current block is predicted based on the reference block, and the predicted block generated as a result of the prediction is subtracted from the current block to generate a residual block.
  • Codecs such as H.264 AVC (Advanced Video Coding) and HEVC (High Efficiency Video Coding) use the motion vectors of previously encoded blocks adjacent to the current block or blocks included in a previously encoded image as motion vector predictors of the current block to predict the motion vector of the current block.
  • the residual block generated through intra-prediction or inter-prediction undergoes transformation and quantization and is then passed to the decoder.
  • the decoder dequantizes and inversely transforms the residual block, and combines the predicted block of the current block with the residual block to reconstruct the current block.
  • the decoder can filter the reconstructed current block to remove artifacts within it.
  • a method and device for encoding an image according to one embodiment, and a method and device for decoding an image have as their object the reduction of the bit rate of a bitstream.
  • a video decoding method may include a step of obtaining first sample values corresponding to positions of samples within a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the video decoding method may include a step of determining a template cost based on the first sample values and second sample values of samples within the candidate reference block.
  • the video decoding method may include a step of determining a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the video decoding method may include a step of obtaining a prediction block of the current block using the reference block.
  • a video encoding method may be provided.
  • the video encoding method may include a step of obtaining first sample values corresponding to positions of samples within a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the video encoding method may include a step of determining a template cost based on the first sample values and second sample values of samples within the candidate reference block.
  • the video encoding method may include a step of determining a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the video encoding method may include a step of obtaining a prediction block of the current block using the reference block.
  • an image encoding apparatus including at least one memory storing at least one instruction; and at least one processor operating according to the at least one instruction.
  • the at least one processor may obtain first sample values corresponding to positions of samples in a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the at least one processor may determine a template cost based on the first sample values and second sample values of samples in the candidate reference block.
  • the at least one processor may determine a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the at least one processor may obtain a prediction block of the current block using the reference block.
  • a computer-readable recording medium storing a bitstream generated according to the image encoding method performed by the image encoding device may be provided.
  • the compression performance of the image in the process of decoding and encoding an image, the compression performance of the image can be improved, the amount of data required for signaling can be reduced, the bit rate can be reduced, the prediction performance can be improved, and the decoding quality of the image can be improved.
  • FIG. 1 is a block diagram of an image decoding device according to one embodiment.
  • FIG. 2 is a block diagram of an image encoding device according to one embodiment.
  • FIG. 3 illustrates a process of dividing a current encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 4 illustrates a process of dividing a non-square coding unit to determine at least one coding unit according to one embodiment.
  • FIG. 6 illustrates a method for determining a predetermined coding unit among an odd number of coding units according to one embodiment.
  • FIG. 7 illustrates the order in which multiple encoding units are processed when a current encoding unit is divided to determine multiple encoding units according to one embodiment.
  • FIG. 8 illustrates a process for determining that a current encoding unit is split into an odd number of encoding units when encoding units cannot be processed in a predetermined order according to one embodiment.
  • FIG. 9 illustrates a process of dividing a first encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 10 illustrates that, according to one embodiment, the shapes into which a first encoding unit can be divided are limited when a second encoding unit of a non-square shape determined by splitting the first encoding unit satisfies a predetermined condition.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively split to determine a plurality of encoding units according to one embodiment.
  • FIG. 14 illustrates an index (part index, hereinafter referred to as PID) for depth and encoding unit distinction that can be determined according to the shape and size of encoding units according to one embodiment.
  • PID part index
  • FIG. 15 illustrates that a plurality of coding units are determined according to a plurality of predetermined data units included in a picture according to one embodiment.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation form mode information expressed in binary code according to one embodiment.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information expressed in binary code according to one embodiment.
  • FIG. 19 is a block diagram of an image encoding and decoding system that performs loop filtering according to one embodiment.
  • Fig. 20 is a block diagram illustrating a configuration of an image decoding device according to one embodiment.
  • FIG. 21 is a diagram illustrating neighboring blocks temporally and/or spatially related to a current block according to one embodiment.
  • FIG. 23 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • FIG. 24 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • FIG. 25 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • FIG. 26 is a diagram illustrating a search range for determining a reference block by performing template matching according to one embodiment.
  • Fig. 27 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • Fig. 28 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • Fig. 29 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • Figure 31 is a flowchart of an image decoding method according to one embodiment.
  • Fig. 32 is a block diagram illustrating a configuration of an image encoding device according to one embodiment.
  • the expression “at least one of a, b or c” may refer to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “all of a, b and c”, or variations thereof.
  • components expressed as “units”, “modules”, etc. may be two or more components combined into a single component, or a single component may be divided into two or more more detailed components.
  • each component described below may additionally perform some or all of the functions performed by other components in addition to its own main function, and some of the main functions performed by each component may be exclusively performed by other components.
  • 'image' may refer to a picture, a still image, a frame, a moving image composed of a plurality of consecutive still images, or a video.
  • sample may refer to data assigned to a sampling location in an image and thus to be processed.
  • a pixel within a frame in a spatial domain may correspond to a sample.
  • a unit containing multiple samples may be defined as a block.
  • an image encoding method and device based on a tree-structured encoding unit and a transformation unit according to one embodiment, and an image decoding method and device are disclosed.
  • FIG. 1 illustrates a block diagram of an image decoding device (100) according to one embodiment.
  • the video decoding device (100) may include a bitstream acquisition unit (110) and a decoding unit (120).
  • the bitstream acquisition unit (110) and the decoding unit (120) may include at least one processor.
  • the bitstream acquisition unit (110) and the decoding unit (120) may include a memory that stores commands to be executed by at least one processor.
  • the bitstream acquisition unit (110) can receive a bitstream.
  • the bitstream includes information obtained by encoding an image by an image encoding device (200) described below.
  • the bitstream can be transmitted from the image encoding device (200).
  • the image encoding device (200) and the image decoding device (100) can be connected by wire or wirelessly, and the bitstream acquisition unit (110) can receive the bitstream by wire or wirelessly.
  • the bitstream acquisition unit (110) can receive the bitstream from a storage medium such as an optical medium, a hard disk, etc.
  • the decoding unit (120) can restore the image based on information obtained from the received bitstream.
  • the decoding unit (120) can obtain syntax elements for restoring the image from the bitstream.
  • the decoding unit (120) can restore the image based on the syntax elements.
  • the bitstream acquisition unit (110) can receive a bitstream.
  • the image decoding device (100) may perform an operation of obtaining a binstring corresponding to a splitting shape mode of an encoding unit from a bitstream. In addition, the image decoding device (100) may perform an operation of determining a splitting rule of the encoding unit. In addition, the image decoding device (100) may perform an operation of splitting the encoding unit into a plurality of encoding units based on at least one of the binstring corresponding to the splitting shape mode and the splitting rule. In order to determine the splitting rule, the image decoding device (100) may determine a first allowable range of the size of the encoding unit according to a ratio of the width and height of the encoding unit. In order to determine the splitting rule, the image decoding device (100) may determine a second allowable range of the size of the encoding unit according to the splitting shape mode of the encoding unit.
  • a picture can be divided into one or more slices or one or more tiles.
  • a slice or a tile can be a sequence of one or more maximum coding tree units (CTUs).
  • CTUs maximum coding tree units
  • a slice may include one or more tiles, and a slice may include one or more maximum coding units.
  • a slice including one or more tiles can be determined within a picture.
  • the maximum coding block (Coding Tree Block; CTB) is a concept that contrasts with the maximum coding unit (CTU).
  • CTB is an NxN block containing NxN samples (N is an integer). Each color component can be divided into one or more CTBs.
  • a maximum coding unit is a unit that includes a maximum coding block of luma samples, two maximum coding blocks of corresponding chroma samples, and syntax structures used to encode the luma samples and chroma samples.
  • a maximum coding unit is a unit that includes a maximum coding block of monochrome samples and syntax structures used to encode the monochrome samples.
  • a maximum coding unit is a unit that includes syntax structures used to encode the picture and samples of the picture.
  • a coding unit is a unit that includes a coding block for a luma sample and two coding blocks for corresponding chroma samples, and syntax structures used to encode the luma sample and the chroma samples.
  • a coding unit is a unit that includes a coding block for a monochrome sample and syntax structures used to encode the monochrome samples.
  • a coding unit is a unit that includes syntax structures used to encode the picture and samples of the picture.
  • the maximum coding block and the maximum coding unit are distinct concepts, and the coding block and the coding unit are distinct concepts. That is, the (maximum) coding unit refers to a data structure including a (maximum) coding block including the corresponding sample and a syntax structure corresponding to it.
  • the (maximum) coding unit or the (maximum) coding block refers to a block of a predetermined size including a predetermined number of samples, the following specification will refer to the maximum coding block and the maximum coding unit, or the coding block and the coding unit, without distinction unless there are special circumstances.
  • information about the maximum size of a luma coding block can be obtained from the bitstream.
  • the maximum size of the luma coding block indicated by the information about the maximum size of the luma coding block can be one of 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, and 256x256.
  • information about the maximum size of a luma coding block capable of being split into two and the luma block size difference can be obtained from the bitstream.
  • the information about the luma block size difference can indicate the size difference between a luma maximum coding unit and a maximum luma coding block capable of being split into two. Therefore, by combining the information about the maximum size of a luma coding block capable of being split into two obtained from the bitstream and the information about the luma block size difference, the size of the luma maximum coding unit can be determined. Using the size of the luma maximum coding unit, the size of the chroma maximum coding unit can also be determined.
  • the maximum size of the luma coding block capable of binary splitting can be determined variably.
  • the maximum size of a luma coding block capable of ternary splitting can be fixed.
  • the maximum size of a luma coding block capable of ternary splitting in an I picture may be 32x32
  • the maximum size of a luma coding block capable of ternary splitting in a P picture or a B picture may be 64x64.
  • the maximum coding unit can be hierarchically divided into coding units based on the division shape mode information obtained from the bitstream.
  • the division shape mode information at least one of information indicating whether quad division is performed, information indicating whether multi-division is performed, division direction information, and division type information can be obtained from the bitstream.
  • information indicating whether a quad split is present may indicate whether the current encoding unit is to be quad split (QUAD_SPLIT) or not to be quad split.
  • the information indicating whether it is multi-split may indicate whether the current encoding unit will not be split any further (NO_SPLIT) or will be binary/ternary split.
  • the split direction information indicates that the current encoding unit is split in either the horizontal or vertical direction.
  • the split type information indicates that the current encoding unit is split into binary split or ternary split.
  • the split mode of the current encoding unit can be determined.
  • the split mode when the current encoding unit is split into binaries in the horizontal direction can be determined as binary horizontal split (SPLIT_BT_HOR), the split mode when the current encoding unit is split into ternary horizontal split (SPLIT_TT_HOR), the split mode when the current encoding unit is split into binaries in the vertical direction can be determined as binary vertical split (SPLIT_BT_VER), and the split mode when the current encoding unit is split into ternary vertical split (SPLIT_TT_VER).
  • the image decoding device (100) can obtain segmentation shape mode information from a bitstream from a single binstring.
  • the format of the bitstream received by the image decoding device (100) can include a fixed length binary code, a unary code, a truncated unary code, a predetermined binary code, etc.
  • the binstring represents information as a series of binary numbers.
  • the binstring can be composed of at least one bit.
  • the image decoding device (100) can obtain segmentation shape mode information corresponding to the binstring based on a segmentation rule.
  • the image decoding device (100) can determine whether to quad-segment an encoding unit, whether not to quad-segment, or the segmentation direction and segmentation type based on a single binstring.
  • the coding unit may be smaller than or equal to the maximum coding unit.
  • the maximum coding unit is also a coding unit with the maximum size, so it is a coding unit. If the split shape mode information for the maximum coding unit indicates that it is not split, the coding unit determined from the maximum coding unit has the same size as the maximum coding unit. If the split shape mode information for the maximum coding unit indicates that it is split, the maximum coding unit may be split into coding units. In addition, if the split shape mode information for the coding unit indicates splitting, the coding units may be split into coding units of smaller sizes. However, the splitting of the image is not limited thereto, and the maximum coding unit and the coding units may not be distinguished. The splitting of the coding unit is described in more detail with reference to FIGS. 3 to 16.
  • one or more prediction blocks for prediction may be determined from the coding unit.
  • the prediction blocks may be equal to or smaller than the coding unit.
  • one or more transformation blocks for transformation may be determined from the coding unit.
  • the transformation blocks may be equal to or smaller than the coding unit.
  • the shape and size of the transformation block and the prediction block may be unrelated.
  • prediction may be performed using the encoding unit as a prediction block. Transformation may also be performed using the encoding unit as a transform block.
  • the current block and neighboring blocks of the present disclosure may represent one of a maximum coding unit, a coding unit, a prediction block, and a transform block.
  • the current block or the current coding unit is a block currently being decoded or encoded, or a block currently being divided.
  • the neighboring block may be a block reconstructed before the current block.
  • the neighboring block may be spatially or temporally adjacent to the current block.
  • the neighboring block may be located on one of the lower left, left, upper left, upper right, upper right, right, and lower right sides of the current block.
  • FIG. 3 illustrates a process in which an image decoding device (100) divides a current encoding unit to determine at least one encoding unit according to one embodiment.
  • the shape of the encoding unit may include square and non-square.
  • the image decoding device (100) may determine the block shape information of the encoding unit as square.
  • the image decoding device (100) may determine the shape of the encoding unit as non-square.
  • the image decoding device (100) may determine the block shape information of the encoding unit to be non-square.
  • the image decoding device (100) may determine the ratio of the width and height among the block shape information of the encoding unit to be at least one of 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, and 32:1.
  • the image decoding device (100) can determine whether the encoding unit is in the horizontal or vertical direction. Additionally, based on at least one of the width length, height length, or area of the encoding unit, the image decoding device (100) can determine the size of the encoding unit.
  • the image decoding device (100) can determine the shape of an encoding unit using block shape information, and can determine the shape into which the encoding unit is divided using segmentation shape mode information. That is, the splitting method of the encoding unit indicated by the segmentation shape mode information can be determined depending on which block shape the block shape information used by the image decoding device (100) indicates.
  • the image decoding device (100) can obtain the segmentation shape mode information from the bitstream.
  • the present invention is not limited thereto, and the image decoding device (100) and the image encoding device (200) can determine the pre-agreed segmentation shape mode information based on the block shape information.
  • the image decoding device (100) can determine the pre-agreed segmentation shape mode information for the maximum coding unit or the minimum coding unit. For example, the image decoding device (100) can determine the segmentation shape mode information for the maximum coding unit as quad split.
  • the image decoding device (100) may use block shape information indicating that the current encoding unit is a square shape. For example, the image decoding device (100) may determine whether to not split a square encoding unit, to split it vertically, to split it horizontally, to split it into four encoding units, etc., according to the split shape mode information. Referring to FIG.
  • the decoding unit (120) may not split an encoding unit (310a) having the same size as the current encoding unit (300) according to the split shape mode information indicating that it is not split, or may determine a split encoding unit (310b, 310c, 310d, 310e, 310f, etc.) based on the split shape mode information indicating a predetermined splitting method.
  • the image decoding device (100) may determine two coding units (310b) by vertically dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is vertically divided, according to an embodiment.
  • the image decoding device (100) may determine two coding units (310c) by horizontally dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is horizontally divided, according to an embodiment.
  • the image decoding device (100) may determine four coding units (310d) by vertically and horizontally dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is vertically and horizontally divided, according to an embodiment.
  • the image decoding device (100) may determine three coding units (310e) by vertically dividing the current coding unit (300) based on the split shape mode information indicating that the current coding unit (300) is ternary divided, according to an embodiment.
  • the image decoding device (100) can determine three coding units (310f) into which the current coding unit (300) is horizontally divided based on the division shape mode information indicating that the ternary division is horizontally divided.
  • the division shapes into which a square coding unit can be divided should not be interpreted as being limited to the above-described shapes, and may include various shapes that can be indicated by the division shape mode information. Specified division shapes into which a square coding unit is divided will be specifically described below through various embodiments.
  • FIG. 4 illustrates a process in which an image decoding device (100) divides a non-square coding unit to determine at least one coding unit according to one embodiment.
  • the image decoding device (100) may utilize block shape information indicating that the current encoding unit is non-square.
  • the image decoding device (100) may determine whether to not split the current non-square encoding unit or to split it using a predetermined method based on the split shape mode information. Referring to FIG.
  • the image decoding device (100) may determine an encoding unit (410 or 460) having the same size as the current encoding unit (400 or 450) according to the split shape mode information indicating that it is not split, or may determine a split encoding unit (420a, 420b, 430a, 430b, 430c, 470a, 470b, 480a, 480b, 480c) based on the split shape mode information indicating a predetermined splitting method.
  • the predetermined splitting method by which a non-square encoding unit is split will be described in detail through various embodiments below.
  • the image decoding device (100) may determine a form in which an encoding unit is split using split form mode information, and in this case, the split form mode information may indicate the number of at least one encoding unit generated by splitting the encoding unit.
  • the image decoding device (100) may split the current encoding unit (400 or 450) based on the split form mode information to determine two encoding units (420a, 420b, or 470a, 470b) included in the current encoding unit.
  • the image decoding device (100) may split the current encoding unit by considering the position of the long side of the non-square current encoding unit (400 or 450). For example, the image decoding device (100) may split the current encoding unit (400 or 450) in a direction that splits the long side of the current encoding unit (400 or 450) by considering the shape of the current encoding unit (400 or 450) to determine a plurality of encoding units.
  • the image decoding device (100) may determine an odd number of coding units included in the current coding unit (400 or 450). For example, if the split shape mode information indicates that the current coding unit (400 or 450) is split into three coding units, the image decoding device (100) may split the current coding unit (400 or 450) into three coding units (430a, 430b, 430c, 480a, 480b, 480c).
  • the image decoding device (100) can divide the current encoding unit (400) in the horizontal direction to determine encoding units (430a, 430b, 430c). Also, if the current encoding unit (450) is in the horizontal direction, the image decoding device (100) can divide the current encoding unit (450) in the vertical direction to determine encoding units (480a, 480b, 480c).
  • the image decoding device (100) may determine an odd number of coding units included in the current coding unit (400 or 450), and the sizes of the determined coding units may not all be the same. For example, among the determined odd number of coding units (430a, 430b, 430c, 480a, 480b, 480c), the size of a given coding unit (430b or 480b) may have a different size from the other coding units (430a, 430c, 480a, 480c).
  • the encoding units into which the current encoding unit (400 or 450) can be divided and determined can have multiple types of sizes, and in some cases, an odd number of encoding units (430a, 430b, 430c, 480a, 480b, 480c) can each have different sizes.
  • the image decoding device (100) when the split shape mode information indicates that the coding unit is split into an odd number of blocks, the image decoding device (100) can determine an odd number of coding units included in the current coding unit (400 or 450), and further, the image decoding device (100) can place a predetermined restriction on at least one coding unit among the odd number of coding units generated by splitting. Referring to FIG.
  • the image decoding device (100) can perform a decoding process for a coding unit (430b, 480b) located in the center among three coding units (430a, 430b, 430c, 480a, 480b, 480c) generated by splitting the current coding unit (400 or 450) differently from the decoding process for other coding units (430a, 430c, 480a, 480c).
  • the image decoding device (100) can restrict the encoding unit (430b, 480b) located in the center from being split any further, unlike other encoding units (430a, 430c, 480a, 480c), or can restrict it to be split only a predetermined number of times.
  • FIG. 5 illustrates a process in which an image decoding device (100) divides an encoding unit based on at least one of block shape information and division shape mode information according to one embodiment.
  • the image decoding device (100) may determine whether to split or not to split a first coding unit (500) having a square shape into coding units based on at least one of block shape information and split shape mode information. According to one embodiment, when the split shape mode information indicates splitting the first coding unit (500) in the horizontal direction, the image decoding device (100) may split the first coding unit (500) in the horizontal direction to determine a second coding unit (510).
  • the first coding unit, the second coding unit, and the third coding unit used according to one embodiment are terms used to understand the relationship before and after splitting between coding units.
  • the second coding unit when the first coding unit is split, the second coding unit may be determined, and when the second coding unit is split, the third coding unit may be determined.
  • the relationship between the first coding unit, the second coding unit, and the third coding unit used may be understood to follow the above-described characteristics.
  • the image decoding device (100) may determine to split or not split the determined second encoding unit (510) into encoding units based on the split shape mode information. Referring to FIG. 5, the image decoding device (100) may split the first encoding unit (500) based on the split shape mode information to split the determined second encoding unit (510) of a non-square shape into at least one third encoding unit (520a, 520b, 520c, 520d, etc.) or may not split the second encoding unit (510).
  • the image decoding device (100) can obtain split shape mode information, and the image decoding device (100) can split the first encoding unit (500) based on the obtained split shape mode information to split a plurality of second encoding units (e.g., 510) of various shapes, and the second encoding unit (510) can be split according to the way in which the first encoding unit (500) is split based on the split shape mode information.
  • a plurality of second encoding units e.g., 510) of various shapes
  • the second encoding unit (510) can be split according to the way in which the first encoding unit (500) is split based on the split shape mode information.
  • the second encoding unit (510) when the first encoding unit (500) is split into the second encoding unit (510) based on the split shape mode information for the first encoding unit (500), the second encoding unit (510) can also be split into the third encoding unit (e.g., 520a, 520b, 520c, 520d, etc.) based on the split shape mode information for the second encoding unit (510). That is, the coding unit can be recursively split based on the split shape mode information associated with each coding unit. Accordingly, a square coding unit can be determined from a non-square coding unit, and such a square coding unit can be recursively split to determine a non-square coding unit.
  • the third encoding unit e.g., 520a, 520b, 520c, 520d, etc.
  • a predetermined coding unit e.g., a coding unit located in the middle or a coding unit having a square shape
  • the non-square third coding unit (520b) which is one of the odd number of third coding units (520b, 520c, 520d)
  • the non-square fourth coding unit (530b or 530d) which is one of the plurality of fourth coding units (530a, 530b, 530c, 530d), may be split again into a plurality of coding units.
  • the fourth coding unit (530b or 530d) having a non-square shape may be further divided into an odd number of coding units. Methods that can be used for recursive division of coding units will be described later through various embodiments.
  • the image decoding device (100) may split each of the third encoding units (520a, 520b, 520c, 520d, etc.) into encoding units based on the split shape mode information. In addition, the image decoding device (100) may determine not to split the second encoding unit (510) based on the split shape mode information. According to one embodiment, the image decoding device (100) may split the second encoding unit (510) having a non-square shape into an odd number of third encoding units (520b, 520c, 520d). The image decoding device (100) may place a predetermined restriction on a predetermined third encoding unit among the odd number of third encoding units (520b, 520c, 520d).
  • the image decoding device (100) can limit the encoding unit (520c) located in the middle among an odd number of third encoding units (520b, 520c, 520d) to not be divided any further or to be divided a settable number of times.
  • the image decoding device (100) may limit the coding unit (520c) located in the middle among the odd number of third coding units (520b, 520c, 520d) included in the second coding unit (510) having a non-square shape to not be split any further, or to be split in a predetermined split form (for example, to be split only into four coding units or to be split in a form corresponding to the split form of the second coding unit (510), or to be split only a predetermined number of times (for example, to be split only n times, where n>0).
  • the above limitations on the coding unit (520c) located in the middle are merely simple embodiments and should not be interpreted as being limited to the above-described embodiments, but should be interpreted as including various limitations in which the coding unit (520c) located in the middle can be decoded differently from the other coding units (520b, 520d).
  • the image decoding device (100) can obtain the segmentation shape mode information used to segment the current encoding unit from a predetermined location within the current encoding unit.
  • the split shape mode information of the current encoding unit (600, 650) can be obtained from a sample at a predetermined position among a plurality of samples included in the current encoding unit (600, 650) (for example, a sample (640, 690) located in the center).
  • the predetermined position within the current encoding unit (600) from which at least one of the split shape mode information can be obtained should not be interpreted as being limited to the center position illustrated in FIG. 6, but should be interpreted as including various positions (for example, top, bottom, left, right, upper left, lower left, upper right, or lower right, etc.) that can be included within the current encoding unit (600).
  • the image decoding device (100) can obtain the split shape mode information obtained from the predetermined position and determine whether or not to split the current encoding unit into encoding units of various shapes and sizes.
  • the image decoding device (100) may select one of the coding units when the current coding unit is divided into a predetermined number of coding units.
  • Various methods may be used to select one of the multiple coding units, and descriptions of such methods will be provided later through various embodiments.
  • the image decoding device (100) can divide the current encoding unit into a plurality of encoding units and determine an encoding unit at a predetermined position.
  • the image decoding device (100) may use information indicating the positions of each of the odd-numbered coding units to determine an coding unit located in the middle of the odd-numbered coding units. Referring to FIG. 6, the image decoding device (100) may divide the current coding unit (600) or the current coding unit (650) to determine odd-numbered coding units (620a, 620b, 620c) or odd-numbered coding units (660a, 660b, 660c).
  • the image decoding device (100) may use information about the positions of the odd-numbered coding units (620a, 620b, 620c) or odd-numbered coding units (660a, 660b, 660c) to determine the middle coding unit (620b) or the middle coding unit (660b). For example, the image decoding device (100) can determine the coding unit (620b) located in the center by determining the positions of the coding units (620a, 620b, 620c) based on information indicating the positions of predetermined samples included in the coding units (620a, 620b, 620c).
  • the image decoding device (100) can determine the coding unit (620b) located in the center by determining the positions of the coding units (620a, 620b, 620c) based on information indicating the positions of samples (630a, 630b, 630c) at the upper left of the coding units (620a, 620b, 620c).
  • information indicating the positions of the upper left samples (630a, 630b, 630c) included in each of the coding units (620a, 620b, 620c) may include information on the positions or coordinates of the coding units (620a, 620b, 620c) within the picture.
  • information indicating the positions of the upper left samples (630a, 630b, 630c) included in each of the coding units (620a, 620b, 620c) may include information indicating the width or height of the coding units (620a, 620b, 620c) included in the current coding unit (600), and this width or height may correspond to information indicating the difference between the coordinates of the coding units (620a, 620b, 620c) within the picture.
  • the image decoding device (100) can determine the encoding unit (620b) located in the center by directly using information about the positions or coordinates of the encoding units (620a, 620b, 620c) within the picture or by using information about the width or height of the encoding unit corresponding to the difference between the coordinates.
  • information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a) may represent (xa, ya) coordinates
  • information indicating the position of the sample (530b) at the upper left of the middle encoding unit (620b) may represent (xb, yb) coordinates
  • information indicating the position of the sample (630c) at the upper left of the lower encoding unit (620c) may represent (xc, yc) coordinates.
  • the image decoding device (100) may determine the middle encoding unit (620b) using the coordinates of the upper left samples (630a, 630b, 630c) included in the encoding units (620a, 620b, 620c), respectively.
  • the encoding unit (620b) including the coordinates (xb, yb) of the sample (630b) located in the center can be determined as the encoding unit located in the center among the encoding units (620a, 620b, 620c) determined by dividing the current encoding unit (600).
  • the coordinates indicating the position of the upper left samples (630a, 630b, 630c) can indicate coordinates indicating the absolute position within the picture, and further, based on the position of the upper left sample (630a) of the upper left coding unit (620a), the (dxb, dyb) coordinates, which are information indicating the relative position of the sample (630b) of the upper left of the middle coding unit (620b), and the (dxc, dyc) coordinates, which are information indicating the relative position of the sample (630c) of the upper left of the lower coding unit (620c), can be used.
  • the method of determining the coding unit of a given position by using the coordinates of the corresponding sample as information indicating the position of the sample included in the coding unit should not be interpreted as being limited to the above-described method, but should be interpreted as various arithmetic methods that can utilize the coordinates of the sample.
  • the image decoding device (100) may divide the current encoding unit (600) into a plurality of encoding units (620a, 620b, 620c), and select an encoding unit from among the encoding units (620a, 620b, 620c) according to a predetermined criterion. For example, the image decoding device (100) may select an encoding unit (620b) having a different size from among the encoding units (620a, 620b, 620c).
  • the image decoding device (100) may determine the width or height of each of the encoding units (620a, 620b, 620c) by using the (xa, ya) coordinate, which is information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a), the (xb, yb) coordinate, which is information indicating the position of the sample (630b) at the upper left of the middle encoding unit (620b), and the (xc, yc) coordinate, which is information indicating the position of the sample (630c) at the upper left of the lower encoding unit (620c).
  • the (xa, ya) coordinate which is information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a)
  • the (xb, yb) coordinate which is information indicating the position of the sample (630b) at the upper left of the middle encoding unit (620b)
  • the (xc, yc) coordinate which is information
  • the image decoding device (100) can determine the size of each of the encoding units (620a, 620b, 620c) using coordinates (xa, ya), (xb, yb), (xc, yc) indicating the positions of the encoding units (620a, 620b, 620c). According to one embodiment, the image decoding device (100) can determine the width of the upper encoding unit (620a) as the width of the current encoding unit (600). The image decoding device (100) can determine the height of the upper encoding unit (620a) as yb-ya.
  • the image decoding device (100) can determine the width of the middle encoding unit (620b) as the width of the current encoding unit (600).
  • the image decoding device (100) may determine the height of the middle encoding unit (620b) as yc-yb.
  • the image decoding device (100) may determine the width or height of the lower encoding unit using the width or height of the current encoding unit and the width and height of the upper encoding unit (620a) and the middle encoding unit (620b).
  • the image decoding device (100) may determine an encoding unit having a different size from other encoding units based on the width and height of the determined encoding units (620a, 620b, 620c).
  • the image decoding device (100) may determine the middle encoding unit (620b) having a different size from the sizes of the upper encoding unit (620a) and the lower encoding unit (620c) as an encoding unit at a predetermined position.
  • the process of determining an encoding unit having a different size from other encoding units by the above-described image decoding device (100) is only one embodiment of determining an encoding unit at a predetermined position using the size of the encoding unit determined based on sample coordinates, various processes of determining an encoding unit at a predetermined position by comparing the sizes of the encoding units determined according to predetermined sample coordinates may be used.
  • the image decoding device (100) can determine the width or height of each of the encoding units (660a, 660b, 660c) by using the (xd, yd) coordinate, which is information indicating the position of the sample (670a) at the upper left of the left encoding unit (660a), the (xe, ye) coordinate, which is information indicating the position of the sample (670b) at the upper left of the middle encoding unit (660b), and the (xf, yf) coordinate, which is information indicating the position of the sample (670c) at the upper left of the right encoding unit (660c).
  • the (xd, yd) coordinate which is information indicating the position of the sample (670a) at the upper left of the left encoding unit (660a
  • the (xe, ye) coordinate which is information indicating the position of the sample (670b) at the upper left of the middle encoding unit (660b)
  • the (xf, yf) coordinate which is information
  • the image decoding device (100) can determine the size of each of the encoding units (660a, 660b, 660c) by using the (xd, yd), (xe, ye), (xf, yf), which are coordinates indicating the positions of the encoding units (660a, 660b, 660c).
  • the image decoding device (100) may determine the width of the left encoding unit (660a) as xe-xd. The image decoding device (100) may determine the height of the left encoding unit (660a) as the height of the current encoding unit (650). According to one embodiment, the image decoding device (100) may determine the width of the middle encoding unit (660b) as xf-xe. The image decoding device (100) may determine the height of the middle encoding unit (660b) as the height of the current encoding unit (600).
  • the image decoding device (100) may determine the width or height of the right encoding unit (660c) using the width or height of the current encoding unit (650) and the widths and heights of the left encoding unit (660a) and the middle encoding unit (660b).
  • the image decoding device (100) can determine an encoding unit having a different size from other encoding units based on the width and height of the determined encoding units (660a, 660b, 660c). Referring to FIG.
  • the image decoding device (100) can determine a middle encoding unit (660b) having a different size from the sizes of the left encoding unit (660a) and the right encoding unit (660c) as an encoding unit at a predetermined position.
  • the process of the image decoding device (100) described above determining an encoding unit having a different size from other encoding units is merely an embodiment of determining an encoding unit at a predetermined position using the size of the encoding unit determined based on sample coordinates, and therefore, various processes of determining an encoding unit at a predetermined position by comparing the sizes of the encoding units determined according to predetermined sample coordinates can be used.
  • the location of the sample considered for determining the location of the encoding unit should not be interpreted as being limited to the upper left corner described above, and it can be interpreted that information on the location of any sample included in the encoding unit can be used.
  • the image decoding device (100) may select an encoding unit at a predetermined position from among an odd number of encoding units determined by splitting the current encoding unit, taking into consideration the shape of the current encoding unit. For example, if the current encoding unit has a non-square shape in which the width is longer than the height, the image decoding device (100) may determine an encoding unit at a predetermined position in the horizontal direction. That is, the image decoding device (100) may determine one of the encoding units whose positions vary in the horizontal direction and place a restriction on the corresponding encoding unit.
  • the image decoding device (100) may determine an encoding unit at a predetermined position in the vertical direction. That is, the image decoding device (100) may determine one of the encoding units whose positions vary in the vertical direction and place a restriction on the corresponding encoding unit.
  • the image decoding device (100) may use information indicating the positions of each of the even-numbered coding units to determine the coding unit at a predetermined position among the even-numbered coding units.
  • the image decoding device (100) may determine the even-numbered coding units by dividing the current coding unit (binary dividing) and may determine the coding unit at a predetermined position using information about the positions of the even-numbered coding units.
  • a specific process for this may be a process corresponding to the process of determining the coding unit at a predetermined position (e.g., the center position) among the odd-numbered coding units described above in FIG. 6, and thus will be omitted.
  • predetermined information about the encoding unit at a predetermined position may be used during the splitting process to determine an encoding unit at a predetermined position among the plurality of encoding units.
  • the image decoding device (100) may use at least one of block shape information and split shape mode information stored in a sample included in a middle encoding unit during the splitting process to determine an encoding unit located in the middle among the encoding units into which the current encoding unit is split.
  • the image decoding device (100) can split the current encoding unit (600) into a plurality of encoding units (620a, 620b, 620c) based on the split shape mode information, and can determine the encoding unit (620b) located in the middle among the plurality of encoding units (620a, 620b, 620c). Furthermore, the image decoding device (100) can determine the encoding unit (620b) located in the middle by considering the position where the split shape mode information is acquired.
  • the split shape mode information of the current encoding unit (600) can be obtained from a sample (640) located in the center of the current encoding unit (600), and when the current encoding unit (600) is split into a plurality of encoding units (620a, 620b, 620c) based on the split shape mode information, the encoding unit (620b) including the sample (640) can be determined as the encoding unit located in the center.
  • the information used to determine the encoding unit located in the center should not be interpreted as being limited to the split shape mode information, and various types of information can be used in the process of determining the encoding unit located in the center.
  • predetermined information for identifying a coding unit at a predetermined position may be obtained from a predetermined sample included in the coding unit to be determined.
  • the image decoding device (100) may use split shape mode information obtained from a sample at a predetermined position within the current coding unit (600) (e.g., a sample located at the center of the current coding unit (600)) to determine a coding unit at a predetermined position among a plurality of coding units (620a, 620b, 620c) determined by splitting the current coding unit (600) (e.g., a coding unit located at the center of the coding units split into multiple units).
  • the image decoding device (100) can determine the sample at the predetermined position by considering the block shape of the current encoding unit (600), and the image decoding device (100) can determine an encoding unit (620b) that includes a sample from which predetermined information (e.g., division shape mode information) can be obtained among a plurality of encoding units (620a, 620b, 620c) determined by dividing the current encoding unit (600), and can set a predetermined restriction.
  • predetermined information e.g., division shape mode information
  • the image decoding device (100) can determine a sample (640) located at the center of the current encoding unit (600) as a sample from which predetermined information can be obtained, and the image decoding device (100) can set a predetermined restriction on the encoding unit (620b) that includes such a sample (640) during the decoding process.
  • the location of the sample from which certain information can be obtained should not be interpreted as being limited to the above-described location, but may be interpreted as samples at any location included in the encoding unit (620b) to be determined in order to set a limitation.
  • the position of a sample from which predetermined information can be obtained may be determined according to the shape of the current encoding unit (600).
  • the block shape information may determine whether the shape of the current encoding unit is square or non-square, and may determine the position of a sample from which predetermined information can be obtained according to the shape.
  • the image decoding apparatus (100) may determine a sample located on a boundary that divides at least one of the width and height of the current encoding unit in half as a sample from which predetermined information can be obtained, using at least one of information about the width and information about the height of the current encoding unit.
  • the image decoding apparatus (100) may determine one of the samples adjacent to the boundary that divides the long side of the current encoding unit in half as a sample from which predetermined information can be obtained.
  • the image decoding device (100) may use the split shape mode information to determine the encoding unit at a predetermined position among the plurality of encoding units.
  • the image decoding device (100) may obtain the split shape mode information from a sample at a predetermined position included in the encoding unit, and the image decoding device (100) may divide the plurality of encoding units generated by splitting the current encoding unit using the split shape mode information obtained from the sample at a predetermined position included in each of the plurality of encoding units.
  • the encoding unit may be recursively divided using the split shape mode information obtained from the sample at a predetermined position included in each of the encoding units. Since the recursive division process of the encoding unit has been described above with reference to FIG. 5, a detailed description thereof will be omitted.
  • the image decoding device (100) can divide a current encoding unit to determine at least one encoding unit, and can determine the order in which the at least one encoding unit is decoded according to a predetermined block (e.g., the current encoding unit).
  • FIG. 7 illustrates the order in which multiple encoding units are processed when an image decoding device (100) divides a current encoding unit to determine multiple encoding units according to one embodiment.
  • the image decoding device (100) may determine second encoding units (710a, 710b) by vertically splitting the first encoding unit (700) according to the splitting shape mode information, determine second encoding units (730a, 730b) by horizontally splitting the first encoding unit (700), or determine second encoding units (750a, 750b, 750c, 750d) by vertically and horizontally splitting the first encoding unit (700).
  • the image decoding device (100) can determine the order in which the second encoding units (710a, 710b) determined by vertically dividing the first encoding unit (700) are processed in the horizontal direction (710c).
  • the image decoding device (100) can determine the order in which the second encoding units (730a, 730b) determined by horizontally dividing the first encoding unit (700) are processed in the vertical direction (730c).
  • the image decoding device (100) can determine the second encoding units (750a, 750b, 750c, 750d) determined by dividing the first encoding unit (700) in the vertical and horizontal directions according to a predetermined order (e.g., raster scan order (750e) or z scan order (z scan order)) in which encoding units located in one row are processed and then encoding units located in the next row are processed.
  • a predetermined order e.g., raster scan order (750e) or z scan order (z scan order)
  • the image decoding device (100) can recursively split the encoding units.
  • the image decoding device (100) can split the first encoding unit (700) to determine a plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d), and can recursively split each of the determined plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d).
  • a method for splitting a plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may be a method corresponding to a method for splitting the first coding unit (700). Accordingly, the plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may each be independently split into a plurality of coding units. Referring to FIG. 7, the image decoding device (100) may split the first coding unit (700) in the vertical direction to determine the second coding units (710a, 710b), and further may determine to independently split or not split each of the second coding units (710a, 710b).
  • the image decoding device (100) may horizontally divide the second encoding unit (710a) on the left into third encoding units (720a, 720b), and may not divide the second encoding unit (710b) on the right.
  • the processing order of the coding units may be determined based on the splitting process of the coding units.
  • the processing order of the split coding units may be determined based on the processing order of the coding units immediately before splitting.
  • the image decoding device (100) may determine the processing order of the third coding units (720a, 720b) determined by splitting the second coding unit (710a) on the left, independently from the second coding unit (710b) on the right. Since the second coding unit (710a) on the left is split horizontally and the third coding units (720a, 720b) are determined, the third coding units (720a, 720b) may be processed in the vertical direction (720c).
  • the right encoding unit (710b) can be processed after the third encoding units (720a, 720b) included in the second encoding unit (710a) on the left are processed in the vertical direction (720c). Since the above-described content is intended to explain the process in which the processing order of the encoding units is determined according to the encoding units before splitting, it should not be interpreted as being limited to the above-described embodiment, but should be interpreted as being used in various ways in which encoding units that are split and determined in various forms can be independently processed according to a predetermined order.
  • FIG. 8 illustrates a process for determining that a current encoding unit is divided into an odd number of encoding units when the encoding units cannot be processed in a predetermined order, according to one embodiment of the present invention.
  • the image decoding device (100) may determine that the current encoding unit is split into an odd number of encoding units based on the acquired split shape mode information.
  • a first encoding unit (800) having a square shape may be split into second encoding units (810a, 810b) having a non-square shape, and the second encoding units (810a, 810b) may each be independently split into third encoding units (820a, 820b, 820c, 820d, 820e).
  • the image decoding device (100) can determine a plurality of third encoding units (820a, 820b) by horizontally dividing the left encoding unit (810a) among the second encoding units, and can divide the right encoding unit (810b) into an odd number of third encoding units (820c, 820d, 820e).
  • the image decoding device (100) can determine whether there is an odd number of split encoding units by determining whether the third encoding units (820a, 820b, 820c, 820d, 820e) can be processed in a predetermined order. Referring to FIG. 8, the image decoding device (100) can determine the third encoding units (820a, 820b, 820c, 820d, 820e) by recursively splitting the first encoding unit (800).
  • the image decoding device (100) can determine whether the first encoding unit (800), the second encoding unit (810a, 810b), or the third encoding unit (820a, 820b, 820c, 820d, 820e) is divided into an odd number of encoding units based on at least one of the block shape information and the split shape mode information. For example, the encoding unit located on the right side of the second encoding unit (810a, 810b) can be divided into an odd number of third encoding units (820c, 820d, 820e).
  • the order in which the plurality of encoding units included in the first encoding unit (800) are processed can be a predetermined order (e.g., z-scan order (830)), and the image decoding device (100) can determine whether the third encoding unit (820c, 820d, 820e) determined by dividing the second encoding unit (810b) on the right into odd numbers satisfies the condition that it can be processed according to the predetermined order.
  • a predetermined order e.g., z-scan order (830)
  • the image decoding device (100) may determine whether the third encoding units (820a, 820b, 820c, 820d, 820e) included in the first encoding unit (800) satisfy a condition that they can be processed in a predetermined order, and the condition is related to whether at least one of the width and height of the second encoding unit (810a, 810b) is split in half according to the boundary of the third encoding unit (820a, 820b, 820c, 820d, 820e).
  • the third encoding unit (820a, 820b) determined by splitting the height of the left second encoding unit (810a) of a non-square shape in half may satisfy the condition.
  • the image decoding device (100) may determine that there is a disconnection in the scanning order, and may determine that the right second encoding unit (810b) is divided into an odd number of encoding units based on the determination result.
  • the image decoding device (100) may place a predetermined restriction on an encoding unit at a predetermined position among the divided encoding units when the encoding unit is divided into an odd number of encoding units. Since the contents of such restrictions or predetermined positions have been described above through various embodiments, a detailed description thereof will be omitted.
  • FIG. 9 illustrates a process in which an image decoding device (100) divides a first encoding unit (900) to determine at least one encoding unit according to one embodiment.
  • the image decoding device (100) may split the first coding unit (900) based on the split shape mode information acquired through the bitstream acquisition unit (110).
  • the first coding unit (900) having a square shape may be split into four coding units having a square shape or may be split into a plurality of coding units having a non-square shape.
  • the image decoding device (100) may split the first coding unit (900) into a plurality of non-square coding units.
  • the image decoding device (100) can split the first encoding unit (900) having a square shape into second encoding units (910a, 910b, 910c) determined by splitting them in the vertical direction into an odd number of encoding units or second encoding units (920a, 920b, 920c) determined by splitting them in the horizontal direction.
  • the image decoding device (100) can determine whether the second encoding units (910a, 910b, 910c, 920a, 920b, 920c) included in the first encoding unit (900) satisfy a condition that allows them to be processed in a predetermined order, and the condition is related to whether at least one of the width and height of the first encoding unit (900) is split in half according to the boundary of the second encoding units (910a, 910b, 910c, 920a, 920b, 920c). Referring to FIG.
  • the boundaries of the second coding units (910a, 910b, 910c) determined by vertically dividing the first coding unit (900) in a square shape do not divide the width of the first coding unit (900) in half, it may be determined that the first coding unit (900) does not satisfy the condition that it can be processed in a predetermined order.
  • the boundaries of the second coding units (920a, 920b, 920c) determined by horizontally dividing the first coding unit (900) in a square shape do not divide the height of the first coding unit (900) in half, it may be determined that the first coding unit (900) does not satisfy the condition that it can be processed in a predetermined order.
  • the image decoding device (100) may determine that the scan order is disconnected, and based on the determination result, may determine that the first encoding unit (900) is divided into an odd number of encoding units. According to one embodiment, the image decoding device (100) may place a predetermined restriction on an encoding unit at a predetermined position among the divided encoding units when the encoding unit is divided into an odd number of encoding units. Since the contents of such restrictions or predetermined positions, etc. have been described above through various embodiments, a detailed description thereof will be omitted.
  • the image decoding device (100) can divide the first encoding unit to determine encoding units of various shapes.
  • the image decoding device (100) can divide the first encoding unit (900) having a square shape and the first encoding unit (930 or 950) having a non-square shape into encoding units of various shapes.
  • FIG. 10 illustrates that, according to one embodiment, a video decoding device (100) limits the shapes into which a second encoding unit can be divided when a non-square shape of a second encoding unit determined by splitting a first encoding unit (1000) satisfies a predetermined condition.
  • the image decoding device (100) may determine to split a first coding unit (1000) having a square shape into second coding units (1010a, 1010b, 1020a, 1020b) having a non-square shape based on the split shape mode information acquired through the bitstream acquisition unit (110).
  • the second coding units (1010a, 1010b, 1020a, 1020b) may be split independently. Accordingly, the image decoding device (100) may determine to split or not split into a plurality of coding units based on the split shape mode information related to each of the second coding units (1010a, 1010b, 1020a, 1020b).
  • the second encoding unit on the right (1010b) is split in the same direction to determine the third encoding unit (1014a, 1014b)
  • the second encoding unit on the left (1010a) and the second encoding unit on the right (1010b) may be independently split in the horizontal direction to determine the third encoding unit (1012a, 1012b, 1014a, 1014b).
  • this is the same result as the image decoding device (100) splitting the first encoding unit (1000) into four square-shaped second encoding units (1030a, 1030b, 1030c, 1030d) based on the split shape mode information, which may be inefficient in terms of image decoding.
  • the image decoding device (100) may determine third coding units (1022a, 1022b, 1024a, 1024b) by vertically dividing a second coding unit (1020a or 1020b) having a non-square shape determined by dividing a first coding unit (1000) in a horizontal direction.
  • the image decoding device (100) vertically divides one of the second coding units (e.g., the upper second coding unit (1020a))
  • the other second coding units e.g., the lower coding unit (1020b)
  • FIG. 11 illustrates a process in which an image decoding device (100) divides a square-shaped encoding unit when the split shape mode information cannot indicate that the encoding unit is divided into four square-shaped encoding units according to one embodiment.
  • the image decoding device (100) may split the first encoding unit (1100) based on the split shape mode information to determine the second encoding units (1110a, 1110b, 1120a, 1120b, etc.).
  • the split shape mode information may include information about various shapes into which the encoding unit may be split, but the information about various shapes may not include information for splitting the encoding unit into four encoding units having a square shape. According to this split shape mode information, the image decoding device (100) cannot split the first encoding unit (1100) having a square shape into four second encoding units having a square shape (1130a, 1130b, 1130c, 1130d). Based on the segmentation shape mode information, the image decoding device (100) can determine a second encoding unit (1110a, 1110b, 1120a, 1120b, etc.) of a non-square shape.
  • the image decoding device (100) can independently split each of the second encoding units (1110a, 1110b, 1120a, 1120b, etc.) having a non-square shape.
  • Each of the second encoding units (1110a, 1110b, 1120a, 1120b, etc.) can be split in a predetermined order using a recursive method, which may be a splitting method corresponding to a method in which the first encoding unit (1100) is split based on splitting shape mode information.
  • the image decoding device (100) can determine third coding units (1112a, 1112b) having a square shape by splitting the left second coding unit (1110a) in the horizontal direction, and can determine third coding units (1114a, 1114b) having a square shape by splitting the right second coding unit (1110b) in the horizontal direction. Furthermore, the image decoding device (100) can also determine third coding units (1116a, 1116b, 1116c, 1116d) having a square shape by splitting both the left second coding unit (1110a) and the right second coding unit (1110b) in the horizontal direction. In this case, the encoding unit can be determined in the same form as the first encoding unit (1100) being divided into four square-shaped second encoding units (1130a, 1130b, 1130c, 1130d).
  • the image decoding device (100) may determine third coding units (1122a, 1122b) having a square shape by vertically splitting the upper second coding unit (1120a), and may determine third coding units (1124a, 1124b) having a square shape by vertically splitting the lower second coding unit (1120b). Furthermore, the image decoding device (100) may determine third coding units (1126a, 1126b, 1126a, 1126b) having a square shape by vertically splitting both the upper second coding unit (1120a) and the lower second coding unit (1120b). In this case, the encoding unit can be determined in the same form as the first encoding unit (1100) being divided into four square-shaped second encoding units (1130a, 1130b, 1130c, 1130d).
  • FIG. 12 illustrates that, according to one embodiment, the processing order between multiple encoding units may vary depending on the process of dividing the encoding units.
  • the image decoding device (100) may split the first encoding unit (1200) based on the split shape mode information. If the block shape is square and the split shape mode information indicates that the first encoding unit (1200) is split in at least one of the horizontal direction and the vertical direction, the image decoding device (100) may split the first encoding unit (1200) to determine second encoding units (e.g., 1210a, 1210b, 1220a, 1220b, etc.). Referring to FIG.
  • the second encoding units (1210a, 1210b, 1220a, 1220b) having a non-square shape determined by splitting the first encoding unit (1200) only in the horizontal direction or the vertical direction may be independently split based on the split shape mode information for each.
  • the image decoding device (100) can determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing second encoding units (1210a, 1210b) generated by vertically dividing the first encoding unit (1200), and can determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing second encoding units (1220a, 1220b) generated by horizontally dividing the first encoding unit (1200). Since the process of dividing the second encoding units (1210a, 1210b, 1220a, 1220b) has been described above with reference to FIG. 11, a detailed description thereof will be omitted.
  • the image decoding device (100) can process encoding units according to a predetermined order. Since the characteristics of processing encoding units according to a predetermined order have been described above with reference to FIG. 7, a detailed description thereof will be omitted. Referring to FIG. 12, the image decoding device (100) can divide a first encoding unit (1200) having a square shape and determine four third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the image decoding device (100) can determine the processing order of the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) depending on the form in which the first encoding unit (1200) is divided.
  • the image decoding device (100) may determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing the second encoding units (1210a, 1210b) generated by vertically dividing them, and the image decoding device (100) may process the third encoding units (1216a, 1216b, 1216c, 1216d) according to an order (1217) of first processing the third encoding units (1216a, 1216c) included in the left second encoding unit (1210a) in the vertical direction and then processing the third encoding units (1216b, 1216d) included in the right second encoding unit (1210b) in the vertical direction.
  • the image decoding device (100) may determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing the second encoding units (1220a, 1220b) generated by being divided in the horizontal direction, and the image decoding device (100) may process the third encoding units (1226a, 1226b, 1226c, 1226d) according to an order (1227) of first processing the third encoding units (1226a, 1226b) included in the upper second encoding unit (1220a) in the horizontal direction and then processing the third encoding units (1226c, 1226d) included in the lower second encoding unit (1220b) in the horizontal direction.
  • the second encoding units (1210a, 1210b, 1220a, 1220b) can be divided into third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the second encoding units (1210a, 1210b) determined by being split in the vertical direction and the second encoding units (1220a, 1220b) determined by being split in the horizontal direction are split into different shapes, but according to the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) determined later, the first encoding unit (1200) is ultimately split into encoding units of the same shape.
  • the image decoding device (100) determines encoding units of the same shape as a result by recursively splitting the encoding units through different processes based on the split shape mode information, it can process a plurality of encoding units determined in the same shape in different orders.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively divided to determine a plurality of encoding units according to one embodiment.
  • the image decoding device (100) may determine the depth of an encoding unit according to a predetermined criterion.
  • the predetermined criterion may be the length of a long side of the encoding unit. If the length of the long side of the current encoding unit is split to be 2n (n>0) times the length of the long side of the encoding unit before splitting, the image decoding device (100) may determine that the depth of the current encoding unit is increased by n compared to the depth of the encoding unit before splitting.
  • an encoding unit with an increased depth is expressed as an encoding unit of a lower depth.
  • the image decoding device (100) may divide a first coding unit (1300) having a square shape to determine a second coding unit (1302), a third coding unit (1304), etc. of a lower depth. If the size of the first coding unit (1300) having a square shape is 2Nx2N, the second coding unit (1302) determined by dividing the width and height of the first coding unit (1300) by half may have a size of NxN.
  • the third coding unit (1304) determined by dividing the width and height of the second coding unit (1302) by half may have a size of N/2xN/2.
  • the width and height of the third encoding unit (1304) correspond to 1/4 of the width and height of the first encoding unit (1300).
  • the depth of the second encoding unit (1302), which is 1/2 of the width and height of the first encoding unit (1300) may be D+1
  • the depth of the third encoding unit (1304), which is 1/4 of the width and height of the first encoding unit (1300) may be D+2.
  • the image decoding device (100) may split a first coding unit (1310 or 1320) having a non-square shape to determine a second coding unit (1312 or 1322), a third coding unit (1314 or 1324) of a lower depth, etc.
  • the image decoding device (100) can determine a second encoding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and height of the first encoding unit (1310) having a size of Nx2N. That is, the image decoding device (100) can split the first encoding unit (1310) in the horizontal direction to determine a second encoding unit (1302) having a size of NxN or a second encoding unit (1322) having a size of NxN/2, and can also split the first encoding unit (1310) in the horizontal direction and the vertical direction to determine a second encoding unit (1312) having a size of N/2xN.
  • a second encoding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a second coding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and the height of the first coding unit (1320) having a size of 2NxN. That is, the image decoding device (100) may split the first coding unit (1320) in the vertical direction to determine a second coding unit (1302) having a size of NxN or a second coding unit (1312) having a size of N/2xN, and may also split the first coding unit (1320) in the horizontal direction and the vertical direction to determine a second coding unit (1322) having a size of NxN/2.
  • a second coding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1302) having a size of NxN. That is, the image decoding device (100) may split the second encoding unit (1302) in the vertical direction and the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2, a third encoding unit (1314) having a size of N/4xN/2, or a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1312) having a size of N/2xN. That is, the image decoding device (100) may split the second encoding unit (1312) in the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1324) having a size of N/2xN/4, or split the second encoding unit (1312) in the vertical direction and the horizontal direction to determine a third encoding unit (1314) having a size of N/4xN/2.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1322) having a size of NxN/2. That is, the image decoding device (100) may split the second encoding unit (1322) in the vertical direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1314) having a size of N/4xN/2, or split the second encoding unit (1322) in the vertical direction and the horizontal direction to determine a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may split a square-shaped encoding unit (e.g., 1300, 1302, 1304) in a horizontal direction or a vertical direction.
  • a first encoding unit (1300) having a size of 2Nx2N may be split in the vertical direction to determine a first encoding unit (1310) having a size of Nx2N, or may be split in the horizontal direction to determine a first encoding unit (1320) having a size of 2NxN.
  • the depth of the encoding unit determined by splitting the first encoding unit (1300) having a size of 2Nx2N in the horizontal direction or the vertical direction may be the same as the depth of the first encoding unit (1300).
  • the width and height of the third coding unit may be 1/4 times that of the first coding unit (1310 or 1320).
  • the depth of the first coding unit (1310 or 1320) is D
  • the depth of the second coding unit (1312 or 1322), which is 1/2 times the width and height of the first coding unit (1310 or 1320) may be D+1
  • the depth of the third coding unit (1314 or 1324), which is 1/4 times the width and height of the first coding unit (1310 or 1320) may be D+2.
  • FIG. 14 illustrates an index (part index, hereinafter referred to as PID) for depth and encoding unit distinction that can be determined according to the shape and size of encoding units according to one embodiment.
  • PID part index
  • the image decoding device (100) may split a first encoding unit (1400) having a square shape to determine second encoding units of various shapes.
  • the image decoding device (100) may split the first encoding unit (1400) in at least one of a vertical direction and a horizontal direction according to the split shape mode information to determine second encoding units (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d).
  • the image decoding device (100) can determine the second encoding unit (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d) based on the split shape mode information for the first encoding unit (1400).
  • the depth of the second coding units (1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d) determined according to the split shape mode information for the first coding unit (1400) having a square shape may be determined based on the length of the long side.
  • the depth of the first coding unit (1400) and the second coding units (1402a, 1402b, 1404a, 1404b) having a non-square shape may be considered to be the same as D.
  • the image decoding device (100) divides the first encoding unit (1400) into four square-shaped second encoding units (1406a, 1406b, 1406c, 1406d) based on the split shape mode information
  • the length of one side of the square-shaped second encoding units (1406a, 1406b, 1406c, 1406d) is half the length of one side of the first encoding unit (1400), so the depth of the second encoding units (1406a, 1406b, 1406c, 1406d) may be a depth of D+1, which is one depth lower than D, the depth of the first encoding unit (1400).
  • the image decoding device (100) may split a first encoding unit (1410) having a height greater than its width into a plurality of second encoding units (1412a, 1412b, 1414a, 1414b, 1414c) in a horizontal direction according to the splitting shape mode information.
  • the image decoding device (100) may split a first encoding unit (1420) having a width greater than its height into a plurality of second encoding units (1422a, 1422b, 1424a, 1424b, 1424c) in a vertical direction according to the splitting shape mode information.
  • the depth of the second coding unit (1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c) determined based on the split shape mode information for the first coding unit (1410 or 1420) of a non-square shape may be determined based on the length of the long side.
  • the depth of the second encoding unit (1412a, 1412b) in the shape of a square is D+1, which is one depth lower than the depth D of the first encoding unit (1410) in the shape of a non-square.
  • the image decoding device (100) can split a non-square first encoding unit (1410) into an odd number of second encoding units (1414a, 1414b, 1414c) based on the split shape mode information.
  • the odd number of second encoding units (1414a, 1414b, 1414c) can include non-square second encoding units (1414a, 1414c) and square second encoding units (1414b).
  • the depth of the second encoding unit (1414a, 1414b, 1414c) may be a depth of D+1, which is one depth lower than D, which is the depth of the first encoding unit (1410).
  • the image decoding device (100) may determine the depth of the encoding units associated with the first encoding unit (1420) of a non-square shape, in which the width is longer than the height, in a manner corresponding to the above method of determining the depth of the encoding units associated with the first encoding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units divided into an odd number are not of the same size. Referring to FIG. 14, among the coding units (1414a, 1414b, 1414c) divided into an odd number, the coding unit (1414b) located in the middle may have the same width as the other coding units (1414a, 1414c) but may have a height that is twice the height of the coding units (1414a, 1414c) that are different in height.
  • the coding unit (1414b) located in the middle may include two of the other coding units (1414a, 1414c). Accordingly, if the index (PID) of the encoding unit (1414b) located in the middle according to the scanning order is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2. In other words, there may be a discontinuity in the index value. According to one embodiment, the image decoding device (100) may determine whether the encoding units divided into an odd number are not of the same size based on the presence or absence of discontinuity in the index for distinguishing between the divided encoding units.
  • the image decoding device (100) may determine whether the image is divided into a specific split shape based on the value of an index for distinguishing a plurality of coding units that are divided from the current coding unit.
  • the image decoding device (100) may divide a first coding unit (1410) having a rectangular shape in which the height is longer than the width, to determine an even number of coding units (1412a, 1412b) or an odd number of coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may use an index (PID) indicating each coding unit to distinguish each of the plurality of coding units.
  • the PID may be obtained from a sample (for example, an upper left sample) at a predetermined position of each coding unit.
  • the image decoding device (100) may determine an coding unit at a predetermined position among the coding units that are divided and determined using an index for distinguishing the coding units.
  • the image decoding device (100) may divide the first coding unit (1410) into three coding units (1414a, 1414b, 1414c). The image decoding device (100) may assign an index to each of the three coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may compare the indexes for each coding unit to determine the middle coding unit among the coding units divided into an odd number of coding units.
  • the image decoding device (100) may determine a coding unit (1414b) having an index corresponding to a middle value among the indices of the coding units as a coding unit at a middle position among the coding units determined by splitting the first coding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units do not have the same size. Referring to FIG.
  • the coding unit (1414b) generated by splitting the first coding unit (1410) may have the same width as other coding units (1414a, 1414c) but may be twice the height of the coding units (1414a, 1414c) that are different in height.
  • the index (PID) of the encoding unit (1414b) located in the middle is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2.
  • the image decoding device (100) may determine that the current encoding unit is divided into a plurality of encoding units including encoding units having different sizes from other encoding units.
  • the image decoding device (100) may divide the current encoding unit into a form in which an encoding unit at a predetermined position among the odd number of encoding units (for example, a central encoding unit) has a different size from the other encoding units. In this case, the image decoding device (100) may determine a central encoding unit having a different size by using the index (PID) for the encoding unit.
  • PID index
  • the above-described index, the size or position of the encoding unit at the predetermined position to be determined are specific for explaining one embodiment and should not be interpreted as being limited thereto, and should be interpreted as being able to use various indexes, positions and sizes of encoding units.
  • the image decoding device (100) may utilize a predetermined data unit from which recursive division of the encoding unit begins.
  • FIG. 15 illustrates that a plurality of coding units are determined according to a plurality of predetermined data units included in a picture according to one embodiment.
  • a predetermined data unit may be defined as a data unit from which a coding unit begins to be recursively split using split shape mode information. That is, it may correspond to a coding unit of the highest depth used in the process of determining multiple coding units for splitting the current picture.
  • this predetermined data unit will be referred to as a reference data unit hereinafter.
  • the reference data unit may exhibit a predetermined size and shape.
  • the reference data unit may include MxN samples, where M and N may be the same and may be integers expressed as powers of 2. That is, the reference data unit may exhibit a square or non-square shape, and may be subsequently divided into an integer number of coding units.
  • the video decoding device (100) can divide the current picture into a plurality of reference data units. According to one embodiment, the video decoding device (100) can divide the plurality of reference data units into which the current picture is divided using division type mode information for each reference data unit. This division process of the reference data units can correspond to a division process using a quad-tree structure.
  • the image decoding device (100) may determine in advance the minimum size that a reference data unit included in the current picture may have. Accordingly, the image decoding device (100) may determine reference data units of various sizes having a size greater than or equal to the minimum size, and may determine at least one encoding unit using segmentation mode information based on the determined reference data unit.
  • the image decoding device (100) may use a reference coding unit (1500) having a square shape, or may use a reference coding unit (1502) having a non-square shape.
  • the shape and size of the reference coding unit may be determined according to various data units (e.g., sequence, picture, slice, slice segment, tile, tile group, maximum coding unit, etc.) that may include at least one reference coding unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire at least one of information on the shape of the reference coding unit and information on the size of the reference coding unit from the bitstream for each of the various data units.
  • the process of determining at least one coding unit included in the square-shaped reference coding unit (1500) has been described above through the process of splitting the current coding unit (300) of FIG. 3, and the process of determining at least one coding unit included in the non-square-shaped reference coding unit (1502) has been described above through the process of splitting the current coding unit (400 or 450) of FIG. 4, so a detailed description thereof will be omitted.
  • the image decoding device (100) may use an index for identifying the size and shape of the reference coding unit to determine the size and shape of the reference coding unit according to some data units that are predetermined based on a predetermined condition. That is, the bitstream acquisition unit (110) may acquire only an index for identifying the size and shape of the reference coding unit for each slice, slice segment, tile, tile group, maximum coding unit, etc., among the various data units (e.g., sequences, pictures, slices, slice segments, tiles, tile groups, maximum coding units, etc.) that satisfy a predetermined condition (e.g., data units having a size smaller than a slice) from the bitstream.
  • a predetermined condition e.g., data units having a size smaller than a slice
  • the image decoding device (100) may determine the size and shape of the reference data unit for each data unit that satisfies the predetermined condition by using the index.
  • the efficiency of the bitstream may not be good. Therefore, instead of directly obtaining information about the shape of the reference coding unit and information about the size of the reference coding unit, only the index may be obtained and used. In this case, at least one of the size and shape of the reference coding unit corresponding to the index indicating the size and shape of the reference coding unit may be determined in advance.
  • the image decoding device (100) can determine at least one of the size and shape of the reference coding unit included in the data unit that serves as the basis for obtaining the index by selecting at least one of the sizes and shapes of the predetermined reference coding units according to the index.
  • the image decoding device (100) may use at least one reference coding unit included in one maximum coding unit (1510). That is, a maximum coding unit for dividing an image may include at least one reference coding unit, and a coding unit may be determined through a recursive splitting process of each reference coding unit. According to one embodiment, at least one of the width and the height of the maximum coding unit may correspond to an integer multiple of at least one of the width and the height of the reference coding unit. According to one embodiment, the size of the reference coding unit may be a size obtained by splitting the maximum coding unit n times according to a quad tree structure.
  • the image decoding device (100) may split the maximum coding unit n times according to the quad tree structure to determine the reference coding unit, and may split the reference coding unit based on at least one of block shape information and split shape mode information according to various embodiments.
  • the video decoding device (100) may obtain and use block shape information indicating the shape of the current encoding unit or split shape mode information indicating a method of splitting the current encoding unit from the bitstream.
  • the split shape mode information may be included in a bitstream related to various data units.
  • the video decoding device (100) may use split shape mode information included in a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) may obtain and use a syntax element corresponding to block shape information or split shape mode information from the bitstream for each maximum encoding unit and each reference encoding unit.
  • the video decoding device (100) can determine a segmentation rule of the video.
  • the segmentation rule may be predetermined between the video decoding device (100) and the video encoding device (200).
  • the video decoding device (100) can determine the segmentation rule of the video based on information obtained from a bitstream.
  • the video decoding device (100) can determine the segmentation rule based on information obtained from at least one of a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) can determine the segmentation rule differently according to a frame, a slice, a tile, a temporal layer, a maximum coding unit, or an coding unit.
  • the image decoding device (100) can determine a segmentation rule based on the block shape of the encoding unit.
  • the block shape can include the size, shape, width and height ratio, and direction of the encoding unit.
  • the image encoding device (200) and the image decoding device (100) can determine in advance that the segmentation rule will be determined based on the block shape of the encoding unit.
  • the present invention is not limited thereto.
  • the image decoding device (100) can determine the segmentation rule based on information obtained from the bitstream received from the image encoding device (200).
  • the shape of the encoding unit may include a square and a non-square shape. If the width and height of the encoding unit are equal, the image decoding device (100) may determine the shape of the encoding unit as a square. In addition, if the width and height of the encoding unit are not equal, the image decoding device (100) may determine the shape of the encoding unit as a non-square shape.
  • the size of the coding unit may include various sizes such as 4x4, 8x4, 4x8, 8x8, 16x4, 16x8, ..., 256x256.
  • the size of the coding unit may be classified according to the length of the long side, the length of the short side, or the area of the coding unit.
  • the image decoding device (100) may apply the same splitting rule to the coding units classified into the same group. For example, the image decoding device (100) may classify the coding units having the same long side length into the same size. In addition, the image decoding device (100) may apply the same splitting rule to the coding units having the same long side length.
  • the ratio of the width to the height of the coding unit may include 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1, or 1:32, etc.
  • the direction of the coding unit may include a horizontal direction and a vertical direction.
  • the horizontal direction may indicate a case where the length of the width of the coding unit is longer than the length of the height.
  • the vertical direction may indicate a case where the length of the width of the coding unit is shorter than the length of the height.
  • the image decoding device (100) can adaptively determine a splitting rule based on the size of the encoding unit.
  • the image decoding device (100) can determine a different allowable splitting mode based on the size of the encoding unit. For example, the image decoding device (100) can determine whether splitting is allowed based on the size of the encoding unit.
  • the image decoding device (100) can determine a splitting direction based on the size of the encoding unit.
  • the image decoding device (100) can determine an allowable splitting type based on the size of the encoding unit.
  • Determining the splitting rule based on the size of the encoding unit may be a splitting rule predetermined between the image encoding device (200) and the image decoding device (100).
  • the image decoding device (100) may determine the splitting rule based on information obtained from the bitstream.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position of the encoding unit.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position that the encoding unit occupies in the image.
  • the image decoding device (100) can determine a splitting rule so that encoding units generated through different splitting paths do not have the same block shape. However, this is not limited thereto, and encoding units generated through different splitting paths may have the same block shape. Encoding units generated through different splitting paths may have different decoding processing orders. Since the decoding processing order has been described together with FIG. 12, a detailed description thereof will be omitted.
  • FIG. 16 illustrates encoding units that can be determined for each picture when the combination of forms into which encoding units can be divided is different for each picture according to one embodiment.
  • the image decoding device (100) can determine a different combination of partitioning shapes into which a coding unit can be partitioned for each picture. For example, the image decoding device (100) can decode an image using a picture (1600) that can be partitioned into four coding units, a picture (1610) that can be partitioned into two or four coding units, and a picture (1620) that can be partitioned into two, three, or four coding units, among at least one picture included in the image.
  • the image decoding device (100) can only use partitioning shape information indicating that the picture (1600) is partitioned into four square coding units to partition the picture (1600) into a plurality of coding units.
  • the image decoding device (100) can only use partitioning shape information indicating that the picture (1610) is partitioned into two or four coding units to partition the picture.
  • the video decoding device (100) can only use the segmentation type information indicating that the picture (1620) is segmented into two, three, or four encoding units.
  • the above-described combination of segmentation types is merely an example for explaining the operation of the video decoding device (100), and therefore the above-described combination of segmentation types should not be interpreted as being limited to the above-described example, but should be interpreted as being capable of using various combinations of segmentation types for each predetermined data unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire a bitstream including an index indicating a combination of segmentation type information for each predetermined data unit (e.g., a sequence, a picture, a slice, a slice segment, a tile, a tile group, etc.).
  • the bitstream acquisition unit (110) can acquire an index indicating a combination of segmentation type information from a sequence parameter set, a picture parameter set, a slice header, a tile header, or a tile group header.
  • the image decoding device (100) can determine a combination of segmentation types into which an encoding unit can be segmented for each predetermined data unit using the acquired index, and thus can use different combinations of segmentation types for each predetermined data unit.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split an encoding unit into various shapes using block shape information and split shape mode information acquired through the bitstream acquisition unit (110).
  • the shapes of the encoding unit that can be split may correspond to various shapes including the shapes described through the above-described embodiments.
  • the image decoding device (100) can split a square-shaped encoding unit in at least one of the horizontal direction and the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction.
  • the image decoding device (100) when the image decoding device (100) can divide a square-shaped encoding unit into four square encoding units by horizontally and vertically splitting the encoding unit, there may be four types of splitting modes that the splitting mode information for the square encoding unit can indicate.
  • the splitting mode information may be expressed as a two-digit binary code, and a binary code may be assigned to each splitting mode.
  • the splitting mode information when the encoding unit is not split, the splitting mode information may be expressed as (00)b, when the encoding unit is split in the horizontal direction and the vertical direction, the splitting mode information may be expressed as (01)b, when the encoding unit is split in the horizontal direction, the splitting mode information may be expressed as (10)b, and when the encoding unit is split in the vertical direction, the splitting mode information may be expressed as (11)b.
  • the type of split shape that the split shape mode information can indicate may be determined depending on the number of coding units into which the coding unit is split.
  • the image decoding device (100) may split a non-square coding unit into up to three according to one embodiment.
  • the image decoding device (100) may split the coding unit into two coding units, in which case the split shape mode information may be expressed as (10)b.
  • the image decoding device (100) may split the coding unit into three coding units, in which case the split shape mode information may be expressed as (11)b.
  • the image decoding device (100) may determine not to split the coding unit, in which case the split shape mode information may be expressed as (0)b. That is, the image decoding device (100) can use variable length coding (VLC) rather than fixed length coding (FLC) to use a binary code representing segmentation mode information.
  • VLC variable length coding
  • FLC fixed length coding
  • the binary code of the partition shape mode information indicating that the coding unit is not split may be expressed as (0)b. If the binary code of the partition shape mode information indicating that the coding unit is not split is set to (00)b, all binary codes of the 2-bit partition shape mode information must be used even if there is no partition shape mode information set to (01)b. However, as illustrated in FIG. 17, if three partition shapes for a non-square coding unit are used, the image decoding device (100) can determine that the coding unit is not split even if it uses a 1-bit binary code (0)b as the partition shape mode information, and thus can efficiently use the bitstream. However, the partition shapes of the non-square coding unit indicated by the partition shape mode information should not be interpreted as being limited to only the three shapes illustrated in FIG. 17, but should be interpreted as various shapes including the above-described embodiments.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split a square-shaped encoding unit in the horizontal direction or the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction. That is, the split shape mode information can indicate that a square-shaped encoding unit is split in one direction.
  • the binary code of the split shape mode information indicating that a square-shaped encoding unit is not split can be expressed as (0)b. If the binary code of the split shape mode information indicating that the encoding unit is not split is set to (00)b, all binary codes of the 2-bit split shape mode information must be used even though there is no split shape mode information set to (01)b. However, as illustrated in FIG.
  • the image decoding device (100) can determine that the encoding unit is not divided even if it uses a 1-bit binary code (0)b as the division form mode information, and thus can efficiently use the bitstream.
  • the division forms of the square-shaped encoding unit indicated by the division form mode information should not be interpreted as being limited to only the three types illustrated in FIG. 18, but should be interpreted as various types including the embodiments described above.
  • block shape information or segmentation shape mode information may be expressed using binary code, and such information may be directly generated as a bitstream.
  • block shape information or segmentation shape mode information that may be expressed using binary code may not be directly generated as a bitstream, but may instead be used as a binary code input into CABAC (context adaptive binary arithmetic coding).
  • the image decoding device (100) describes a process of obtaining syntax for block shape information or segmentation shape mode information through CABAC.
  • a bitstream including a binary code for the syntax can be obtained through a bitstream obtaining unit (110).
  • the image decoding device (100) can detect a syntax element indicating block shape information or segmentation shape mode information by de-binarizing a bin string included in the obtained bitstream.
  • the image decoding device (100) can obtain a set of binary bin strings corresponding to syntax elements to be decoded, and decode each bin using probability information, and the image decoding device (100) can repeat the process until a bin string composed of the decoded bins becomes equal to one of the previously obtained bin strings.
  • the image decoding device (100) can determine syntax elements by performing inverse binarization of an empty string.
  • the image decoding device (100) may perform a decoding process of adaptive binary arithmetic coding to determine a syntax for a bin string, and the image decoding device (100) may update a probability model for bins acquired through the bitstream acquisition unit (110).
  • the bitstream acquisition unit (110) of the image decoding device (100) may acquire a bitstream representing a binary code representing segmentation mode information according to one embodiment.
  • the image decoding device (100) may determine a syntax for the segmentation mode information.
  • the image decoding device (100) may update a probability for each bit of the 2-bit binary code. That is, the image decoding device (100) can update the probability of having a value of 0 or 1 when decoding the next bin, depending on whether the value of the first bin among the 2-bit binary codes is 0 or 1.
  • the image decoding device (100) may, in the process of determining the syntax, update the probability for the bins used in the process of decoding the bins of the empty string for the syntax, and the image decoding device (100) may determine that certain bits among the empty strings have the same probability without updating the probability.
  • the image decoding device (100) may determine the syntax for the split shape mode information using one bin having a value of 0 when the non-square coding unit is not split. That is, when the block shape information indicates that the current coding unit is a non-square shape, the first bin of the empty string for the split shape mode information may be 0 when the non-square coding unit is not split, and may be 1 when it is split into 2 or 3 coding units. Accordingly, the probability that the first bin of the empty string of the split shape mode information for the non-square coding unit is 0 may be 1/3, and the probability that it is 1 may be 2/3.
  • the image decoding device (100) can only express a 1-bit empty string having a value of 0 for the partition shape mode information indicating that a non-square-shaped encoding unit is not partitioned, so the image decoding device (100) can determine the syntax for the partition shape mode information by determining whether the second bin is 0 or 1 only when the first bin of the partition shape mode information is 1. According to one embodiment, the image decoding device (100) can decode the bin by considering that the probability that the second bin is 0 or 1 when the first bin for the partition shape mode information is 1 is the same probability.
  • the image decoding device (100) may use various probabilities for each bin in the process of determining a bin of a bin string for the partition shape mode information. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the direction of a non-square block. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the area or the length of the long side of the current encoding unit. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on at least one of the shape and the length of the long side of the current encoding unit.
  • the image decoding device (100) may determine that the bin probability for the segmentation shape mode information is the same for encoding units of a predetermined size or larger.
  • the bin probability for the segmentation shape mode information may be determined to be the same for encoding units of a size of 64 samples or larger based on the length of the long side of the encoding unit.
  • the image decoding device (100) may determine the initial probability for bins constituting the empty string of the segmentation shape mode information based on the slice type (e.g., I slice, P slice, or B slice).
  • the slice type e.g., I slice, P slice, or B slice.
  • Figure 19 is a block diagram of an image encoding and decoding system that performs loop filtering.
  • the encoding unit (1910) of the image encoding and decoding system (1900) transmits an encoded bitstream of an image, and the decoding unit (1950) receives the bitstream and decodes it to output a restored image.
  • the encoding unit (1910) may have a configuration similar to that of the image encoding device (200) described below, and the decoding unit (1950) may have a configuration similar to that of the image decoding device (100).
  • the prediction encoding unit (1915) outputs prediction data through inter prediction and intra prediction
  • the transformation and quantization unit (1920) outputs quantized transformation coefficients of residual data between the prediction data and the current input image.
  • the entropy encoding unit (1925) encodes and transforms the quantized transformation coefficients and outputs them as a bitstream.
  • the quantized transformation coefficients are restored to spatial domain data through the inverse quantization and inverse transformation unit (1930), and the restored spatial domain data are output as a restored image through the deblocking filtering unit (1935) and the loop filtering unit (1940).
  • the restored image can be used as a reference image of the next input image through the prediction encoding unit (1915).
  • the encoded image data among the bitstreams received by the decoding unit (1950) is restored to residual data in the spatial domain through the entropy decoding unit (1955) and the inverse quantization and inverse transformation unit (1960).
  • the prediction data and residual data output from the prediction decoding unit (1975) are combined to form image data in the spatial domain, and the deblocking filtering unit (1965) and the loop filtering unit (1970) can perform filtering on the image data in the spatial domain to output a restored image for the current original image.
  • the restored image can be used as a reference image for the next original image by the prediction decoding unit (1975).
  • the loop filtering unit (1940) of the encoding unit (1910) performs loop filtering using filter information input according to user input or system settings.
  • the filter information used by the loop filtering unit (1940) is output to the entropy encoding unit (1925) and transmitted to the decoding unit (1950) together with the encoded image data.
  • the loop filtering unit (1970) of the decoding unit (1950) can perform loop filtering based on the filter information input from the decoding unit (1950).
  • FIG. 2 illustrates a block diagram of an image encoding device (200) capable of encoding an image based on at least one of block shape information and segmentation shape mode information according to one embodiment.
  • the video encoding device (200) may include an encoding unit (220) and a bitstream generation unit (210).
  • the encoding unit (220) may receive an input image and encode the input image.
  • the encoding unit (220) may encode the input image to obtain at least one syntax element.
  • the syntax element may include at least one of a skip flag, a prediction mode, a motion vector difference, a motion vector prediction method (or index), a transform quantized coefficient, a coded block pattern, a coded block flag, an intra prediction mode, a direct flag, a merge flag, a delta QP, a reference index, a prediction direction, and a transform index.
  • the encoding unit (220) may determine a context model based on block shape information including at least one of a shape, a direction, a ratio of width and height, or a size of an encoding unit.
  • the bitstream generation unit (210) can generate a bitstream based on an encoded input image.
  • the bitstream generation unit (210) can generate a bitstream by entropy encoding syntax elements based on a context model.
  • the image encoding device (200) can transmit the bitstream to the image decoding device (100).
  • the encoding unit (220) of the image encoding device (200) can determine the shape of an encoding unit.
  • the encoding unit may be square or have a non-square shape, and information indicating such shape may be included in the block shape information.
  • the encoding unit (220) can determine the shape into which the encoding unit is to be split.
  • the encoding unit (220) can determine the shape of at least one encoding unit included in the encoding unit, and the bitstream generation unit (210) can generate a bitstream including split shape mode information including information about the shape of such encoding unit.
  • the encoder (220) may determine whether the encoding unit is split or not. If the encoder (220) determines that the encoding unit includes only one encoding unit or that the encoding unit is not split, the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is not split. In addition, the encoder (220) may split the encoding unit into a plurality of encoding units, and the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is split into a plurality of encoding units.
  • the splitting mode information may indicate splitting in at least one of the vertical and horizontal directions, or may indicate no splitting.
  • the video encoding device (200) determines information about the segmentation shape mode based on the segmentation shape mode of the encoding unit.
  • the video encoding device (200) determines a context model based on at least one of the shape, direction, width, and height ratio or size of the encoding unit. Then, the video encoding device (200) generates information about the segmentation shape mode for segmenting the encoding unit based on the context model as a bitstream.
  • the video encoding device (200) may obtain an array for matching at least one of the shape, direction, width and height ratio or size of the encoding unit with an index for the context model.
  • the video encoding device (200) may obtain an index for the context model based on at least one of the shape, direction, width and height ratio or size of the encoding unit in the array.
  • the video encoding device (200) may determine the context model based on the index for the context model.
  • the video encoding device (200) may further determine the context model based on block shape information including at least one of the shape, direction, width, and height ratio or size of a neighboring encoding unit adjacent to the encoding unit, in order to determine the context model.
  • the neighboring encoding unit may include at least one of encoding units located on the lower left, left, upper left, upper right, right, or lower right of the encoding unit.
  • the video encoding device (200) may compare the length of the width of the upper peripheral encoding unit with the length of the width of the encoding unit to determine the context model. In addition, the video encoding device (200) may compare the length of the height of the left and right peripheral encoding units with the length of the height of the encoding unit. In addition, the video encoding device (200) may determine the context model based on the comparison results.
  • the operation of the video encoding device (200) includes similar contents to the operation of the video decoding device (100) described in FIGS. 3 to 19, a detailed description is omitted.
  • FIG. 20 is a block diagram illustrating the configuration of an image decoding device (2000) according to one embodiment.
  • the image decoding device (2000) may include a memory (2010) and a processor (2030).
  • the memory (2010) and the processor (2030) of the present disclosure may be implemented with at least one memory and at least one processor, respectively.
  • the operations of the bitstream acquisition unit (110), the decoding unit (120) illustrated in FIG. 1, and the entropy decoding unit (1955) and the prediction decoding unit (1975) illustrated in FIG. 19 may be implemented according to instructions called by at least one process.
  • the image decoding device (2000) may include a storage medium that stores input/output data of at least one of the bitstream acquisition unit (110), the decoding unit (120) illustrated in FIG. 1, and the entropy decoding unit (1955) and the prediction decoding unit (1975) illustrated in FIG. 19.
  • the storage medium may be included in the memory (2010) or may be a storage medium different from the memory (2010).
  • the image decoding device (2000) may include a storage medium control unit that controls data input/output of the storage medium.
  • the storage medium control unit may be included in the processor (2030), or may be a control unit different from the processor (2030).
  • an image decoding device (2000) can obtain a bitstream generated as a result of encoding an image.
  • the bitstream may include encoded data generated by encoding a current block.
  • the encoded data included in the bitstream may be used to reconstruct the current block.
  • the current block may be a maximum coding unit, coding unit, transformation unit, or prediction unit segmented from the current image to be decoded.
  • the video decoding device (2000) can determine a current block based on information associated with a block included in a bitstream corresponding to at least one level of a sequence parameter set, a picture parameter set, a video parameter set, a slice header, and a slice segment header, and/or information about a block segmentation mode.
  • the image decoding device (2000) can receive a bitstream from the image encoding device via a network.
  • the image decoding device (2000) can obtain a bitstream from a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • an image decoding device (2000) can obtain syntax elements for decoding an image from a bitstream. Values corresponding to the syntax elements can be included in the bitstream according to the hierarchical structure of the image.
  • an image decoding device (2000) can obtain bins of syntax elements by parsing bits included in a bitstream.
  • the parsing process can include at least one of entropy decoding and inverse binarization.
  • a bitstream may include prediction information of a current block.
  • the prediction information may include at least one of information about a prediction mode of a current block in a current image, information about a reference picture list used for inter prediction of the current block (e.g., information about an index indicating whether a first reference picture list (L0) is used, a second reference picture list (L1) is used, or bi-prediction (LO and L1) is used), information about a reference picture index, information about a motion vector predictor, and information about a motion vector difference.
  • the prediction information may include all information for reconstructing the current block through inter prediction.
  • the prediction information may include at least one of information regarding the intra-prediction mode of the current block and information indicating how the intra-prediction mode is determined. Furthermore, without being limited to the disclosed example, the prediction information may include all information required to restore the current block through intra-prediction.
  • the bitstream may include information indicating the prediction mode of the current block within the current image.
  • the prediction mode of the current block may include an intra mode, an inter mode, etc.
  • Intra mode is an operation of predicting a block based on spatial similarity, and is a mode in which the current block is predicted or restored based on spatial similarity within the current image
  • inter mode is a mode in which the current block is predicted or restored based on a reference image to reduce temporal redundancy between images.
  • the image decoding device (2000) can perform intra prediction or inter prediction on the current block according to the prediction mode of the current block to generate a prediction block of the current block, and restore the current block using the prediction block.
  • the image decoding device (2000) can obtain information about the intra prediction mode of the current block from the bitstream when the prediction mode of the current block is the intra mode.
  • information about the intra prediction mode of the current block may include information indicating a method for determining the intra prediction mode.
  • the method for determining the intra prediction mode may include a method for determining the intra prediction mode using a reference block, a method for determining the intra prediction mode using a template, or a method for determining the intra prediction mode using information obtained from a bitstream.
  • information indicating a method for determining an intra prediction mode may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information indicating a method for determining an intra prediction mode may not be included in the bitstream, in which case the image decoding device (2000) may determine the intra prediction mode of the current block according to a predetermined method.
  • the image decoding device (2000) may determine an intra prediction mode indicated by information obtained from the bitstream among a plurality of intra prediction modes as the intra prediction mode of the current block.
  • information indicating the intra prediction mode of the current block may include a flag or index indicating any one of the plurality of intra prediction modes.
  • the image decoding device (2000) may determine the intra prediction mode of the current block by using a reference block (hereinafter, referred to as a spatial reference block) within the current image that has been restored before the current block or a template of the reference block within the current image.
  • a reference block hereinafter, referred to as a spatial reference block
  • the image decoding device (2000) can obtain information about a reference picture list indicating which reference picture list among a plurality of reference picture lists to use for prediction of the current block from the bitstream.
  • the image decoding device (2000) when it reconstructs the current block based on the reference image, it may use one reference image (e.g., unidirectional prediction) or two reference images (e.g., bi-prediction). This may be determined through information about the reference picture list, which indicates which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block for inter prediction of the current block.
  • one reference image e.g., unidirectional prediction
  • two reference images e.g., bi-prediction
  • the video decoding device (2000) may determine one reference picture list used for inter prediction of the current block based on information about a reference picture list indicating which reference picture list among a plurality of reference picture lists is used for prediction of the current block for inter prediction of the current block. For example, the video decoding device (2000) may obtain information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or bi-prediction (LO and L1) is used for inter prediction of the current block.
  • L0 first reference picture list
  • L1 second reference picture list
  • LO and L1 bi-prediction
  • a bitstream may include a reference picture index indicating one of the reference pictures included in a reference picture list.
  • the image decoding device (2000) may obtain a reference picture index indicating which reference picture among at least one reference picture included in the reference picture list to use from the bitstream.
  • the image decoding device (2000) may obtain a first reference picture index indicating a reference picture included in a first reference picture list for the current block and a second reference picture index indicating a reference picture included in a second reference picture list, respectively.
  • a bitstream may include information for determining a motion vector.
  • the video decoding device (2000) may obtain an index indicating one of the candidates included in a candidate block list from the bitstream.
  • the video decoding device (2000) may obtain a first index indicating a first candidate block among at least one candidate block included in a first candidate block list from the bitstream.
  • the video decoding device (2000) may obtain a first index indicating a first candidate block among at least one candidate block included in a first candidate block list and a second index indicating a second candidate block among at least one candidate block included in a second candidate block list from the bitstream.
  • the first candidate block list and the second candidate block list may be the same or different.
  • the video decoding device (2000) may obtain an index (e.g., a first index or a second index) indicating one of the candidates included in the candidate block list, and determine a motion vector of the current block using a motion vector of the candidate block indicated by the index.
  • an index e.g., a first index or a second index
  • the image decoding device (2000) can obtain or determine a motion vector of the current block by using the motion vectors of previously decoded blocks spatially adjacent to the current block or blocks included in a previously decoded image.
  • the video decoding device (2000) can determine the motion vector of a candidate block as the motion vector of the current block.
  • the video decoding device (2000) can obtain or determine the motion vector of the current block by combining information about the motion vector difference obtained from the bitstream and the motion vector of the candidate block.
  • the motion vector of the current block obtained according to the motion vector and/or motion vector difference of previously decoded blocks spatially adjacent to the current block or blocks included in a previously decoded image may be referred to as an initial motion vector. That is, the motion vector before being adjusted or corrected by template matching may be referred to as an initial motion vector.
  • the image decoding device (2000) can determine a reference block within a reference image using a motion vector of a current block.
  • the image decoding device (2000) can determine a reference image for the current block from a reference picture list.
  • the image decoding device (2000) can determine a motion vector of any candidate block from a candidate block list of the current block as an initial motion vector of the current block.
  • the image decoding device (2000) can also determine a reference block by performing template matching with the current block using the initial motion vector of the current block.
  • template matching with a current block may be an operation of comparing each template of candidate reference blocks within a predetermined area including a block pointed to by an initial motion vector of the current block with a template of the current block, and determining a candidate reference block with a lowest template cost as the reference block of the current block.
  • a template for which comparison is performed with the template of the current block may be within a predetermined area including a block pointed to by an initial motion vector of the current block, but is not limited to the disclosed example.
  • the operation of determining a template cost by comparing the template of the candidate reference block with the template of the current block may utilize an operation of determining a template cost according to the present disclosure.
  • the video decoding device (2000) can determine one candidate among a plurality of candidates included in the candidate block list without obtaining an index indicating one of the candidates included in the candidate block list. For example, the video decoding device (2000) can compare templates corresponding to positions indicated by the motion vectors of each of the candidate blocks included in the candidate block list with the template cost of the template of the current block, and determine the motion vector of the candidate block with the lowest template cost as the motion vector of the current block for determining the reference block. In order to determine one candidate among the plurality of candidates included in the candidate block list through template matching, the operation of determining the template cost can utilize the operation of determining the template cost according to the present disclosure.
  • the prediction information may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information on whether to perform template matching to obtain a prediction block of a current block or information related to template matching performed on the current block may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information on whether to perform template matching and information related to template matching performed on the current block may not be included in the bitstream.
  • information related to template matching performed on the current block may include information on a method for determining a template cost, etc.
  • the bitstream may include an index or flag indicating any one of a template cost list.
  • the template cost list may represent a list reordered in ascending order using the template cost.
  • the template cost may also be referred to as a template matching cost.
  • the image decoding device (2000) may determine any one of a plurality of candidate reference blocks within a search range based on a block vector in intra prediction or a motion vector in inter prediction as a reference block.
  • the image decoding device (2000) may perform template matching on the plurality of candidate reference blocks and determine the candidate reference block with the lowest template cost as the reference block.
  • the image decoding device (2000) can reconstruct the current block using a reference block.
  • the image decoding device (2000) can generate a prediction block using the reference block, and reconstruct or generate the current block using the prediction block and residual data.
  • the video decoding device determines an initial motion vector and performs template matching using a template within a search range based on a block indicated by the initial motion vector, or performs template matching using a template within a search range based on an initial block vector or a current block, thereby reducing the amount of data required for signaling.
  • template matching By performing template matching to reduce the amount of residual data, the amount of data required for signaling can be reduced.
  • FIG. 21 is a diagram illustrating neighboring blocks temporally and/or spatially related to a current block according to one embodiment.
  • a reference image having a different POC (Picture Order Count) from the POC of the current image including the current block (2115) may be a collocated image.
  • a temporal neighboring block may include a collocated block (Col) (hereinafter referred to as a "collocated block") located at a point corresponding to the current block (2115) within the collocated image.
  • the collocated block may be a block including a sample (Br) corresponding to a position of a sample diagonally adjacent to the lower right of the current block (2115) within the collocated image, or a block including a sample (Ctr) corresponding to a central position of the current block (2115).
  • a collocated block may be a block including a given sample in a collocated image at a position corresponding to a given sample included in a current block of a current image, and may be determined as any block within a block having a position and size corresponding to the current block in the collocated image, or may be determined as a block adjacent to a block having a position and size corresponding to the current block.
  • a spatial neighboring block spatially adjacent to the current block (2115) may include at least one of blocks including a lower left outer sample (A0), a lower left sample (A1), an upper right outer sample (B0), an upper right sample (B1), and an upper left outer sample (B2).
  • the locations of the temporal neighboring blocks and spatial neighboring blocks illustrated in FIG. 21 are an example, and the locations and numbers of the temporal neighboring blocks and spatial neighboring blocks may vary depending on the implementation example.
  • the video decoding device (2000) may construct the candidate block list by using temporal neighboring blocks and/or spatial neighboring blocks as candidate blocks.
  • the video decoding device (2000) may determine the initial motion vector of the current block through template matching between the template corresponding to the position indicated by the motion vector of the candidate blocks included in the candidate block list and the template of the current block.
  • the video decoding device (2000) may determine the initial motion vector of the current block by obtaining an index or flag indicating any one of the candidates in the candidate block list.
  • the image decoding device (2000) can adjust the initial motion vector by comparing the template of the current block with the template of an area within a predetermined range centered on the point indicated by the initial motion vector.
  • FIG. 22 is a diagram for explaining a template of a template matching prediction mode according to one embodiment.
  • the templates (2210, 2220, 2230, 2240) of the current block (2200) may have multiple shapes.
  • the shape of the template to be compared in the restored area may also be determined based on the template of the current block (2200).
  • a template having a shape similar to that of the templates (2210, 2230) may be referred to as an L-shape.
  • the image decoding device (2000) may determine a template of the current block (2200) to include at least one of a first template located on the left side of the current block, a second template located on the upper side of the current block, and a third template located on the upper left side of the current block.
  • the template (2210) may include the first template located on the left side of the current block, the second template located on the upper side of the current block, and the third template located on the upper left side of the current block
  • the template (2220) may include the first template and the second template excluding the third template.
  • the template may include a template located on the right side of the current block (2200).
  • the image decoding device (2000) can perform template matching prediction using a template (2230) including at least some of a right reference sample, an upper reference sample, and an upper-right reference sample.
  • the image decoding device (2000) can determine the template based on the coding order (or coding direction) of the block. For example, when coding of the block is performed from right to left, the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using the template (2230).
  • the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using a template (2240) including at least some of a right reference sample, an upper reference sample, a left reference sample, an upper-left reference sample, and an upper-right reference sample.
  • the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using a template (2240) including a referenceable sample.
  • the template of the current block (2200) may include one or more reference lines.
  • a first template may include m reference lines (wherein m is an integer greater than or equal to 1), and a second template may include n reference lines (wherein n is an integer greater than or equal to 1).
  • the image decoding device (2000) may determine the unrestored samples as virtual values. For example, if some of the first template is not restored, the image decoding device (2000) may determine the values of the unrestored samples and determine a template including the determined samples.
  • FIG. 22 is a drawing for explaining a template according to one embodiment of the present disclosure, and is not limited thereto, and various forms of templates may be determined.
  • the image decoding device (2000) performs template matching using a template (2210) including all of a left reference sample, an upper reference sample, and an upper-left reference sample
  • template matching prediction may be performed using templates of various shapes as described in FIG. 22.
  • FIG. 23 is a diagram for explaining an operation of determining a reference block based on template matching according to one embodiment.
  • the image decoding device (2000) can determine a reference block within a reference image (2330) by using a motion vector of a current block obtained through prediction information.
  • a candidate block list for a current block (2315) in a current image (2310) can be constructed, and an index or flag indicating one of the candidates in the candidate block list can be obtained to determine an initial motion vector (2325) of the current block.
  • the image decoding device (2000) can determine an initial motion vector (2325) of the current block by comparing a template corresponding to a point indicated by the motion vectors of candidate blocks included in the candidate block list with a template of the current block.
  • the image decoding device (2000) can determine a reference block in a reference image (2330) using the determined initial motion vector (2325).
  • the video decoding device (2000) may determine a motion vector corresponding to a given candidate block as an initial motion vector (2325) of the current block, based on template costs corresponding to points pointed to by the motion vectors of each of the candidate blocks. For example, the video decoding device (2000) may determine a motion vector of a candidate block corresponding to the lowest template cost as an initial motion vector (2325) for the current block, based on template costs for points pointed to by the motion vectors of the candidate blocks included in the candidate block list.
  • the image decoding device (2000) performs template matching using the motion vector of a predetermined candidate block as an initial motion vector (2325), thereby correcting or adjusting the initial motion vector to determine a final motion vector.
  • the block pointed to by the final motion vector may be a reference block of the present disclosure.
  • the description of the motion vector difference is omitted for convenience of explanation, and the image decoding device (2000) can determine a reference block by performing template matching for the current block using the motion vector of the candidate block combined with the motion vector difference.
  • the video decoding device (2000) can determine a reference block of the current block (2315) by adjusting or correcting the initial motion vector (2325) based on comparing the current template (2316) with a reference template (2336) within a predetermined area (2337) including a point indicated by the initial motion vector. Meanwhile, the motion vector before being adjusted according to template matching may be referred to as the initial motion vector (2325).
  • the predetermined area (2337) may be referred to as a search area or a search range.
  • the search area may represent a point from a point where the x-coordinate and y-coordinate are each -8 sample distances away to a point where the y-coordinate is +8 sample distances away from the point indicated by the initial motion vector (2325), but is not limited to the disclosed example.
  • the image decoding device (2000) can perform template matching using the initial motion vector (2325) of the current block (2315), thereby determining the reference block of the current block (2315) as a block pointed to by the motion vector corrected or adjusted according to the template matching.
  • the video decoding device (2000) may obtain blocks spatially adjacent to the current block (2315) to construct a candidate block list, and may also obtain blocks that are not spatially adjacent to the current block (2315) as candidate blocks.
  • the candidate block list may include blocks that are spatially adjacent to the current block (2315) or blocks that are not spatially adjacent to the current block (2315) as motion vector candidates.
  • the image decoding device (2000) may obtain a collocated block and/or a neighboring block of the collocated block within the collocated image of the current block (2315) as candidate blocks to construct a candidate block list.
  • the candidate block list may include a collocated block and/or a neighboring block of the collocated block within the collocated image of the current block (2315) as candidate blocks.
  • a reference image (2330) including a reference block is an image restored before the current image (2310) and may be an image included in a reference picture list.
  • neighboring samples restored before the current block (2315) may be used as templates in template matching.
  • the current template (2316), which is the template of the current block (2315), may include at least some of the neighboring samples of the current block (2315).
  • the template of the current block (2315) may be referred to as the current template (2316)
  • the template of the reference block may be referred to as the reference template (2336).
  • the image decoding device (2000) may search for a template that is most similar to the current template (2316) within a reference image (2330) using the current template (2316), and determine a block adjacent to the reference template (2336), which is the most similar template as a result of the search, as a reference block.
  • a block located to the right and below the reference template (2336) that is most similar as a result of the search within the reference image (2330) may be determined as a reference block.
  • the left and upper samples of the current block are explained as an example of a case where the current block is used as a template, and the positional relationship between the template and the reference block may vary depending on the shape of the template.
  • the operation of searching for a template most similar to the current template (2316) may be an operation of performing template matching with the current block (2315) by determining a candidate reference block corresponding to a reference template with the smallest difference as a reference block by using the difference between sample values included in the current template (2316) of the current block (2315) and sample values included in a reference template corresponding to a candidate location for template matching.
  • template matching can be performed using various search patterns and search sizes based on the initial motion vector (2325).
  • template matching can search a predetermined area (2337) using a diamond pattern or a cross pattern, and can search the predetermined area (2337) in units of 4 pixels, 1 pixel, 1/2 pixel, 1/4 pixel, or 1/8 pixel.
  • a candidate location for template matching can be a location for comparing a current template (2316) and a template determined according to the search pattern and search size within a predetermined range for template matching.
  • the image decoding device (2000) can determine the similarity between samples included in candidate reference templates having the same shape as the current template and the current template, and differences between sample values can be used to determine the similarity.
  • the image decoding device (2000) can determine a template including sample values most similar to the sample values included in the current template (2316) as a reference template within the reference image (2330). Meanwhile, a template cost can be used as a measure for determining the similarity.
  • the image decoding device (2000) may use a cost function to determine the similarity between the current template and the candidate reference template. For example, the image decoding device (2000) may use difference values between the sample values of the template of the current block and the sample values of the template of the candidate reference block to determine the template having the minimum template cost value as the most similar template.
  • the template cost may be determined using at least one cost function among the Sum of Absolute Difference (SAD), the Sum of Absolute Transformed Difference (SATD), the Sum of Squared Error (SSE), the Mean Removed SAD (MR-SAD), the Mean Removed SSE (MR-SSE), the Histogram of Oriented Gradient (HoG), or a template cost calculation method according to the present disclosure, and may be variously changed within a range apparent to those skilled in the art.
  • SAD Sum of Absolute Difference
  • SATD Sum of Absolute Transformed Difference
  • SSE Sum of Squared Error
  • MR-SAD Mean Removed SAD
  • MR-SSE Mean Removed SSE
  • HoG Histogram of Oriented Gradient
  • the image decoding device (2000) can determine a block corresponding to a template with the lowest template cost as a reference block by comparing the current template with templates within a search range using at least one cost function.
  • the image decoding device (2000) can determine a block adjacent to a template most similar to the current template (2316) within a reference image (2330) as a reference block.
  • FIG. 24 is a diagram for explaining an operation of determining a reference block based on template matching according to one embodiment.
  • the image decoding device (2000) may obtain information about a reference picture list from a bitstream and determine to perform bi-prediction for prediction of the current block (2415).
  • the image decoding device (2000) may obtain a first reference image index indicating a reference image included in a first reference picture list for the current block (2415) and a second reference image index indicating a reference image included in a second reference picture list, respectively.
  • the image decoding device (2000) may determine an image corresponding to the first reference image index as a first reference image (2430), and may determine an image corresponding to the second reference image index as a second reference image (2450).
  • the image decoding device (2000) when pair prediction is performed on a current block (2415), can obtain a first index indicating a first candidate block among at least one candidate block included in a first candidate block list from a bitstream, and a second index indicating a second candidate block among at least one candidate block included in a second candidate block list.
  • the image decoding device (2000) can determine a first initial motion vector indicated by a first index in a first reference image and a second initial motion vector indicated by a second index in a second reference image.
  • the video decoding device (2000) may perform template matching on templates corresponding to points indicated by motion vectors of candidate blocks included in a first candidate block list and a template of a current block to determine a motion vector corresponding to a template with the lowest template cost as a first initial motion vector.
  • the video decoding device (2000) may perform template matching on templates corresponding to points indicated by motion vectors of candidate blocks included in a second candidate block list and a template of a current block to determine a motion vector corresponding to a template with the lowest template cost as a second initial motion vector.
  • the image decoding device (2000) can determine the first motion vector by performing template matching on the current template (2416), which is a template of the current block (2415), and the template of the block pointed to by the first initial motion vector within the first reference image (2430).
  • the image decoding device (2000) can determine the second motion vector by performing template matching on the current template and the template of the block pointed to by the second initial motion vector within the second reference image (2450).
  • the video decoding device (2000) can determine a first reference block of the current block (2415) by adjusting or correcting the first initial motion vector based on comparing the current template (2416) with a first reference template (2436) within a predetermined area including a point pointed to by the first initial motion vector.
  • the video decoding device (2000) can determine a second reference block of the current block (2415) by adjusting or correcting the second initial motion vector based on comparing the current template (2416) with a second reference template (2456) within a predetermined area including a point pointed to by the second initial motion vector.
  • the image decoding device (2000) can search for a template most similar to the current template (2416) in each search area within the first reference image (2430) and the second reference image (2450).
  • the image decoding device (2000) can determine blocks located at the lower right of the first reference template (2436) and the second reference template (2456), which are the most similar templates as a result of the search, as the first reference block and the second reference block, respectively.
  • the left samples and the upper samples of the current block (2415) are used as the template of the current block (2415) will be described as an example, and the positional relationship between the template and the reference block may vary depending on the shape of the template.
  • template matching for pair prediction is not limited to the disclosed example, and the search positions or search directions for the first initial motion vector and the second initial motion vector may be dependent on each other.
  • each of the operations for determining the first motion vector and the second motion vector can correspond to the operation for determining the motion vector in Fig. 23, and therefore the same content is omitted.
  • FIGS. 23 and 24 describe template matching for inter prediction.
  • FIGS. 25 and 26 describe template matching for intra prediction.
  • FIG. 25 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • the image decoding device (2000) can determine a reference block (2530) of the current block (2510) based on template matching for a restored region within the current image including the current block (2510).
  • the image decoding device (2000) may determine a template similar to the current template (2520) among the restored regions within the search region, determine the template similar to the determined current template (2520) as a reference template (2540), and determine a block corresponding to the reference template (2540) as a reference block (2530).
  • the image decoding device (2000) can search for a template most similar to the template of the current block (2510) in a search area.
  • the search area may include one or more predefined search areas. Meanwhile, the search area will be described in detail in FIG. 26.
  • the image decoding device (2000) may perform a comparison of samples included in a restored area with a current template (2520). For example, the image decoding device (2000) may determine the similarity between samples included in a candidate reference template having the same shape as the current template (2220) and the template (2220).
  • the image decoding device (2000) can determine the similarity between templates using a cost function.
  • the image decoding device (2000) can determine the similarity between templates using at least one cost function among sum of absolute difference (SAD), sum of absolute transformed difference (SATD), sum of squared error (SSE), mean removed SAD (MR-SAD), mean removed SSE (MR-SSE), histogram of oriented gradient (HoG), or a cost calculation method according to the present disclosure.
  • SAD sum of absolute transformed difference
  • SSE sum of squared error
  • MR-SAD mean removed SAD
  • MR-SSE mean removed SSE
  • HoG histogram of oriented gradient
  • the image decoding device (2000) can calculate a template cost using at least one cost function and determine a block corresponding to a template having the lowest template cost as a reference block for the current block (2510).
  • the image decoding device (2000) may determine the template most similar to the current block (2510) among all possible templates in the reconstructed area. For example, the image decoding device (2000) may compare all or some of the templates including the reconstructed samples included in the reconstructed area with the current template (2520) to determine the most similar template. In one embodiment, the image decoding device (2000) may determine a portion of the reconstructed area and perform template matching only on the determined portion. Meanwhile, the portion of the reconstructed area may be referred to as a search area.
  • the image decoding device (2000) may determine a template similar to the current template (2520) based on a block unit of the restored area. For example, the image decoding device (2000) may compare templates corresponding to blocks of the restored area (e.g., transform blocks or encoding blocks, etc.) with the current template (2520) to determine a similar template.
  • templates corresponding to blocks of the restored area e.g., transform blocks or encoding blocks, etc.
  • the image decoding device (2000) can identify templates at predetermined distance intervals within a search range. For example, the image decoding device (2000) can identify templates at three-sample intervals and determine template costs by comparing them with the current template (2520), thereby constructing a list of block vector candidates.
  • the image decoding device (2000) can construct a candidate list in ascending order of template cost for templates within a search area.
  • the image decoding device (2000) can include 30 block vectors corresponding to templates with low template cost at 3-sample intervals in the candidate list, and perform a fine search at 1-sample intervals in a surrounding 3 X 3 area among the 30 block vectors to ultimately construct a candidate list including 19 candidates.
  • the image decoding device (2000) may determine one reference template from a candidate list.
  • the image decoding device (2000) may compare templates within a search range with the current template (2520) of the current block (2510) to determine the most similar reference template.
  • the image decoding device (2000) may determine a reference block corresponding to the template determined to be most similar to the current template (2520), such as the relationship between the current template (2520) and the current block (2510).
  • the image decoding device (2000) may obtain an index indicating one block vector among a plurality of candidates included in a candidate list from a bitstream, and determine a reference block using the block vector corresponding to the index.
  • the image decoding device (2000) can determine a plurality of reference templates using a candidate list.
  • the image decoding device (2000) can determine a plurality of reference templates having a high degree of similarity with the current template (2520) among the templates of blocks corresponding to the candidate list. Meanwhile, without being limited to the disclosed example, the image decoding device (2000) can also determine a reference template based on obtaining a plurality of indices.
  • the image decoding device (2000) can predict the current block (2510) using a weighted sum for a plurality of reference blocks.
  • the weights for each reference template for the weighted sum for the plurality of reference blocks can be determined based on a template cost or based on a Wiener filter.
  • the video decoding device (2000) can reconstruct the candidate list to include more precise candidate block vectors by using the block vectors included in the candidate list. For example, the video decoding device (2000) can rearrange the candidate list in ascending order by calculating template costs with respect to templates of blocks located at surrounding 1/2 sample intervals, 1/4 sample intervals, and 3/4 sample intervals for the block vectors included in the candidate list. The video decoding device (2000) can determine a reference block by using two candidate block vectors included in the rearranged candidate list.
  • the image decoding device (2000) can predict the current block by applying a 6-tap filter with added bias to a 5-tap filter learned based on the relationship between the current template (2520) and the reference template to the determined reference block.
  • the image decoding device (2000) may perform template matching using, in addition to a predefined search area, a block vector of a block adjacent to a current block (2510) in a current image or a block vector of a block non-adjacent to the current block (2510).
  • the image decoding device (2000) may obtain a block vector of a current block (2510) that points to an area excluding a predefined search area from surrounding blocks, and relocated block vectors that represent block vectors of a block pointed to by the block vector of the current block (2510), and may construct a candidate list to include the block vector of the current block and the relocated block vector.
  • the image decoding device (2000) may determine a block vector pointing to any one point among the block vectors included in the candidate list through template matching, and may determine a reference block (2530) of the current block (2510) by correcting the determined block vector through template matching.
  • the image decoding device (2000) can determine a candidate block vector by obtaining an index indicating any one of the candidate block vectors included in the candidate list.
  • the relocated block vectors included in the candidate list can be recursively obtained until a preset number is reached or until no additional relocated block vectors are obtained.
  • FIG. 26 is a diagram for explaining a search range of a template matching prediction mode according to one embodiment of the present disclosure.
  • the image decoding device (2000) may search for a template most similar to the template of the current block (2600) in a search area.
  • the search area may include one or more predefined search areas. For example, an area located a predetermined distance away from the position of the current block may be predefined as the search area in the image encoding device and the image decoding device.
  • the search area may be determined based on at least one of the width (W) or height (H) of the current block (2600).
  • the first search area (R1) may include an area further than the height (H) of the current block (2600) from the boundary of the maximum coding unit (CTU) including the current block (2600).
  • the width of the first search area may be determined based on the width (W) of the current block (2600).
  • the search area may be an area including a first search area, a second search area (R2), a third search area (R3), a fourth search area (R4), a fifth search area (R5), and a sixth search area (R6), as shown in FIG. 24.
  • the width of the first search area may be determined as twice the maximum value of 5*W and 64.
  • the height of the first search area may be determined based on at least one of the height of the current block (2600) or the position (Xc, Yc) of the current block (2600).
  • the height of the first search area may be determined as the difference between the "maximum value of 5*H and 64" and the height and the vertical position (Yc) of the current block (2600).
  • the second search area (R2), the third search area (R3), the fourth search area (R4), the fifth search area (R5), and the sixth search area (R6) can be determined based on the width, height, or position of the current block (2600). Meanwhile, the search areas are not limited to those disclosed in FIG. 26.
  • the search area may be determined based on a maximum coding unit (CTU), unlike the disclosure of FIG. 24.
  • the search area may include a first search area included in a maximum coding unit such as the current block (2600), a second search area representing a maximum coding unit located to the upper left of the maximum coding unit including the current block (2600), a third search area representing a maximum coding unit located above, and a fourth search area representing a maximum coding unit located to the left.
  • the search area may be determined based on the height or width of the current block (2600).
  • the image decoding device (2000) can perform template matching by determining a template cost using a cost function.
  • the image decoding device (2000) can determine a template at predetermined intervals. For example, a candidate can be determined in a sample window of a predetermined size.
  • the image decoding device (2000) can identify a sampling factor associated with the predetermined interval and perform template matching based on the sampling factor. For example, when the sampling factor is 3, the image decoding device (2000) can determine a candidate in a 3 x 3 pixel window.
  • the image decoding device (2000) may perform template matching prediction based on the width or height of the current block (2600). For example, the image decoding device (2000) may perform template matching prediction for a coding unit in which the width and height of the current block (2600) are less than or equal to 64. A flag regarding template matching prediction may be signaled through the coding unit syntax.
  • Fig. 27 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • the image decoding device (2000) repeatedly performs a process of finding a template similar to the template (2720, 2725) of the current block (2710) during the process of performing template matching.
  • the image decoding device (2000) may determine template costs corresponding to templates of predetermined candidate reference positions, respectively, by using sample values of samples included in templates of candidate reference blocks corresponding to a plurality of candidate positions and sample values of samples included in templates (2720, 2725) of the current block (2710).
  • the templates (2720, 2725) of the current block (2710) may be described as the current template, and the templates of the candidate reference blocks or reference blocks may be described as the reference templates.
  • a block at a candidate location corresponding to a template within a search range for template matching for the current block (2710) may be referred to as a candidate reference block (2730).
  • the image decoding device (2000) may use a Sum of Absolute Difference (SAD), a Sum of Absolute Transformed Difference (SATD), a Sum of Squared Error (SSE), a Mean Removed SAD (MR-SAD), a Mean Removed SSE (MR-SSE), and a Histogram of Oriented Gradient (HoG) as cost functions for determining a template cost for each sample included in a template (2720, 2725) of a current block (2710) and each sample included in a template (2740, 2745) of a candidate reference block (2730) at a location corresponding to each sample included in the template (2720, 2725) of the current block (2710).
  • SAD Sum of Absolute Difference
  • SATD Sum of Absolute Transformed Difference
  • SSE Sum of Squared Error
  • MR-SAD Mean Removed SSE
  • HoG Histogram of Oriented Gradient
  • the template cost () is determined according to the following mathematical expression 1. ) can be determined.
  • mathematical formula 1 represents the sample values for the upper samples (2740) among the templates of the candidate reference block (2730), represents the sample values for the upper samples (2720) among the templates of the current block (2710), represents the sample values for the left samples (2745) among the templates of the candidate reference block (2730), can represent sample values for the left samples (2725) among the templates of the current block (2710).
  • the template cost may be determined by performing an operation on all blocks included in the template, or may be determined by performing the operation on samples at every two-sample interval. However, this is not limited to the disclosed example.
  • the image decoding device (2000) when the image decoding device (2000) determines the cost function as MR-SAD, it can determine the template cost according to the following mathematical expression 2.
  • mathematical expression 2 represents the description of the same parameters as in mathematical expression 1 is omitted.
  • mathematical expression 2 represents the average of the sample values of the upper samples (2740) of the template of the candidate reference block used to determine the template cost, represents the average of the sample values of the upper samples (2720) among the templates of the current block (2710) used to determine the template cost, represents the average of the sample values of the left samples (2745) of the template of the candidate reference block used to determine the template cost, may represent the average of the sample values of the left samples (2725) of the template of the current block (2710) used to determine the template cost.
  • the image decoding device (2000) may determine a cost function for calculating a template cost for templates of a plurality of candidate reference blocks differently for each candidate reference block. For example, the image decoding device (2000) may determine a cost function for determining a template cost for a template of a first candidate reference block as SAD, a cost function for determining a template cost for a template of a second candidate reference block as SSE, and a cost function for determining a template cost for a template of a third candidate reference block as SATD. Meanwhile, without being limited to the disclosed example, the cost function for determining a template cost for a template of a candidate reference block may be determined in various ways for each candidate reference block.
  • the image decoding device (2000) may determine a cost function for calculating a template cost for templates of some candidate reference blocks as MR-SAD, and may determine a cost function for templates of other candidate reference blocks as SAD. For example, if a first candidate reference block is predicted using Local Illumination Compensation (LIC), the image decoding device (2000) may determine a cost function for determining a template cost as MR-SAD, and if a second candidate reference block is predicted without using Local Illumination Compensation, the cost function for determining a template cost may be determined as SAD.
  • LIC Local Illumination Compensation
  • the image decoding device (2000) may impose a penalty on the template cost according to a predetermined cost function, thereby determining a higher template cost for templates with relatively low similarity.
  • the image decoding device (2000) can determine the final template cost when a constant greater than or equal to 1 is applied by imposing a penalty on the initial template cost according to a predetermined cost function.
  • the initial template cost may be the final template cost.
  • the penalty is It can have values such as 1.005, 1.010, etc., but is not limited to the disclosed examples.
  • the MR-SAD may measure a difference between the values obtained by subtracting the average value of the samples from each sample value, and the value may be measured to be smaller than the SAD measuring the difference between the sample values.
  • the image decoding device (2000) may reduce a difference caused by a difference between the template cost of the template of the first candidate reference block using MR-SAD as a cost function and the cost function of the second candidate reference block using SAD as a cost function by applying a constant greater than 1 to the template cost.
  • the image decoding device (2000) determines the template cost for templates of multiple candidate reference blocks as different cost functions, so that an accurate comparison of costs may not be possible. Therefore, the final template cost may be determined by assigning weights to template costs according to multiple cost functions for the template of one candidate reference block.
  • the image decoding device (2000) can determine the template cost for the first candidate reference block by assigning a first cost weight to a first template cost according to a first cost function for the template of the first candidate reference block, and assigning a second cost weight to a second template cost according to a second cost function for the template of the first candidate reference block.
  • the image decoding device (2000) may determine a first template cost and a second template cost using SAD and MR-SAD as a first cost function and a second cost function, respectively, and the image decoding device (2000) may determine a final template matching cost for the candidate reference block by applying a first cost weight to the first template cost and a second cost weight to the second template cost.
  • the first template cost may be determined according to mathematical expression 1
  • the second template cost may be determined according to mathematical expression 2.
  • the operation of determining a reference block according to a previous or subsequent disclosure may be performed respectively to determine a first reference block and a second reference block.
  • the image decoding device (2000) may perform an operation of determining or calculating a template cost according to the present disclosure to determine a first reference block, and may perform an operation of determining and calculating a template cost according to the present disclosure to determine a second reference block.
  • the image decoding device (2000) may determine the template cost by replacing the average of information associated with the template of the first candidate block and information associated with the template of the second candidate block with information associated with the template of the candidate reference block, for an operation of calculating a template cost according to the present disclosure.
  • the image decoding device (2000) may determine the template cost by assigning a predetermined weight to each of information associated with the template of the first candidate block and information associated with the template of the second candidate block, in place of the information associated with the template of the candidate reference block, for calculating the template cost of the present disclosure.
  • the disclosure for the above pair prediction can be applied to the operation of determining the template cost according to the disclosure below when determining the template cost in pair prediction, but is omitted for convenience of explanation.
  • Fig. 28 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • the image decoding device (2000) can obtain a prediction block of the current block (2810) based on at least one of a template (2820, 2825) of the current block (2810), a candidate reference block (2830), and a template (2840, 2845) of the candidate reference block (2830).
  • the image decoding device (2000) can reconstruct the current block (2810) using the prediction block.
  • the image decoding device (2000) may obtain first sample values corresponding to positions of samples within the current block (2810) based on templates (2820, 2825) of the current block (2810), candidate reference blocks (2830), and templates (2840, 2845) of the candidate reference blocks (2830).
  • the first sample values may be sample values for samples corresponding to predetermined positions within the current block (2810).
  • the first sample values may be sample values for samples (2823, 2828) adjacent to the template (2720, 2725) of the current block (2810) within the current block (2810), as illustrated in FIG. 28, may be sample values for all samples adjacent to the template (2820, 2825) of the current block (2810), or may be sample values for some samples adjacent to the template of the current block (2810).
  • the image decoding device (2000) may obtain second sample values of samples within a candidate reference block (2830).
  • the second sample values may be sample values within the candidate reference block (2830) at locations corresponding to samples within the current block (2810).
  • the second sample values may be sample values for samples (2843, 2848) adjacent to templates (2840, 2845) of the candidate reference block (2830) within the candidate reference block (2830).
  • the second sample values may be sample values for all samples adjacent to the templates (2840, 2845) of the candidate reference block (2830), or may be sample values for some samples adjacent to the templates (2840, 2845) of the candidate reference block (2830).
  • the second sample values may be determined depending on the positions of the samples (2823, 2828) for the first sample values, as sample values within the candidate reference block (2830) corresponding to the first sample values.
  • the second sample values may include samples within the previously restored candidate reference block (2830).
  • the image decoding device (2000) can determine a template cost based on the first sample values and the second sample values.
  • the image decoding device (2000) can determine a template cost by using first current template samples (2822, 2827) adjacent to the current block (2810) among the samples included in the templates (2820, 2825) of the current block (2810) and first reference template samples (2842, 2847) adjacent to the candidate reference block (2830) among the samples included in the templates (2840, 2845) of the candidate reference block (2830).
  • the image decoding device (2000) can obtain the difference between the first current template sample values of the first current template samples (2822, 2827) and the first sample values, respectively, and the difference between the first reference template sample values of the first reference template samples (2842, 2847) and the second sample values, respectively.
  • the difference between the first current template sample values and the first sample values, respectively may represent differences between adjacent samples.
  • the difference between the first reference template sample values and the second sample values, respectively, may represent differences between adjacent samples.
  • the difference between each sample in the preceding or following present disclosure may represent differences between adjacent samples or differences between samples at corresponding positions.
  • the image decoding device (2000) may calculate the template cost between the current block (2810) and the candidate reference block (2830) based on the difference between the first current template sample values of the first current template samples (2822, 2827) and the first sample values, respectively, and the difference between the first reference template sample values of the first reference template samples (2842, 2847) and the second sample values, respectively.
  • the image decoding device (2000) may calculate the template cost ( ) according to the following mathematical expression 5. ) can be determined.
  • mathematical expression 5 represents sample values of samples (2842) adjacent to the candidate reference block (2830) within the upper template (2840) of the candidate reference block (2830), may represent sample values of samples (2843) within a candidate reference block (2830) adjacent to an upper template (2840) of the candidate reference block (2830).
  • mathematical equation 5 represents the sample values of samples (2822) adjacent to the current block (2810) within the upper template (2820) of the current block (2810), may represent sample values corresponding to the positions of samples (2823) within the current block (2810) adjacent to the upper template (2820) of the current block (2810).
  • the first current template samples (2822, 2827) are and , and the first reference template samples (2842, 2847) are and can be expressed as .
  • the samples (2823, 2848) corresponding to the positions of the samples in the current block (2810) corresponding to the first sample values are and , and the samples (2843, 2848) in the candidate reference block (2830) corresponding to the second sample values are and can be expressed as
  • the template cost according to the above mathematical expression 5 need not be calculated using all of the samples arranged sequentially as illustrated in FIG. 28, and may be calculated using only some of the samples illustrated in FIG. 28.
  • the template is described as being located on the left and upper sides of the block as an example, but the template may be located on one or more sides of the block, and is not limited to the disclosed example.
  • the image decoding device (2000) may calculate a template cost between a current block (2810) and a candidate reference block (2830) based on applying a first weight to the difference between the first current template sample values of the first current template samples (2822, 2827) and the first sample values, respectively, and applying a second weight to the difference between the first reference template sample values of the first reference template samples (2842, 2847) and the second sample values, respectively.
  • the image decoding device (2000) may calculate the template cost ( ) according to the following mathematical expression 6. ) can be determined.
  • mathematical expression 6 the same content as mathematical expression 5 is omitted.
  • the weights for the differences between the first current template sample values and the first sample values of the first current template samples (2822, 2842) are ( is a real number greater than or equal to 0 and less than or equal to 1), and a weight is applied to the difference between the first reference template sample values and the second sample values of the first reference template samples (2842, 2847).
  • the template cost between the current block (2810) and the candidate reference block (2830) can be calculated.
  • the template cost is determined by considering the tendency for the candidate reference block (2830) more, and the weight As it gets lower, it may be possible to consider the template cost by taking into account the tendency for the current block (2810).
  • the image decoding device (2000) may determine a template cost according to Equations 5 and 6 after performing an operation of acquiring or determining first sample values.
  • the image decoding device (2000) may determine the first sample values to have the same values as the second sample values of the samples (2843, 2848) within the candidate reference block (2830).
  • the first sample values may be determined to have the same values as the second sample values of the samples (2843, 2848) within the candidate reference block (2830) corresponding to the positions of the samples within the current block (2810).
  • the image decoding device (2000) may determine, among the first sample values, the sample values corresponding to the positions of the samples (2823) in the current block (2810) adjacent to the upper template (2820) of the current block (2810), as the sample values of the samples (2843) in the candidate reference block (2830) adjacent to the upper template (2840) of the candidate reference block (2830). This is can be expressed in the form of
  • the image decoding device (2000) may obtain first sample values based on intra prediction information for blocks surrounding the current block (2810). For example, if the image decoding device (2000) identifies blocks surrounding the current block (2810) as having been reconstructed through intra prediction, the image decoding device (2000) may obtain first sample values corresponding to the locations of samples within the current block (2810) by using the intra prediction mode of the corresponding blocks surrounding the current block.
  • a neighboring block may be at least one of a spatial neighboring block and a temporal neighboring block in relation to the current block (2810), but is not limited to the disclosed example.
  • a spatial neighboring block may be adjacent or non-adjacent to the current block (2810).
  • subjective image quality can be improved by considering not only the sample change in the temporal direction between templates of each block, but also the continuity between each block and template, thereby considering the sample change in the spatial direction.
  • Fig. 29 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • the image decoding device (2000) can obtain a prediction block of the current block (2910) based on at least one of a template (2920, 2925) of the current block (2910), a candidate reference block (2930), and a template (2940, 2945) of the candidate reference block (2930), and can reconstruct the current block (2910) using the prediction block.
  • the image decoding device (2000) can obtain first sample values corresponding to positions of samples (2923, 2928) within the current block (2910) based on templates (2920, 2925) of the current block (2910), candidate reference blocks (2930), and templates (2940, 2945) of the candidate reference blocks (2930).
  • the image decoding device (2000) can obtain second sample values of samples (2943, 2948) within the candidate reference block (2830).
  • the image decoding device (2000) may determine the template cost by using the difference between the first sample values and the second sample values at the positions corresponding to the first sample values. For example, the image decoding device (2000) may determine the template cost () between the current block (2910) and the candidate reference block (2930) according to the following mathematical expression 7. ) can be determined.
  • the image decoding device (2000) may determine a template cost according to mathematical expression 7 after performing an operation of acquiring or determining first sample values.
  • the image decoding device (2000) can obtain first sample values based on at least one of first current template sample values for first current template samples (2922, 2927) adjacent to the current block among the samples included in the templates (2920, 2925) of the current block (2910) and second current template sample values for second current template samples (2921, 2926) adjacent to the first current template samples among the samples included in the templates (2920, 2925) of the current block (2910).
  • the first current template samples (2922, 2927) are: and , and the second current template samples (2921, 2926) are and can be expressed as represents sample values for adjacent samples (2921) of the current block (2910) and adjacent samples (2922) within the upper template (2920) of the current block (2910), may represent sample values for adjacent samples (2926) of the current block (2910) and adjacent samples (2927) within the left template (2925) of the current block (2910).
  • the image decoding device (2000) can obtain the first sample values by using the difference between the first current template sample values and the second current template sample values at positions corresponding to (adjacent to) the first current template sample values.
  • the samples (2923,) adjacent to the upper template (2920) of the current block (2910) )silver Based on the assumption of, It can be determined according to the formula.
  • the samples (2928, ) adjacent to the left template (2925) of the current block (2910) )silver Based on the assumption of, It can be determined by consciousness.
  • the image decoding device (2000) can obtain the first sample values by using linearity for the first current template sample values and the second current template sample values at positions corresponding to (adjacent to) the first current template sample values.
  • the image decoding device (2000) can obtain the first linear parameter and the second linear parameter by performing linear regression analysis on the first current template sample values and the second current template sample values.
  • the image decoding device (2000) may obtain first sample values using a first linear parameter, a second linear parameter, and first current template sample values.
  • the first linear parameter and the second linear parameter may be determined or obtained for each of the upper template (2920) and the left template (2925) of the current block (2910), or may be determined or obtained as parameters integrated into both the upper template (2920) and the left template (2925).
  • the image decoding device (2000) The first linear parameter satisfying and the second linear parameter The first sample values can be determined by using the sample values for the samples (2922) included in the upper template (2920) of the current block (2910) among the first linear parameter, the second linear parameter, and the first current template sample values obtained through linear regression analysis.
  • the image decoding device (2000) According to the formula, among the first sample values, the samples (2923, ) adjacent to the upper template (2920) of the current block (2910) ) can be obtained as sample values.
  • the image decoding device (2000) The first linear parameter satisfying and the second linear parameter
  • the image decoding device (2000) can obtain the first linear parameter, the second linear parameter, and the first current template sample values by using the samples included in the left template (2925) of the current block (2910) through linear regression analysis, and determine the first sample values. According to the formula, among the first sample values, the samples (2928, ) adjacent to the left template (2925) of the current block (2910) ) can be obtained as sample values.
  • the image decoding device (2000) may obtain first sample values by using the difference or linearity between the first current template sample values and the second current template sample values, respectively, and determine a template cost between the current block (2910) and the candidate reference block (2930) by using the difference between the first sample values and the second sample values.
  • Fig. 30 is a diagram for explaining an operation of determining a template cost according to one embodiment.
  • the image decoding device (2000) can obtain a prediction block of the current block (3010) based on at least one of a template (3020, 3025) of the current block (3010), a candidate reference block (3030), and a template (3040, 3045) of the candidate reference block (3030), and can reconstruct the current block (3010) using the prediction block.
  • the image decoding device (2000) can obtain first sample values corresponding to positions of samples (3023, 3028) within the current block (3010) based on templates (3020, 3025) of the current block (3010), candidate reference blocks (3030), and templates (3040, 3045) of the candidate reference blocks (3030).
  • the image decoding device (2000) can obtain second sample values of samples (3043, 3048) within the candidate reference block (2830).
  • the image decoding device (2000) can determine a template cost based on first sample values and second sample values. Meanwhile, since the first sample values and second sample values have been described in detail in FIGS. 28 and 29 , the same details will be omitted.
  • the image decoding device (2000) may determine the template cost by using the difference between the first sample values and the second sample values at the positions corresponding to the first sample values. For example, the image decoding device (2000) may determine the template cost () between the current block (3010) and the candidate reference block (3030) according to Equation 7 of FIG. 29. ) can be determined. The same content as Fig. 29 is omitted as it is redundant.
  • the image decoding device (2000) can obtain first sample values based on at least one of first current template sample values for first current template samples (3022, 3027) adjacent to the current block among the samples included in the templates (3020, 3025) of the current block (3010) and second current template sample values for second current template samples (3021, 3026) adjacent to the first current template samples (3022, 3027) among the samples included in the templates (3020, 3025) of the current block (3010).
  • the image decoding device (2000) can obtain second sample values based on at least one of first reference template sample values for first reference template samples (3042, 3047) adjacent to the candidate reference block (3030) among the samples included in the templates (3040, 3045) of the candidate reference block (3030) and second reference template sample values for second reference template samples (3041, 3046) adjacent to the first reference template samples (3042, 3047) among the samples included in the templates (3040, 3045) of the candidate reference block (3030).
  • the image decoding device (2000) can obtain the first linear parameter and the second linear parameter through linear regression analysis on the samples included in the template (3020, 3025) of the current block (3010) and the samples included in the template (3040, 3045) of the candidate reference block (3030).
  • Each of the samples included in the template (3020, 3025) of the current block (3010) and the samples included in the template (3040, 3045) of the candidate reference block (3030) is: i) first current template samples (3022, 3027) and first reference template samples (3042, 3047) adjacent to the candidate reference block among the samples included in the template of the candidate reference block, ii) second current template samples (3021, 3026) and second reference template samples (3041, 3046) adjacent to the first reference template samples among the samples included in the template of the candidate reference block, and iii) first current template samples (3022, 3027) and second current template samples (3021, 3026) and first reference template samples (3042, 3047) and second reference template samples (3042, 3047) It can be any one of the samples (3041, 3046).
  • the image decoding device (2000) can obtain a first linear parameter and a second linear parameter through linear regression analysis on the first current template sample values of the first current template samples (3022, 3027) and the first reference template sample values of the first reference template samples (3042, 3047).
  • the video decoding device (2000) and The first linear parameter satisfying at least one of the equations is and the second linear parameter can be obtained through linear regression analysis. That is, parameters satisfying the above equation can be obtained only for the upper templates, parameters satisfying the above equation can be obtained only for the left templates, or parameters satisfying the above equation can be obtained for the upper templates and the left templates.
  • the image decoding device (2000) can obtain a first linear parameter and a second linear parameter through linear regression analysis on the second current template sample values of the second current template samples (3021, 3026) and the second reference template sample values of the second reference template samples (3041, 3046).
  • the video decoding device (2000) and The first linear parameter satisfying at least one of the equations is and the second linear parameter can be obtained through linear regression analysis. That is, parameters satisfying the above equation can be obtained only for the upper templates, parameters satisfying the above equation can be obtained only for the left templates, or parameters satisfying the above equation can be obtained for the upper templates and the left templates.
  • the image decoding device (2000) can obtain a first linear parameter and a second linear parameter through linear regression analysis on the first current template sample values, the second current template sample values, and the first reference template sample values and the second reference template sample values.
  • the video decoding device (2000) class and class
  • the first linear parameter satisfying at least one of the equations is and the second linear parameter can be obtained through linear regression analysis. That is, parameters satisfying the above equation can be obtained only for the upper templates, parameters satisfying the above equation can be obtained only for the left templates, or parameters satisfying the above equation can be obtained for the upper templates and the left templates.
  • the image decoding device (2000) can obtain or determine first sample values using first linear parameters and second linear parameters obtained through linear regression analysis on samples included in templates (3020, 3025) of a current block (3010) and samples included in templates (3040, 3045) of a candidate reference block (3030).
  • the image decoding device (2000) can obtain the first sample values using the first linear parameter, the second linear parameter, and the second sample values.
  • the image decoding device (2000) obtains the first linear parameter and the second linear parameter using the method described above, and By applying the first linear parameter, the second linear parameter, and the second sample values to the equation, the first sample values can be obtained.
  • the video decoding device (2000) can identify whether to use a method for calculating a template cost according to Equation 7.
  • the video decoding device (2000) can determine whether to use a method for calculating a template cost according to Equations 5 to 7 by verifying templates (3040, 3045) of a candidate reference block (3030) and sample values for the candidate reference block (3030).
  • the image decoding device (2000) may obtain third sample values corresponding to positions of samples (3043, 3048) within the candidate reference block (3030) by using the difference between first reference template sample values for first reference template samples (3042, 3047) adjacent to the candidate reference block (3030) among the samples included in the template (3040, 3045) of the candidate reference block (3030) and second reference template sample values for second reference template samples (3041, 3046) adjacent to the first reference template samples (3042, 3047) among the samples included in the template of the candidate reference block (3030).
  • the image decoding device (2000) can obtain third sample values by using the difference between the second reference template sample values and the first reference template sample values at positions corresponding to the second reference template sample values.
  • the third sample values may be sample values corresponding to the positions of the second sample values.
  • the second sample values may represent restored sample values within the candidate reference block (3030), but the third sample values may represent sample values corresponding to the positions of samples within the candidate reference block predicted using the template (3040, 3045) of the candidate reference block (3030).
  • the third sample values are sample values predicted using the template (3040, 3045) of the candidate reference block (3030). and , and the second sample values may be restored sample values within the candidate reference block. and These may be sample values corresponding to .
  • samples adjacent to the upper template (3040) of the candidate reference block (3030) among the third sample values )silver, Based on the assumption of, It can be determined according to the formula.
  • samples adjacent to the left template (3045) of the candidate reference block (3030) )silver, Based on the assumption of, It can be determined by consciousness.
  • the image decoding device (2000) can obtain third sample values by using linearity for the first reference template sample values and the second reference template sample values at positions corresponding to (adjacent to) the first reference template sample values.
  • the image decoding device (2000) can obtain the first reference parameter and the second reference parameter through linear regression analysis for the first reference template sample values and the second reference template sample values.
  • the first reference parameter and the second reference parameter may be determined or obtained for each of the upper template (3040) and the left template (3045) of the candidate reference block (3030), or may be determined or obtained as parameters integrated into both the upper template (3040) and the left template (3045).
  • the image decoding device (2000) may obtain the first reference parameter, the second reference parameter, and the third sample values by using the sample values for the samples (3042) included in the upper template (3040) of the candidate reference block (3030) among the first reference parameter, the second reference parameter, and the first reference template sample values. According to the formula, among the third sample values, samples adjacent to the upper template (3040) of the candidate reference block (3030) ) can be obtained as sample values.
  • the image decoding device (2000) may obtain the first reference parameter, the second reference parameter, and the third sample values by using the sample values for the samples (3047) included in the left template (3045) of the candidate reference block (3030) among the first reference parameter, the second reference parameter, and the first reference template sample values. According to the formula, among the third sample values, the samples adjacent to the left template (3045) of the candidate reference block (3030) ) can be obtained as sample values.
  • the image decoding device (2000) and The first reference parameter that satisfies and the second reference parameter can obtain the first reference parameter, the second reference parameter, and the first reference template sample values through linear regression analysis, and determine the third sample values using the first reference parameter, the second reference parameter, and the first reference template sample values. and According to the consciousness, third sample values can be obtained.
  • the image decoding device (2000) can obtain third sample values by using the difference or linearity between the first reference template sample values and the second reference template sample values, respectively, and identify whether the difference between the second sample values and the third sample values is less than or equal to a threshold value.
  • the image decoding device (2000) may perform a verification process by identifying whether the difference between the second sample values and the third sample values for all samples included in the samples at positions included in the candidate reference block (3030) is less than or equal to a threshold value.
  • the image decoding device (2000) may perform a verification process by identifying whether the difference between the second sample values and the third sample values for some samples included in the samples at positions included in the candidate reference block is less than or equal to a threshold value.
  • the unit at which the verification process is performed may be a 2-sample interval.
  • a threshold value may be predefined between the image decoding device (2000) and the image encoding device.
  • the threshold value may be predefined as N*Template_width for the left templates and N*Template_height for the upper templates.
  • N is an integer greater than or equal to 1
  • Template_width and Template_height may represent template sizes.
  • Template_width or Template_height may be 4, but is not limited to the disclosed example.
  • the threshold value is not limited to the disclosed example, and may be arbitrarily designated or experimentally determined.
  • the image decoding device (2000) may obtain the first sample values by using the difference or linearity between the first current template sample values and the second current template sample values, and may determine the template cost between the current block (3010) and the candidate reference block (3030) by using the difference between the first sample values and the second sample values.
  • the image decoding device (2000) may determine a template cost between the current block (3010) and the candidate reference block (3030) using one of the cost functions of SAD, SATD, SSE, MR-SAD, MR-SSE, and HoG.
  • the image decoding device (2000) may determine the template cost for the candidate reference block as a specific value for not determining the candidate reference block as a reference block among a plurality of candidate reference blocks based on the identification result of whether the difference between the second sample values and the third sample values is less than or equal to a threshold value. For example, if the difference between the second sample values and the third sample values exceeds the threshold value, the image decoding device (2000) may determine the template cost for the candidate reference block (3030) as the maximum template cost value among a pre-configured template cost list for the plurality of candidate reference blocks.
  • Figure 31 is a flowchart of an image decoding method according to one embodiment.
  • step S3110 the image decoding device (2000) can obtain first sample values corresponding to positions of samples within the current block based on at least one of the template of the current block, the candidate reference block, and the template of the candidate reference block.
  • the image decoding device (2000) can obtain first sample values corresponding to positions of samples within the current block based on the template of the current block, the candidate reference block, and the template of the candidate reference block.
  • the image decoding device (2000) can obtain second sample values of samples within the candidate reference block.
  • the first sample values may be sample values for samples adjacent to the template of the current block within the current block.
  • the second sample values may be samples adjacent to the template of the candidate reference block within the candidate reference block.
  • the image decoding device (2000) can obtain first sample values based on at least one of first current template sample values for first current template samples adjacent to the current block among samples included in the template of the current block and second current template sample values for second current template samples adjacent to the first current template samples among samples included in the template of the current block.
  • the image decoding device (2000) can obtain the first sample values by using the difference between the first current template sample values and the second current template sample values at positions corresponding to the first current template sample values.
  • the image decoding device (2000) can obtain the first sample values by using linearity for the first current template sample values and the second current template sample values located adjacent to the first current template sample values.
  • the image decoding device (2000) can obtain the first linear parameter and the second linear parameter by performing linear regression analysis on the first current template sample values and the second current template sample values.
  • the image decoding device (2000) may obtain a first linear parameter and a second linear parameter through linear regression analysis on samples included in a template of a current block and samples included in a template of a candidate reference block.
  • Each of the samples included in the template of the current block and the samples included in the template of the candidate reference block may be any one of: i) first reference template samples adjacent to the candidate reference block among the first current template samples and the samples included in the template of the candidate reference block, ii) second reference template samples adjacent to the first reference template samples among the second current template samples and the samples included in the template of the candidate reference block, and iii) the first current template samples and the second current template samples and the first reference template samples and the second reference template samples.
  • the image decoding device (2000) can obtain first sample values using a first linear parameter, a second linear parameter, and first current template sample values.
  • the image decoding device (2000) may determine the first sample values to have the same values as the second sample values of the samples within the candidate reference block.
  • the first sample values may be determined to have the same values as the second sample values of the samples within the candidate reference block corresponding to the positions of the samples within the current block.
  • the image decoding device (2000) may obtain first sample values based on intra prediction information for blocks surrounding the current block. For example, if the image decoding device (2000) identifies blocks surrounding the current block as having been reconstructed through intra prediction, the device may obtain first sample values corresponding to the positions of samples within the current block using the intra prediction mode of the blocks surrounding the current block.
  • step S3120 the image decoding device (2000) can determine a template cost based on the first sample values and the second sample values of the samples in the candidate reference block.
  • the image decoding device (2000) may use SAD (Sum of Absolute Difference), SATD (Sum of Absolute Transformed Difference), SSE (Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), and HoG (Histogram of Oriented Gradient) as cost functions for determining template cost in the process of performing template matching between a current block and a candidate reference block.
  • the image decoding device (2000) can determine a template cost using the above cost function between the first sample values and the second sample values.
  • the image decoding device (2000) can determine a template cost by using the difference between each of the first sample values and the second sample values at positions corresponding to the first sample values.
  • the image decoding device (2000) can obtain the difference between the first current template sample values of the first current template samples and the first sample values, respectively, and the image decoding device (2000) can obtain the difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the image decoding device (2000) can calculate a template cost between a current block and a candidate reference block based on a difference between the first current template sample values of the first current template samples and the first sample values, respectively, and a difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the image decoding device (2000) can calculate a template cost between a current block and a candidate reference block based on applying a first weight to a difference between the first current template sample values of the first current template samples and the first sample values, and applying a second weight to a difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the image decoding device (2000) can determine the template cost without considering the K least significant bits (LSBs).
  • K may be 2, but is not limited to the disclosed example.
  • a method of considering the least significant bits can be used to increase the compression speed.
  • step S3130 the image decoding device (2000) can determine a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the image decoding device (2000) repeatedly performs a process of finding a template similar to the template of the current block during the process of performing template matching.
  • the image decoding device (2000) may obtain first sample values and second sample values corresponding to each of the candidate reference blocks by using a current block, candidate reference blocks corresponding to a plurality of candidate locations, and templates corresponding to each of the candidate reference blocks. In addition, the image decoding device (2000) may calculate template costs corresponding to each of the candidate reference blocks.
  • the video decoding device (2000) may construct a template cost list according to template costs of candidate reference blocks.
  • the video decoding device (2000) may sort the template cost list in ascending order according to templates, and may determine a candidate reference block corresponding to the lowest template cost among a plurality of candidate reference blocks as a reference block.
  • the image decoding device (2000) can obtain an index for a template cost list and determine a candidate reference block corresponding to a predetermined template cost in the template cost list indicated by the index for the template cost list as a reference block.
  • template costs corresponding to a plurality of candidate reference blocks included in the template cost list may be determined in different ways for each candidate reference block.
  • the first template cost may be determined through SAD
  • the second template cost may be determined through MR-SAD.
  • the third template cost may be determined according to Equation 5 of the present disclosure
  • the fourth template cost may be determined according to Equation 6 of the present disclosure.
  • the template costs may be determined in various ways, not limited to the disclosed examples.
  • step S3140 the image decoding device (2000) can obtain a prediction block of the current block using a reference block.
  • the image decoding device (2000) can determine a reference block within a current image including the current block or within an image different from the current image through steps S3110 to S3130.
  • the image decoding device (2000) can determine or obtain a predicted block by performing prediction on a current block using a reference block.
  • the prediction on the current block may be inter-prediction or intra-prediction, but is not limited to the disclosed example.
  • the image decoding device (2000) may determine whether to use the template cost calculation method according to mathematical equations 5 to 7 of the present disclosure after performing verification on the template of the candidate reference block and the sample values for the candidate reference block.
  • the image decoding device (2000) may determine whether to perform the steps of step S3110 to step S3140 after performing verification on the template of the candidate reference block and the sample values for the candidate reference block.
  • the image decoding device (2000) can obtain third sample values by using the difference between the second reference template sample values and the first reference template sample values at positions corresponding to the second reference template sample values.
  • the image decoding device (2000) can obtain third sample values by using linearity for the first reference template sample values and the second reference template sample values located adjacent to the first reference template sample values.
  • the image decoding device (2000) can obtain the first reference parameter and the second reference parameter through linear regression analysis for the first reference template sample values and the second reference template sample values.
  • the image decoding device (2000) can obtain third sample values by using the difference or linearity between the first reference template sample values and the second reference template sample values, respectively, and identify whether the difference between the second sample values and the third sample values is less than or equal to a threshold value.
  • the image decoding device (2000) may determine the template cost for a candidate reference block as a specific value so as not to determine the candidate reference block as a reference block among a plurality of candidate reference blocks, based on the identification result of whether the difference between the second sample values and the third sample values is less than or equal to a threshold value.
  • steps S3110 to S3140 can be used in any situation as long as it is a process of determining or calculating a template cost, regardless of intra prediction or inter prediction.
  • the operation of determining or calculating the template cost includes Template Matching based Advanced Motion Vector Prediction mode (TM-AMVP), Template Matching based Merge mode (TM-MRG), Geometric Partitioning Mode using Template Matching (GPM-TM), Overlapped Block Motion Compensation mode using Template Matching (OBMC-TM), Combined Inter-Intra Prediction mode using Template Matching (CIIP-TM), Reordering for TMVP(Temporal Motion Vector Prediction) and non-adjacent MVP (Motion Vector Prediction), TM-MMVD(TM based Merge mode with Motion Vector Difference), GPM(Geometric Partitioning Mode) split mode reordering, ARMC(Adaptive Reordering of Merge Candidate), Refined motion for ARMC(Adaptive Reordering of Merge Candidate), Diversity criterion for ARMC(Adaptive Reordering of Merge) Candidate), Reference picture It can be performed in at least one of reordering, MVD (Motion Vector Difference) prediction
  • the template cost may be determined to perform correction or adjustment on a motion vector or a block vector, and may also be determined to perform re-ordering on a given list.
  • the operation of determining or calculating the template cost may differ in the way the search pattern and template cost are used for each mode.
  • Fig. 32 is a block diagram illustrating a configuration of an image encoding device according to one embodiment.
  • the memory (3210) and the processor (3230) may be implemented as at least one memory and at least one processor.
  • the operations of the prediction encoding unit (1915) and the entropy encoding unit (1925) illustrated in FIG. 19 may be implemented according to instructions called by at least one process.
  • the video encoding device (3200) may include a storage medium that stores input/output data of at least one of the prediction encoding unit (1915) and the entropy encoding unit (1925) illustrated in FIG. 19.
  • the storage medium may be included in the memory (3210) or may be a different storage medium separate from the memory (3210).
  • the image encoding device (3200) may include a storage medium control unit that controls data input/output of the storage medium.
  • the storage medium control unit may be included in the processor (3230), or may be a control unit different from the processor (3230).
  • the image encoding device (3200) can determine a prediction mode of a current block within a current image.
  • the prediction mode of the current block can include an inter mode.
  • the inter mode is a mode that predicts or reconstructs the current block based on a reference image to reduce temporal redundancy between images.
  • the current block can be a maximum coding unit, coding unit, transformation unit, or prediction unit split from a current image to be encoded.
  • the prediction mode of the current block may be determined as an intra mode.
  • the image encoding device (3200) may perform intra prediction on the current block according to the prediction mode of the current block, and may encode the current block using a prediction block generated as a result of performing the intra prediction.
  • the prediction mode of the current block may be determined as an inter mode.
  • the image encoding device (3200) may perform inter prediction on the current block according to the prediction mode of the current block, and may encode the current block using the prediction block generated as a result of performing the inter prediction.
  • the bitstream may include information regarding the prediction mode of the current block.
  • the image decoding device (2000) may obtain information about the intra prediction mode of the current block from the bitstream when the prediction mode of the current block is the intra mode.
  • the information about the intra prediction mode of the current block may include information indicating a method for determining the intra prediction mode.
  • a method for determining an intra prediction mode may include a method for determining an intra prediction mode using a reference block, a method for determining an intra prediction mode using a template, or a method for determining an intra prediction mode using information obtained from a bitstream.
  • information indicating a method for determining an intra prediction mode may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information indicating a method for determining an intra prediction mode may not be included in the bitstream.
  • the image encoding device (3200) may determine the intra prediction mode of the current block according to a method predetermined between the image encoding device (2000).
  • the video encoding device (3200) may determine an intra prediction mode indicated by the information stored in the bitstream among a plurality of intra prediction modes as the intra prediction mode of the current block.
  • information indicating the intra prediction mode of the current block among the information stored in the bitstream may include a flag or index indicating any one of the plurality of intra prediction modes.
  • the image encoding device (3200) may determine the intra prediction mode of the current block by using a reference block in the current image that is restored before the current block or a template of the reference block in the current image.
  • the image encoding device (3200) when encoding a current block based on a reference image, may use one reference image (e.g., unidirectional prediction) or two reference images (e.g., bidirectional prediction). Whether the current block is unidirectionally predicted or bidirectionally predicted may be determined based on a flag or index indicating which reference picture list among a plurality of reference picture lists in the bitstream is to be used.
  • one reference image e.g., unidirectional prediction
  • two reference images e.g., bidirectional prediction
  • the video encoding device (3200) may determine an index indicating a reference picture list indicating which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block. For example, the video encoding device (3200) may determine an index indicating a reference picture list including a reference picture used for prediction of the current block among the plurality of reference picture lists. When encoding the current block through pair prediction, the video encoding device (3200) may determine an index indicating that two reference picture lists are to be used.
  • the bitstream may include information about a reference picture list indicating which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block.
  • the information about the reference picture list may include an index indicating a reference picture list among the plurality of reference picture lists that includes a reference image used for prediction of the current block.
  • the video encoding device (3200) may identify or determine prediction information used to determine a reference block of the current block when the current block is inter-predicted.
  • the prediction information of the current block may be included in a bitstream.
  • the prediction information of the current block may include at least one of information about a prediction mode of the current block in the current image, information about a reference picture list (for example, information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or a pair of predictions (L0 and L1) are used for inter-prediction of the current block), information about a reference image index, information about a motion vector predictor, and information about a motion vector difference, and may include all information for determining a motion vector of the current block without being limited to the disclosed examples.
  • a reference picture list for example, information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or a pair of predictions (L0 and L1) are used for inter-prediction of
  • the video encoding device (3200) can encode the current block by determining a predetermined candidate block from a candidate block list consisting of candidate blocks of previously encoded blocks adjacent to the current block, previously encoded blocks not adjacent to the current block, blocks included in a collocated image, or neighboring blocks of the collocated image, and obtaining or determining a motion vector of the predetermined candidate block as a motion vector predictor of the current block.
  • the video encoding device (3200) can determine or obtain an index indicating a candidate block for determining a motion vector of the current block and store the index in a bitstream.
  • the video encoding device (3200) can determine a reference block in the reference image of the current block when the current block is inter-predicted. For example, the video encoding device (3200) can determine the reference block of the current block by performing template matching based on the point indicated by the motion vector of the determined current block.
  • the video encoding device may determine to perform template matching by comparing before and after performing template matching by performing a rate-distortion cost operation, and may obtain an index indicating that template matching is performed; however, without being limited to the disclosed example, it may be preset to perform or not perform template matching in a certain area regardless of the index indicating that template matching is performed.
  • the video encoding device (3200) can determine a reference block of the current block by adjusting or correcting an initial motion vector of the current block by comparing the current template with a template within a predetermined area including the block pointed to by the determined motion vector. Meanwhile, a motion vector before being adjusted by template matching may be referred to as an initial motion vector.
  • an operation of determining a template cost according to the present disclosure may be used.
  • template matching surrounding sample values encoded before the current block may be used as templates.
  • the prediction information may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • encoding of a current block may refer to a process of generating information that enables an image decoding device (2000) to restore the current block.
  • the information generated through encoding may be included in a bitstream after undergoing additional processing.
  • the image encoding device (3200) when a prediction block is generated through inter prediction or intra prediction for the current block, the image encoding device (3200) can encode the current block using the prediction block.
  • the video encoding device (3200) may generate residual data corresponding to the difference between the predicted block and the current block. If the predicted block is determined to be the current block, residual data may not be generated.
  • an image encoding device may generate a bitstream including information generated according to image encoding.
  • the bitstream may include data generated as a result of encoding the current block.
  • the bitstream may include prediction information for the current block.
  • the image encoding device (3200) can transmit a bitstream to the image decoding device (2000) via a network.
  • the image encoding device (3200) can store a bitstream in a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • an image encoding device may generate a bitstream including syntax elements generated through encoding of an image. Values corresponding to the syntax elements may be included in the bitstream according to the hierarchical structure of the image.
  • a video encoding device may encode bins of syntax elements and include them in a bitstream.
  • the encoding operation may include at least one of binarization and entropy encoding operations.
  • the video encoding device (3200) may search for and determine the template most similar to the current template within a predetermined range centered on a point indicated by a block vector of the current block or a point indicated by a motion vector of the current block.
  • the video encoding device (3200) may also search for and determine the template most similar to the current template within a predetermined range based on the current block. The process of searching for the most similar template may be performed while determining the template cost of the template within the search range, which is a predetermined range, and the template of the current block, and the candidate reference block with the lowest template cost may be determined as the reference block.
  • information on whether to perform template matching with a current block or information related to template matching performed on the current block may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information on whether to perform template matching and information related to template matching performed on the current block may not be included in the bitstream.
  • information related to template matching performed on the current block may include information on a method for determining a template cost, etc.
  • the bitstream may include an index or flag indicating a template cost for any one of the candidate reference blocks in the template cost list.
  • the video encoding device (3200) may perform a rate-distortion cost (RD cost) calculation on the candidate reference blocks in the template cost list to determine an index or flag indicating a template cost for an optimal candidate reference block.
  • RD cost rate-distortion cost
  • the video encoding device (3200) can obtain a reference block through an index indicating information about a given candidate reference block in a template cost list.
  • the video encoding device (3200) can reconstruct a current block using a reference block.
  • the video encoding device (3200) can generate a prediction block using the reference block, and reconstruct or generate a current block using the prediction block and residual data.
  • the operation of the image encoding device (3200) may be the same as the operation of the image decoding device (2000), and therefore, the same content is omitted.
  • Figure 33 is a flowchart of an image encoding method according to one embodiment.
  • the image encoding device (3200) can obtain first sample values corresponding to positions of samples within the current block based on at least one of the template of the current block, the candidate reference block, and the template of the candidate reference block.
  • the video encoding device (3200) can obtain first sample values corresponding to positions of samples within the current block based on the template of the current block, the candidate reference block, and the template of the candidate reference block.
  • the video encoding device (3200) can obtain second sample values of samples within the candidate reference block.
  • the first sample values may be sample values for samples adjacent to the template of the current block within the current block.
  • the second sample values may be samples adjacent to the template of the candidate reference block within the candidate reference block.
  • the video encoding device (3200) can obtain first sample values based on at least one of first current template sample values for first current template samples adjacent to the current block among samples included in the template of the current block and second current template sample values for second current template samples adjacent to the first current template samples among samples included in the template of the current block.
  • the image encoding device (3200) can obtain the first sample values by using the difference between the first current template sample values and the second current template sample values at positions corresponding to the first current template sample values.
  • the image encoding device (3200) can obtain the first sample values by using linearity for the first current template sample values and the second current template sample values located adjacent to the first current template sample values.
  • the image encoding device (3200) can obtain the first linear parameter and the second linear parameter by performing linear regression analysis on the first current template sample values and the second current template sample values.
  • the video encoding device (3200) may obtain a first linear parameter and a second linear parameter through linear regression analysis on samples included in a template of a current block and samples included in a candidate reference block.
  • Each of the samples included in the template of the current block and the samples included in the candidate reference block may be any one of: i) first reference template samples adjacent to the candidate reference block among the first current template samples and the samples included in the template of the candidate reference block, ii) second reference template samples adjacent to the first reference template samples among the second current template samples and the samples included in the template of the candidate reference block, and iii) the first current template samples and the second current template samples and the first reference template samples and the second reference template samples.
  • the image encoding device (3200) can obtain first sample values using the first linear parameter, the second linear parameter, and the first current template sample values.
  • the video encoding device (3200) may determine the first sample values to have the same values as the second sample values of the samples within the candidate reference block.
  • the first sample values may be determined to have the same values as the second sample values of the samples within the candidate reference block corresponding to the positions of the samples within the current block.
  • the video encoding device (3200) may obtain first sample values based on intra prediction information for blocks surrounding the current block. For example, if the video encoding device (3200) identifies blocks surrounding the current block as having been reconstructed through intra prediction, the video encoding device (3200) may obtain first sample values corresponding to the positions of samples within the current block using the intra prediction mode of the corresponding blocks surrounding the current block.
  • step S3320 the image encoding device (3200) can determine a template cost based on the first sample values and the second sample values of the samples in the candidate reference block.
  • the video encoding device (3200) may use SAD (Sum of Absolute Difference), SATD (Sum of Absolute Transformed Difference), SSE (Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), and HoG (Histogram of Oriented Gradient) as cost functions for determining template cost in the process of performing template matching between a current block and a candidate reference block.
  • the image encoding device (3200) can determine a template cost using the above cost function between the first sample values and the second sample values.
  • the image encoding device (3200) can determine the template cost by using the difference between each of the first sample values and the second sample values at positions corresponding to the first sample values.
  • the video encoding device (3200) can obtain the difference between the first current template sample values of the first current template samples and the first sample values, respectively, and the video encoding device (3200) can obtain the difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the video encoding device (3200) can calculate a template cost between a current block and a candidate reference block based on a difference between the first current template sample values of the first current template samples and the first sample values, respectively, and a difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the video encoding device (3200) can calculate a template cost between a current block and a candidate reference block based on applying a first weight to a difference between the first current template sample values of the first current template samples and the first sample values, and applying a second weight to a difference between the first reference template sample values of the first reference template samples and the second sample values, respectively.
  • the video encoding device (3200) can determine the template cost without considering the K least significant bits (LSBs).
  • K may be 2, but is not limited to the disclosed example.
  • a method that considers the least significant bits can be used to increase the compression speed.
  • step S3330 the image encoding device (3200) can determine a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the image encoding device (3200) repeatedly performs a process of finding a template similar to the template of the current block during the process of performing template matching.
  • the video encoding device (3200) may obtain first sample values and second sample values corresponding to each of the candidate reference blocks by using a current block, candidate reference blocks corresponding to a plurality of candidate positions, and templates corresponding to each of the candidate reference blocks. In addition, the video encoding device (3200) may calculate template costs corresponding to each of the candidate reference blocks.
  • the video encoding device (3200) may construct a template cost list according to template costs of candidate reference blocks.
  • the video encoding device (3200) may sort the template cost list in ascending order according to templates, and may determine a candidate reference block corresponding to the lowest template cost among a plurality of candidate reference blocks as a reference block.
  • the video encoding device (3200) can determine an index for a candidate reference block to be used as a reference block for a current block from among the template cost list, and can obtain a bitstream including the determined index.
  • the video encoding device (3200) can determine a candidate reference block corresponding to a predetermined template cost within the template cost list indicated by the index for the template cost list as the reference block.
  • template costs corresponding to a plurality of candidate reference blocks included in the template cost list may be determined in different ways for each candidate reference block.
  • the first template cost may be determined through SAD
  • the second template cost may be determined through MR-SAD.
  • the third template cost may be determined according to Equation 5 of the present disclosure
  • the fourth template cost may be determined according to Equation 6 of the present disclosure.
  • the template costs may be determined in various ways, not limited to the disclosed examples.
  • step S3340 the image encoding device (3200) can obtain a prediction block of the current block using a reference block.
  • the image encoding device (3200) can determine a reference block within a current image including the current block or within an image different from the current image through steps S3310 to S3330.
  • the video encoding device (3200) may determine or obtain a predicted block by performing prediction on a current block using a reference block.
  • the prediction on the current block may be inter-prediction or intra-prediction, but is not limited to the disclosed example.
  • the video encoding device (3200) may determine whether to use the template cost calculation method according to mathematical equations 5 to 7 of the present disclosure after performing verification on the template of the candidate reference block and the sample values for the candidate reference block.
  • the video encoding device (3200) may determine whether to perform the steps of step S3310 to step S3340 after performing verification on the template of the candidate reference block and the sample values for the candidate reference block.
  • the image encoding device (3200) can obtain third sample values by using the difference between the second reference template sample values and the first reference template sample values at positions corresponding to the second reference template sample values.
  • the video encoding device (3200) can obtain third sample values by using linearity for the first reference template sample values and the second reference template sample values located adjacent to the first reference template sample values.
  • the video encoding device (3200) can obtain the first reference parameter and the second reference parameter through linear regression analysis for the first reference template sample values and the second reference template sample values.
  • the image encoding device (3200) can obtain third sample values by using the difference or linearity between the first reference template sample values and the second reference template sample values, respectively, and identify whether the difference between the second sample values and the third sample values is less than or equal to a threshold value.
  • the image encoding device (3200) may determine the template cost for a candidate reference block as a specific value so as not to determine the candidate reference block as a reference block among a plurality of candidate reference blocks, based on the identification result of whether the difference between the second sample values and the third sample values is less than or equal to a threshold value.
  • steps S3310 to S3340 can be used in any situation as long as it is a process of calculating template cost, regardless of intra prediction or inter prediction.
  • the operation of calculating the template cost includes Template Matching based Advanced Motion Vector Prediction mode (TM-AMVP), Template Matching based Merge mode (TM-MRG), Geometric Partitioning Mode using Template Matching (GPM-TM), Overlapped Block Motion Compensation mode using Template Matching (OBMC-TM), Combined Inter-Intradiction Prediction mode using Template Matching (CIIP-TM), Reordering for TMVP(Temporal Motion Vector Prediction) and non-adjacent MVP (Motion Vector Prediction), TM-MMVD(TM based Merge mode with Motion Vector Difference), GPM(Geometric Partitioning Mode) split mode reordering, ARMC(Adaptive Reordering of Merge Candidate), Refined motion for ARMC(Adaptive Reordering of Merge Candidate), Diversity criterion for ARMC(Adaptive Reordering of Merge) Candidate), Reference picture It can be performed in at least one of reordering, MVD (Motion Vector Difference) prediction, Sub
  • a video decoding method may include a step of obtaining first sample values corresponding to positions of samples within a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the video decoding method may include a step of determining a template cost based on the first sample values and second sample values of samples within the candidate reference block.
  • the video decoding method may include a step of determining a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the video decoding method may include a step of obtaining a prediction block of the current block using the reference block.
  • the first sample values may be sample values for samples adjacent to the template of the current block within the current block.
  • the second sample values may be sample values for samples adjacent to the template of the candidate reference block within the candidate reference block.
  • the image decoding method may include a step of determining a template cost using a difference between first sample values and second sample values at positions corresponding to the first sample values.
  • a method for decoding an image may include a step of obtaining first sample values based on at least one of first current template sample values for first current template samples adjacent to a current block among samples included in a template of a current block and second current template sample values for second current template samples adjacent to the first current template samples among samples included in the template of the current block.
  • the image decoding method may include a step of obtaining first sample values by using a difference between first current template sample values and second current template sample values at positions corresponding to the first current template sample values.
  • an image decoding method may include a step of obtaining a first linear parameter and a second linear parameter through linear regression analysis on first current template sample values and second current template sample values.
  • the image decoding method may include a step of obtaining first sample values using the first linear parameter, the second linear parameter, and the first current template sample values.
  • a method for decoding an image may include a step of obtaining a first linear parameter and a second linear parameter through a linear regression analysis on samples included in a template of a current block and samples included in a template of a candidate reference block.
  • Each of the samples included in the template of the current block and the samples included in the candidate reference block may be any one of: first reference template samples adjacent to the candidate reference block among the first current template samples and the samples included in the template of the candidate reference block; second reference template samples adjacent to the first reference template samples among the second current template samples and the samples included in the template of the candidate reference block; and first current template samples and second current template samples and first reference template samples and second reference template samples.
  • the image decoding method may further include a step of obtaining third sample values corresponding to positions of samples within the candidate reference block by using a difference between first reference template sample values for first reference template samples adjacent to the candidate reference block among samples included in the template of the candidate reference block and second reference template sample values for second reference template samples adjacent to the first reference template samples among samples included in the template of the candidate reference block.
  • the image decoding method may include a step of identifying whether a difference between the second sample values and the third sample values at positions corresponding to the second sample values is less than or equal to a threshold value.
  • a method for decoding an image may include a step of obtaining a first reference parameter and a second reference parameter through a linear regression analysis on first reference template samples adjacent to the candidate reference block among samples included in a template of a candidate reference block and second reference template samples adjacent to the first reference template samples among samples included in the template of the candidate reference block.
  • the method for decoding an image may include a step of obtaining third sample values corresponding to positions of samples within the candidate reference block using the first reference parameter, the second reference parameter, and the first reference template samples.
  • the method for decoding an image may include a step of identifying whether a difference between the second sample values and the third sample values at positions corresponding to the second sample values is less than or equal to a threshold value.
  • the image decoding method may include a step of determining, based on the identification result, a template cost for a candidate reference block as a specific value so as not to determine the candidate reference block as a reference block among a plurality of candidate reference blocks.
  • a video decoding method may include a step of obtaining a difference between first current template sample values and first sample values for first current template samples adjacent to the current block among samples included in a template of the current block, and a difference between first reference template sample values and second sample values for first reference template samples adjacent to the candidate reference block among samples included in a template of the candidate reference block.
  • the first sample values may have the same value as the second sample values of the samples in the candidate reference block corresponding to the positions of the samples in the current block corresponding to the first sample values.
  • the first sample values can be obtained based on intra prediction information for surrounding blocks of the current block.
  • an image decoding device including at least one memory storing at least one instruction; and at least one processor operating according to the at least one instruction.
  • the at least one processor may obtain first sample values corresponding to positions of samples in a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the at least one processor may determine a template cost based on the first sample values and second sample values of samples in the candidate reference block.
  • the at least one processor may determine a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the at least one processor may obtain a prediction block of the current block using the reference block.
  • a video encoding method may be provided.
  • the video encoding method may include a step of obtaining first sample values corresponding to positions of samples within a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the video encoding method may include a step of determining a template cost based on the first sample values and second sample values of samples within the candidate reference block.
  • the video encoding method may include a step of determining a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the video encoding method may include a step of obtaining a prediction block of the current block using the reference block.
  • an image encoding apparatus including at least one memory storing at least one instruction; and at least one processor operating according to the at least one instruction.
  • the at least one processor may obtain first sample values corresponding to positions of samples in a current block based on at least one of a template of a current block, a candidate reference block, and a template of the candidate reference block.
  • the at least one processor may determine a template cost based on the first sample values and second sample values of samples in the candidate reference block.
  • the at least one processor may determine a reference block from among a plurality of candidate reference blocks including the candidate reference block based on the template cost.
  • the at least one processor may obtain a prediction block of the current block using the reference block.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory storage medium simply means a tangible device that does not contain signals (e.g., electromagnetic waves). This term does not distinguish between cases where data is permanently stored in the storage medium and cases where data is temporarily stored.
  • a “non-transitory storage medium” may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store or directly between two user devices (e.g., smartphones).
  • a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or an intermediary server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시의 일 실시예에 따른 영상 복호화 방법은, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득하는 단계를 포함할 수 있다.

Description

템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법
본 개시는 영상의 부호화 및 복호화 분야에 관한 것으로서, 구체적으로, 템플릿 코스트를 이용하여 부호화 또는 복호화 함으로써, 영상을 부호화 또는 복호화하는 장치 및 방법에 관한 것이다.
영상의 부호화 및 복호화에서는 영상을 블록으로 분할하고, 인터 예측(inter prediction)을 통해 각각의 블록을 예측 부호화 및 예측 복호화한다.
인트라 예측은 영상 내 공간적 중복성을 제거하여 영상을 압축하는 기술이다. 인트라 예측에서는 현재 영상 내의 이미 부호화 또는 복호화된 주변 블록에 기초하여 예측하고, 예측 결과 생성된 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성한다.
인터 예측은 영상들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 기술이다. 인터 예측에서는 참조 영상을 이용해 현재 영상의 블록들을 예측한다. 현재 블록과 가장 유사한 참조 블록을 참조 영상 내 소정의 검색 범위에서 검색할 수 있다. 현재 블록을 참조 블록에 기초하여 예측하고, 예측 결과 생성된 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성한다.
H.264 AVC(Advanced Video Coding) 및 HEVC(High Efficiency Video Coding)와 같은 코덱에서는 현재 블록의 움직임 벡터를 예측하기 위해 현재 블록에 인접한 이전에 부호화된 블록들 또는 이전에 부호화된 영상에 포함된 블록들의 움직임 벡터를 현재 블록의 움직임 벡터 예측자(Motion Vector Predictor)로 이용한다. 현재 블록의 움직임 벡터와 움직임 벡터 예측자 사이의 차이인 움직임 벡터 차분(Motion Vector Difference)은 소정의 방식을 통해 디코더 측으로 시그널링된다.
인트라 예측 또는 인터 예측을 통해 생성된 잔차 블록은 변환 및 양자화를 거쳐 디코더로 전달된다. 디코더는 잔차 블록을 역양자화 및 역변환하고, 현재 블록의 예측 블록과 잔차 블록을 결합하여 현재 블록을 복원한다. 디코더는 일정한 경우 복원된 현재 블록을 필터링하여 복원된 현재 블록 내 아티팩트를 제거할 수 있다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 현재 블록에 대한 예측 부호화 및 예측 복호화의 성능을 향상시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 인트라 예측 모드 또는 인터 예측 모드의 시그널링에 필요한 데이터의 양을 감소시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 비트스트림의 비트레이트를 감소시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 복호화된 영상을 원본 영상과 더욱 근접하게 되도록 하여, 화질을 향상시키는 것을 과제로 한다.
본 개시를 통해 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에서, 영상 복호화 방법이 제공된다. 영상 복호화 방법은, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 복호화 장치가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 적어도 하나의 프로세서는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정할 수 있다. 적어도 하나의 프로세서는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 방법이 제공될 수 있다. 영상 부호화 방법은, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 부호화 방법은, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 부호화 장치가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 적어도 하나의 프로세서는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정할 수 있다. 적어도 하나의 프로세서는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
본 개시의 일 실시예에서, 상기 영상 부호화 장치에 의해 수행되는 상기 영상 부호화 방법에 따라 생성된 비트스트림이 저장되어 있는 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.
본 개시의 일 실시예에 따라, 영상의 복호화 및 부호화 과정에서, 영상의 압축 성능을 향상시키고, 시그널링에 필요한 데이터의 양을 감소시키며, 비트레이트를 줄이며, 예측의 성능을 향상시킬 수 있으며, 영상의 복호화 품질을 개선할 수 있다.
도 1은 일 실시예에 따른 영상 복호화 장치의 블록도이다.
도 2는 일 실시예에 따른 영상 부호화 장치의 블록도이다.
도 3은 일 실시예에 따라 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 4는 일 실시예에 따라 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 5는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
도 6은 일 실시예에 따라 홀수 개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 7은 일 실시예에 따라 현재 부호화 단위를 분할하여 복수 개의 부호화 단위들을 결정하는 경우, 복수 개의 부호화 단위들이 처리되는 순서를 도시한다.
도 8은 일 실시예에 따라 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수 개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
도 9는 일 실시예에 따라 제 1 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 10은 일 실시예에 따라 제 1 부호화 단위가 분할되어 결정된 비-정사각형 형태의 제 2 부호화 단위가 소정의 조건을 만족하는 경우 분할될 수 있는 형태가 제한됨을 도시한다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로의 분할을 나타낼 수 없는 경우, 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
도 12는 일 실시예에 따라 복수 개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수 개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
도 15는 일 실시예에 따라 픽처에 포함되는 복수 개의 소정의 데이터 단위에 따라 복수 개의 부호화 단위들이 결정된 것을 도시한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽처마다 서로 다른 경우, 각각의 픽처마다 결정될 수 있는 부호화 단위들을 도시한다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 19는 일 실시예에 따른 루프 필터링을 수행하는 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
도 20은 일 실시예에 따른 영상 복호화 장치의 구성을 도시하는 블록도이다.
도 21은 일 실시예에 따른 현재 블록과 시간적 및/또는 공간적으로 관련된 이웃 블록들을 도시하는 도면이다.
도 22는 일 실시예에 따른 템플릿 매칭에서의 템플릿을 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 24은 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 26는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하기 위한 검색 범위를 설명하기 위한 도면이다.
도 27는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
도 28는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 영상 복호화 방법의 순서도이다.
도 32은 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.
도 33는 일 실시예에 따른 영상 부호화 방법의 순서도이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 실시예를 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명한다. 그러나, 이는 본 개시의 실시 형태에 대해 한정하려는 것이 아니며, 본 개시는 여러 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함할 수 있다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 해당할 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나"의 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다.
본 개시에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 2개 이상의 구성요소로 나뉘어질 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주 기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수 있으며, 구성요소 각각이 담당하는 주 기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있다.
본 개시에서, '영상(image)'은 영상(picture), 정지영상, 프레임, 복수의 연속된 정지영상으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
본 개시에서, '샘플'은 영상의 샘플링 위치에 할당된 데이터로서 처리 대상이 되는 데이터를 의미할 수 있다. 예를 들어, 공간 영역의 프레임 내 픽셀이 샘플에 해당할 수 있다. 복수의 샘플들을 포함하는 단위를 블록이라고 정의할 수 있다.
이하에서는, 도 1 내지 도 19를 참조하여, 일 실시예에 따른 트리 구조의 부호화 단위 및 변환 단위에 기초한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치가 개시된다.
도 1은 일 실시예에 따른 영상 복호화 장치(100)의 블록도를 도시한다.
영상 복호화 장치(100)는 비트스트림 획득부(110) 및 복호화부(120)를 포함할 수 있다. 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서를 포함할 수 있다. 또한 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서가 수행할 명령어들을 저장하는 메모리를 포함할 수 있다.
비트스트림 획득부(110)는 비트스트림을 수신할 수 있다. 비트스트림은 후술되는 영상 부호화 장치(200)가 영상을 부호화한 정보를 포함한다. 또한 비트스트림은 영상 부호화 장치(200)로부터 송신될 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 유선 또는 무선으로 연결될 수 있으며, 비트스트림 획득부(110)는 유선 또는 무선을 통하여 비트스트림을 수신할 수 있다. 비트스트림 획득부(110)는 광학미디어, 하드디스크 등과 같은 저장매체로부터 비트스트림을 수신할 수 있다. 복호화부(120)는 수신된 비트스트림으로부터 획득된 정보에 기초하여 영상을 복원할 수 있다. 복호화부(120)는 영상을 복원하기 위한 신택스 엘리먼트를 비트스트림으로부터 획득할 수 있다. 복호화부(120)는 신택스 엘리먼트에 기초하여 영상을 복원할 수 있다.
영상 복호화 장치(100)의 동작에 대해 상세히 설명하면, 비트스트림 획득부(110)는 비트스트림을 수신할 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 부호화 단위의 분할 형태 모드에 대응하는 빈스트링을 획득하는 동작을 수행할 수 있다. 그리고, 영상 복호화 장치(100)는 부호화 단위의 분할 규칙을 결정하는 동작을 수행할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드에 대응하는 빈스트링 및 상기 분할 규칙 중 적어도 하나에 기초하여, 부호화 단위를 복수의 부호화 단위들로 분할하는 동작을 수행할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 너비 및 높이의 비율에 따른, 상기 부호화 단위의 크기의 허용 가능한 제 1 범위를 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 분할 형태 모드에 따른, 부호화 단위의 크기의 허용 가능한 제 2 범위를 결정할 수 있다.
이하에서는 본 개시의 일 실시예에 따라 부호화 단위의 분할에 대하여 자세히 설명한다.
먼저 하나의 픽처 (Picture)는 하나 이상의 슬라이스 혹은 하나 이상의 타일로 분할될 수 있다. 하나의 슬라이스 혹은 하나의 타일은 하나 이상의 최대 부호화 단위(Coding Tree Unit; CTU)의 시퀀스일 수 있다. 구현예에 따라, 하나의 슬라이스는 하나 이상의 타일을 포함하고, 하나의 슬라이스는 하나 이상의 최대 부호화 단위를 포함할 수도 있다. 하나 또는 복수의 타일을 포함하는 슬라이스가 픽처 내에서 결정될 수 있다.
최대 부호화 단위 (CTU)와 대비되는 개념으로 최대 부호화 블록 (Coding Tree Block; CTB)이 있다. 최대 부호화 블록(CTB)은 NxN개의 샘플들을 포함하는 NxN 블록을 의미한다(N은 정수). 각 컬러 성분은 하나 이상의 최대 부호화 블록으로 분할될 수 있다.
픽처가 3개의 샘플 어레이(Y, Cr, Cb 성분별 샘플 어레이)를 가지는 경우에 최대 부호화 단위(CTU)란, 루마 샘플의 최대 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 최대 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 최대 부호화 단위란, 모노크롬 샘플의 최대 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 최대 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
하나의 최대 부호화 블록(CTB)은 MxN개의 샘플들을 포함하는 MxN 부호화 블록(coding block)으로 분할될 수 있다 (M, N은 정수).
픽처가 Y, Cr, Cb 성분별 샘플 어레이를 가지는 경우에 부호화 단위(Coding Unit; CU)란, 루마 샘플의 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 부호화 단위란, 모노크롬 샘플의 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
위에서 설명한 바와 같이, 최대 부호화 블록과 최대 부호화 단위는 서로 구별되는 개념이며, 부호화 블록과 부호화 단위는 서로 구별되는 개념이다. 즉, (최대) 부호화 단위는 해당 샘플을 포함하는 (최대) 부호화 블록과 그에 대응하는 신택스 구조를 포함하는 데이터 구조를 의미한다. 하지만 당업자가 (최대) 부호화 단위 또는 (최대) 부호화 블록가 소정 개수의 샘플들을 포함하는 소정 크기의 블록을 지칭한다는 것을 이해할 수 있으므로, 이하 명세서에서는 최대 부호화 블록과 최대 부호화 단위, 또는 부호화 블록과 부호화 단위를 특별한 사정이 없는 한 구별하지 않고 언급한다.
영상은 최대 부호화 단위(Coding Tree Unit; CTU)로 분할될 수 있다. 최대 부호화 단위의 크기는 비트스트림으로부터 획득된 정보에 기초하여 결정될 수 있다. 최대 부호화 단위의 모양은 동일 크기의 정사각형을 가질 수 있다. 하지만 이에 한정되는 것은 아니다.
예를 들어, 비트스트림으로부터 루마 부호화 블록의 최대 크기에 대한 정보가 획득될 수 있다. 예를 들어, 루마 부호화 블록의 최대 크기에 대한 정보가 나타내는 루마 부호화 블록의 최대 크기는 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, 256x256 중 하나일 수 있다.
예를 들어, 비트스트림으로부터 2분할이 가능한 루마 부호화 블록의 최대 크기와 루마 블록 크기 차이에 대한 정보가 획득될 수 있다. 루마 블록 크기 차이에 대한 정보는 루마 최대 부호화 단위와 2분할이 가능한 최대 루마 부호화 블록 간의 크기 차이를 나타낼 수 있다. 따라서, 비트스트림으로부터 획득된 2분할이 가능한 루마 부호화 블록의 최대 크기에 대한 정보와 루마 블록 크기 차이에 대한 정보를 결합하면, 루마 최대 부호화 단위의 크기가 결정될 수 있다. 루마 최대 부호화 단위의 크기를 이용하면 크로마 최대 부호화 단위의 크기도 결정될 수 있다. 예를 들어, 컬러 포맷에 따라 Y: Cb : Cr 비율이 4:2:0 이라면, 크로마 블록의 크기는 루마 블록의 크기의 절반일 수 있고, 마찬가지로 크로마 최대 부호화 단위의 크기는 루마 최대 부호화 단위의 크기의 절반일 수 있다.
일 실시예에 따르면, 바이너리 분할(binary split)이 가능한 루마 부호화 블록의 최대 크기에 대한 정보는 비트스트림으로부터 획득하므로, 바이너리 분할이 가능한 루마 부호화 블록의 최대 크기는 가변적으로 결정될 수 있다. 이와 달리, 터너리 분할(ternary split)이 가능한 루마 부호화 블록의 최대 크기는 고정될 수 있다. 예를 들어, I 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 32x32이고, P 픽처 또는 B 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 64x64일 수 있다.
또한 최대 부호화 단위는 비트스트림으로부터 획득된 분할 형태 모드 정보에 기초하여 부호화 단위로 계층적으로 분할될 수 있다. 분할 형태 모드 정보로서, 쿼드분할(quad split) 여부를 나타내는 정보, 다분할 여부를 나타내는 정보, 분할 방향 정보 및 분할 타입 정보 중 적어도 하나가 비트스트림으로부터 획득될 수 있다.
예를 들어, 쿼드분할(quad split) 여부를 나타내는 정보는 현재 부호화 단위가 쿼드분할(QUAD_SPLIT)될지 또는 쿼드분할되지 않을지를 나타낼 수 있다.
현재 부호화 단위가 쿼드분할지되 않으면, 다분할 여부를 나타내는 정보는 현재 부호화 단위가 더 이상 분할되지 않을지(NO_SPLIT) 아니면 바이너리/터너리 분할될지 여부를 나타낼 수 있다.
현재 부호화 단위가 바이너리 분할되거나 터너리 분할되면, 분할 방향 정보는 현재 부호화 단위가 수평 방향 또는 수직 방향 중 하나로 분할됨을 나타낸다.
현재 부호화 단위가 수평 또는 수직 방향으로 분할되면 분할 타입 정보는 현재 부호화 단위를 바이너리 분할 또는 터너리 분할로 분할함을 나타낸다.
분할 방향 정보 및 분할 타입 정보에 따라, 현재 부호화 단위의 분할 모드가 결정될 수 있다. 현재 부호화 단위가 수평 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수평 분할(SPLIT_BT_HOR), 수평 방향으로 터너리 분할되는 경우의 터너리 수평 분할(SPLIT_TT_HOR), 수직 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수직 분할 (SPLIT_BT_VER) 및 수직 방향으로 터너리 분할되는 경우의 분할 모드는 터너리 수직 분할 (SPLIT_TT_VER)로 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 하나의 빈스트링으로부터 획득할 수 있다. 영상 복호화 장치(100)가 수신한 비트스트림의 형태는 Fixed length binary code, Unary code, Truncated unary code, 미리 결정된 바이너리 코드 등을 포함할 수 있다. 빈스트링은 정보를 2진수의 나열로 나타낸 것이다. 빈스트링은 적어도 하나의 비트로 구성될 수 있다. 영상 복호화 장치(100)는 분할 규칙에 기초하여 빈스트링에 대응하는 분할 형태 모드 정보를 획득할 수 있다. 영상 복호화 장치(100)는 하나의 빈스트링에 기초하여, 부호화 단위를 쿼드분할할지 여부, 분할하지 않을지 또는 분할 방향 및 분할 타입을 결정할 수 있다.
부호화 단위는 최대 부호화 단위보다 작거나 같을 수 있다. 예를 들어 최대 부호화 단위도 최대 크기를 가지는 부호화 단위이므로 부호화 단위의 하나이다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할되지 않음을 나타내는 경우, 최대 부호화 단위에서 결정되는 부호화 단위는 최대 부호화 단위와 같은 크기를 가진다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할됨을 나타내는 경우 최대 부호화 단위는 부호화 단위들로 분할 될 수 있다. 또한 부호화 단위에 대한 분할 형태 모드 정보가 분할을 나타내는 경우 부호화 단위들은 더 작은 크기의 부호화 단위들로 분할될 수 있다. 다만, 영상의 분할은 이에 한정되는 것은 아니며 최대 부호화 단위 및 부호화 단위는 구별되지 않을 수 있다. 부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다.
또한 부호화 단위로부터 예측을 위한 하나 이상의 예측 블록이 결정될 수 있다. 예측 블록은 부호화 단위와 같거나 작을 수 있다. 또한 부호화 단위로부터 변환을 위한 하나 이상의 변환 블록이 결정될 수 있다. 변환 블록은 부호화 단위와 같거나 작을 수 있다.
변환 블록과 예측 블록의 모양 및 크기는 서로 관련 없을 수 있다.
다른 실시예로, 부호화 단위가 예측 블록으로서 부호화 단위를 이용하여 예측이 수행될 수 있다. 또한 부호화 단위가 변환 블록으로서 부호화 단위를 이용하여 변환이 수행될 수 있다.
부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다. 본 개시의 현재 블록 및 주변 블록은 최대 부호화 단위, 부호화 단위, 예측 블록 및 변환 블록 중 하나를 나타낼 수 있다. 또한, 현재 블록 또는 현재 부호화 단위는 현재 복호화 또는 부호화가 진행되는 블록 또는 현재 분할이 진행되고 있는 블록이다. 주변 블록은 현재 블록 이전에 복원된 블록일 수 있다. 주변 블록은 현재 블록으로부터 공간적 또는 시간적으로 인접할 수 있다. 주변 블록은 현재 블록의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측, 우하측 중 하나에 위치할 수 있다.
도 3은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
블록 형태는 4Nx4N, 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N을 포함할 수 있다. 여기서 N은 양의 정수일 수 있다. 블록 형태 정보는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 나타내는 정보이다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우(즉, 부호화 단위의 블록 형태가 4Nx4N 인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 정사각형으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 너비 및 높이의 길이가 다른 경우(즉, 부호화 단위의 블록 형태가 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 비-정사각형으로 결정할 수 있다. 부호화 단위의 모양이 비-정사각형인 경우, 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보 중 너비 및 높이의 비율을 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, 32:1 중 적어도 하나로 결정할 수 있다. 또한, 부호화 단위의 너비의 길이 및 높이의 길이에 기초하여, 영상 복호화 장치(100)는 부호화 단위가 수평 방향인지 수직 방향인지 결정할 수 있다. 또한, 부호화 단위의 너비의 길이, 높이의 길이 또는 넓이 중 적어도 하나에 기초하여, 영상 복호화 장치(100)는 부호화 단위의 크기를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보를 이용하여 부호화 단위의 형태를 결정할 수 있고, 분할 형태 모드 정보를 이용하여 부호화 단위가 어떤 형태로 분할되는지를 결정할 수 있다. 즉, 영상 복호화 장치(100)가 이용하는 블록 형태 정보가 어떤 블록 형태를 나타내는지에 따라 분할 형태 모드 정보가 나타내는 부호화 단위의 분할 방법이 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 획득할 수 있다. 하지만 이에 한정되는 것은 아니며, 영상 복호화 장치(100) 및 영상 부호화 장치(200)는 블록 형태 정보에 기초하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 영상 복호화 장치(100)는 최대 부호화 단위 또는 최소 부호화 단위에 대하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 예를 들어 영상 복호화 장치(100)는 최대 부호화 단위에 대하여 분할 형태 모드 정보를 쿼드 분할(quad split)로 결정할 수 있다. 또한, 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 분할 형태 모드 정보를 "분할하지 않음"으로 결정할 수 있다. 구체적으로 영상 복호화 장치(100)는 최대 부호화 단위의 크기를 256x256으로 결정할 수 있다. 영상 복호화 장치(100)는 미리 약속된 분할 형태 모드 정보를 쿼드 분할로 결정할 수 있다. 쿼드 분할은 부호화 단위의 너비 및 높이를 모두 이등분하는 분할 형태 모드이다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 256x256 크기의 최대 부호화 단위로부터 128x128 크기의 부호화 단위를 획득할 수 있다. 또한 영상 복호화 장치(100)는 최소 부호화 단위의 크기를 4x4로 결정할 수 있다. 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 "분할하지 않음"을 나타내는 분할 형태 모드 정보를 획득할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 현재 부호화 단위가 정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 예를 들어 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 정사각형의 부호화 단위를 분할하지 않을지, 수직으로 분할할지, 수평으로 분할할지, 4개의 부호화 단위로 분할할지 등을 결정할 수 있다. 도 3을 참조하면, 현재 부호화 단위(300)의 블록 형태 정보가 정사각형의 형태를 나타내는 경우, 복호화부(120)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(300)와 동일한 크기를 가지는 부호화 단위(310a)를 분할하지 않거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 기초하여 분할된 부호화 단위(310b, 310c, 310d, 310e, 310f 등)를 결정할 수 있다.
도 3을 참조하면 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 두 개의 부호화 단위(310b)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 두 개의 부호화 단위(310c)를 결정할 수 있다. 영상 복호화 장치(100)는 수직방향 및 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향 및 수평방향으로 분할한 네 개의 부호화 단위(310d)를 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 터너리(ternary) 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 세 개의 부호화 단위(310e)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 터너리 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 세 개의 부호화 단위(310f)를 결정할 수 있다. 다만 정사각형의 부호화 단위가 분할될 수 있는 분할 형태는 상술한 형태로 한정하여 해석되어서는 안되고, 분할 형태 모드 정보가 나타낼 수 있는 다양한 형태가 포함될 수 있다. 정사각형의 부호화 단위가 분할되는 소정의 분할 형태들은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
도 4는 일 실시예에 따라 영상 복호화 장치(100)가 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 비-정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 비-정사각형의 현재 부호화 단위를 분할하지 않을지 소정의 방법으로 분할할지 여부를 결정할 수 있다. 도 4를 참조하면, 현재 부호화 단위(400 또는 450)의 블록 형태 정보가 비-정사각형의 형태를 나타내는 경우, 영상 복호화 장치(100)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(400 또는 450)와 동일한 크기를 가지는 부호화 단위(410 또는 460)를 결정하거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 따라 기초하여 분할된 부호화 단위(420a, 420b, 430a, 430b, 430c, 470a, 470b, 480a, 480b, 480c)를 결정할 수 있다. 비-정사각형의 부호화 단위가 분할되는 소정의 분할 방법은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 이용하여 부호화 단위가 분할되는 형태를 결정할 수 있고, 이 경우 분할 형태 모드 정보는 부호화 단위가 분할되어 생성되는 적어도 하나의 부호화 단위의 개수를 나타낼 수 있다. 도 4를 참조하면 분할 형태 모드 정보가 두 개의 부호화 단위로 현재 부호화 단위(400 또는 450)가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(400 또는 450)를 분할하여 현재 부호화 단위에 포함되는 두 개의 부호화 단위(420a, 420b, 또는 470a, 470b)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형의 형태의 현재 부호화 단위(400 또는 450)를 분할하는 경우, 영상 복호화 장치(100)는 비-정사각형의 현재 부호화 단위(400 또는 450)의 긴 변의 위치를 고려하여 현재 부호화 단위를 분할할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 형태를 고려하여 현재 부호화 단위(400 또는 450)의 긴 변을 분할하는 방향으로 현재 부호화 단위(400 또는 450)를 분할하여 복수개의 부호화 단위를 결정할 수 있다.
일 실시예에 따라, 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위를 분할(터너리 분할)하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있다. 예를 들면, 분할 형태 모드 정보가 3개의 부호화 단위로 현재 부호화 단위(400 또는 450)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)를 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)로 분할할 수 있다.
일 실시예에 따라, 현재 부호화 단위(400 또는 450)의 너비 및 높이의 비율이 4:1 또는 1:4 일 수 있다. 너비 및 높이의 비율이 4:1 인 경우, 너비의 길이가 높이의 길이보다 길므로 블록 형태 정보는 수평 방향일 수 있다. 너비 및 높이의 비율이 1:4 인 경우, 너비의 길이가 높이의 길이보다 짧으므로 블록 형태 정보는 수직 방향일 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위를 홀수개의 블록으로 분할할 것을 결정할 수 있다. 또한 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 블록 형태 정보에 기초하여 현재 부호화 단위(400 또는 450)의 분할 방향을 결정할 수 있다. 예를 들어 현재 부호화 단위(400)가 수직 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400)를 수평 방향으로 분할 하여 부호화 단위(430a, 430b, 430c)를 결정할 수 있다. 또한 현재 부호화 단위(450)가 수평 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(450)를 수직 방향으로 분할 하여 부호화 단위(480a, 480b, 480c)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있으며, 결정된 부호화 단위들의 크기 모두가 동일하지는 않을 수 있다. 예를 들면, 결정된 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c) 중 소정의 부호화 단위(430b 또는 480b)의 크기는 다른 부호화 단위(430a, 430c, 480a, 480c)들과는 다른 크기를 가질 수도 있다. 즉, 현재 부호화 단위(400 또는 450)가 분할되어 결정될 수 있는 부호화 단위는 복수의 종류의 크기를 가질 수 있고, 경우에 따라서는 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)가 각각 서로 다른 크기를 가질 수도 있다.
일 실시예에 따라 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있고, 나아가 영상 복호화 장치(100)는 분할하여 생성되는 홀수개의 부호화 단위들 중 적어도 하나의 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 도 4를 참조하면 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)가 분할되어 생성된 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)들 중 중앙에 위치하는 부호화 단위(430b, 480b)에 대한 복호화 과정을 다른 부호화 단위(430a, 430c, 480a, 480c)와 다르게 할 수 있다. 예를 들면, 영상 복호화 장치(100)는 중앙에 위치하는 부호화 단위(430b, 480b)에 대하여는 다른 부호화 단위(430a, 430c, 480a, 480c)와 달리 더 이상 분할되지 않도록 제한하거나, 소정의 횟수만큼만 분할되도록 제한할 수 있다.
도 5는 일 실시예에 따라 영상 복호화 장치(100)가 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 정사각형 형태의 제1 부호화 단위(500)를 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 일 실시예에 따라 분할 형태 모드 정보가 수평 방향으로 제1 부호화 단위(500)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(500)를 수평 방향으로 분할하여 제2 부호화 단위(510)를 결정할 수 있다. 일 실시예에 따라 이용되는 제1 부호화 단위, 제2 부호화 단위, 제3 부호화 단위는 부호화 단위 간의 분할 전후 관계를 이해하기 위해 이용된 용어이다. 예를 들면, 제1 부호화 단위를 분할하면 제2 부호화 단위가 결정될 수 있고, 제2 부호화 단위가 분할되면 제3 부호화 단위가 결정될 수 있다. 이하에서는 이용되는 제1 부호화 단위, 제2 부호화 단위 및 제3 부호화 단위의 관계는 상술한 특징에 따르는 것으로 이해될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 결정된 제2 부호화 단위(510)를 분할 형태 모드 정보에 기초하여 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 도 5를 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 결정된 비-정사각형의 형태의 제2 부호화 단위(510)를 적어도 하나의 제3 부호화 단위(520a, 520b, 520c, 520d 등)로 분할하거나 제2 부호화 단위(510)를 분할하지 않을 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보를 획득할 수 있고 영상 복호화 장치(100)는 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 다양한 형태의 복수개의 제2 부호화 단위(예를 들면, 510)를 분할할 수 있으며, 제2 부호화 단위(510)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)가 분할된 방식에 따라 분할될 수 있다. 일 실시예에 따라, 제1 부호화 단위(500)가 제1 부호화 단위(500)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)로 분할된 경우, 제2 부호화 단위(510) 역시 제2 부호화 단위(510)에 대한 분할 형태 모드 정보에 기초하여 제3 부호화 단위(예를 들면, 520a, 520b, 520c, 520d 등)으로 분할될 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 관련된 분할 형태 모드 정보에 기초하여 재귀적으로 분할될 수 있다. 따라서 비-정사각형 형태의 부호화 단위에서 정사각형의 부호화 단위가 결정될 수 있고, 이러한 정사각형 형태의 부호화 단위가 재귀적으로 분할되어 비-정사각형 형태의 부호화 단위가 결정될 수도 있다.
도 5를 참조하면, 비-정사각형 형태의 제2 부호화 단위(510)가 분할되어 결정되는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 부호화 단위(예를 들면, 가운데에 위치하는 부호화 단위 또는 정사각형 형태의 부호화 단위)는 재귀적으로 분할될 수 있다. 일 실시예에 따라 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 하나인 비-정사각형 형태의 제3 부호화 단위(520b)는 수평 방향으로 분할되어 복수개의 제4 부호화 단위로 분할될 수 있다. 복수개의 제4 부호화 단위(530a, 530b, 530c, 530d) 중 하나인 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 다시 복수개의 부호화 단위들로 분할될 수 있다. 예를 들면, 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 홀수개의 부호화 단위로 다시 분할될 수도 있다. 부호화 단위의 재귀적 분할에 이용될 수 있는 방법에 대하여는 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제3 부호화 단위(520a, 520b, 520c, 520d 등) 각각을 부호화 단위들로 분할할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)를 분할하지 않는 것으로 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 제2 부호화 단위(510)를 홀수개의 제3 부호화 단위(520b, 520c, 520d)로 분할할 수 있다. 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 제3 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 예를 들면 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 가운데에 위치하는 부호화 단위(520c)에 대하여는 더 이상 분할되지 않는 것으로 제한하거나 또는 설정 가능한 횟수로 분할되어야 하는 것으로 제한할 수 있다.
도 5를 참조하면, 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(510)에 포함되는 홀수개의 제3 부호화 단위(520b, 520c, 520d)들 중 가운데에 위치하는 부호화 단위(520c)는 더 이상 분할되지 않거나, 소정의 분할 형태로 분할(예를 들면 4개의 부호화 단위로만 분할하거나 제2 부호화 단위(510)가 분할된 형태에 대응하는 형태로 분할)되는 것으로 제한하거나, 소정의 횟수로만 분할(예를 들면 n회만 분할, n>0)하는 것으로 제한할 수 있다. 다만 가운데에 위치한 부호화 단위(520c)에 대한 상기 제한은 단순한 실시예들에 불과하므로 상술한 실시예들로 제한되어 해석되어서는 안되고, 가운데에 위치한 부호화 단위(520c)가 다른 부호화 단위(520b, 520d)와 다르게 복호화 될 수 있는 다양한 제한들을 포함하는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하기 위해 이용되는 분할 형태 모드 정보를 현재 부호화 단위 내의 소정의 위치에서 획득할 수 있다.
도 6은 일 실시예에 따라 영상 복호화 장치(100)가 홀수개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 6을 참조하면, 현재 부호화 단위(600, 650)의 분할 형태 모드 정보는 현재 부호화 단위(600, 650)에 포함되는 복수개의 샘플 중 소정 위치의 샘플(예를 들면, 가운데에 위치하는 샘플(640, 690))에서 획득될 수 있다. 다만 이러한 분할 형태 모드 정보 중 적어도 하나가 획득될 수 있는 현재 부호화 단위(600) 내의 소정 위치가 도 6에서 도시하는 가운데 위치로 한정하여 해석되어서는 안되고, 소정 위치에는 현재 부호화 단위(600)내에 포함될 수 있는 다양한 위치(예를 들면, 최상단, 최하단, 좌측, 우측, 좌측상단, 좌측하단, 우측상단 또는 우측하단 등)가 포함될 수 있는 것으로 해석되어야 한다. 영상 복호화 장치(100)는 소정 위치로부터 획득되는 분할 형태 모드 정보를 획득하여 현재 부호화 단위를 다양한 형태 및 크기의 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 소정의 개수의 부호화 단위들로 분할된 경우 그 중 하나의 부호화 단위를 선택할 수 있다. 복수개의 부호화 단위들 중 하나를 선택하기 위한 방법은 다양할 수 있으며, 이러한 방법들에 대한 설명은 이하의 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100) 는 현재 부호화 단위를 복수개의 부호화 단위들로 분할하고, 소정 위치의 부호화 단위를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 홀수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600) 또는 현재 부호화 단위(650)를 분할하여 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)을 결정할 수 있다. 영상 복호화 장치(100)는 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)의 위치에 대한 정보를 이용하여 가운데 부호화 단위(620b)또는 가운데 부호화 단위(660b)를 결정할 수 있다. 예를 들면 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 포함되는 소정의 샘플의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 구체적으로, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 위치 또는 좌표에 대한 정보를 포함할 수 있다. 일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 현재 부호화 단위(600)에 포함되는 부호화 단위들(620a, 620b, 620c)의 너비 또는 높이를 나타내는 정보를 포함할 수 있고, 이러한 너비 또는 높이는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 좌표 간의 차이를 나타내는 정보에 해당할 수 있다. 즉, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 위치 또는 좌표에 대한 정보를 직접 이용하거나 좌표간의 차이값에 대응하는 부호화 단위의 너비 또는 높이에 대한 정보를 이용함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라, 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보는 (xa, ya) 좌표를 나타낼 수 있고, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(530b)의 위치를 나타내는 정보는 (xb, yb) 좌표를 나타낼 수 있고, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보는 (xc, yc) 좌표를 나타낼 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 이용하여 가운데 부호화 단위(620b)를 결정할 수 있다. 예를 들면, 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 오름차순 또는 내림차순으로 정렬하였을 때, 가운데에 위치하는 샘플(630b)의 좌표인 (xb, yb)를 포함하는 부호화 단위(620b)를 현재 부호화 단위(600)가 분할되어 결정된 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 좌표는 픽처 내에서의 절대적인 위치를 나타내는 좌표를 나타낼 수 있고, 나아가 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 기준으로, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 상대적 위치를 나타내는 정보인 (dxb, dyb)좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 상대적 위치를 나타내는 정보인 (dxc, dyc)좌표를 이용할 수도 있다. 또한 부호화 단위에 포함되는 샘플의 위치를 나타내는 정보로서 해당 샘플의 좌표를 이용함으로써 소정 위치의 부호화 단위를 결정하는 방법이 상술한 방법으로 한정하여 해석되어서는 안되고, 샘플의 좌표를 이용할 수 있는 다양한 산술적 방법으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있고, 부호화 단위들(620a, 620b, 620c) 중 소정의 기준에 따라 부호화 단위를 선택할 수 있다. 예를 들면, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c) 중 크기가 다른 부호화 단위(620b)를 선택할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보인 (xa, ya) 좌표, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 위치를 나타내는 정보인 (xb, yb) 좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보인 (xc, yc) 좌표를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 위치를 나타내는 좌표인 (xa, ya), (xb, yb), (xc, yc)를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 크기를 결정할 수 있다. 일 실시예에 따라, 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 높이를 yb-ya로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 높이를 yc-yb로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 하단 부호화 단위의 너비 또는 높이는 현재 부호화 단위의 너비 또는 높이와 상단 부호화 단위(620a) 및 가운데 부호화 단위(620b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(620a, 620b, 620c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 상단 부호화 단위(620a) 및 하단 부호화 단위(620c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(620b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 좌측 상단의 샘플(670a)의 위치를 나타내는 정보인 (xd, yd) 좌표, 가운데 부호화 단위(660b)의 좌측 상단의 샘플(670b)의 위치를 나타내는 정보인 (xe, ye) 좌표, 우측 부호화 단위(660c)의 좌측 상단의 샘플(670c)의 위치를 나타내는 정보인 (xf, yf) 좌표를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(660a, 660b, 660c)의 위치를 나타내는 좌표인 (xd, yd), (xe, ye), (xf, yf)를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 크기를 결정할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 너비를 xe-xd로 결정할 수 있다. 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 높이를 현재 부호화 단위(650)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 너비를 xf-xe로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 높이를 현재 부호화 단위(600)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 우측 부호화 단위(660c)의 너비 또는 높이는 현재 부호화 단위(650)의 너비 또는 높이와 좌측 부호화 단위(660a) 및 가운데 부호화 단위(660b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(660a, 660b, 660c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 좌측 부호화 단위(660a) 및 우측 부호화 단위(660c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(660b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
다만 부호화 단위의 위치를 결정하기 위하여 고려하는 샘플의 위치는 상술한 좌측 상단으로 한정하여 해석되어서는 안되고 부호화 단위에 포함되는 임의의 샘플의 위치에 대한 정보가 이용될 수 있는 것으로 해석될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 고려하여, 현재 부호화 단위가 분할되어 결정되는 홀수개의 부호화 단위들 중 소정 위치의 부호화 단위를 선택할 수 있다. 예를 들면, 현재 부호화 단위가 너비가 높이보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수평 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수평 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다. 현재 부호화 단위가 높이가 너비보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수직 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수직 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 짝수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 짝수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위를 분할(바이너리 분할)하여 짝수개의 부호화 단위들을 결정할 수 있고 짝수개의 부호화 단위들의 위치에 대한 정보를 이용하여 소정 위치의 부호화 단위를 결정할 수 있다. 이에 대한 구체적인 과정은 도 6에서 상술한 홀수개의 부호화 단위들 중 소정 위치(예를 들면, 가운데 위치)의 부호화 단위를 결정하는 과정에 대응하는 과정일 수 있으므로 생략하도록 한다.
일 실시예에 따라, 비-정사각형 형태의 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 분할 과정에서 소정 위치의 부호화 단위에 대한 소정의 정보를 이용할 수 있다. 예를 들면 영상 복호화 장치(100)는 현재 부호화 단위가 복수개로 분할된 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 분할 과정에서 가운데 부호화 단위에 포함된 샘플에 저장된 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나를 이용할 수 있다.
도 6을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있으며, 복수개의 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 분할 형태 모드 정보가 획득되는 위치를 고려하여, 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 즉, 현재 부호화 단위(600)의 분할 형태 모드 정보는 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)에서 획득될 수 있으며, 상기 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)가 복수개의 부호화 단위들(620a, 620b, 620c)로 분할된 경우 상기 샘플(640)을 포함하는 부호화 단위(620b)를 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 가운데에 위치하는 부호화 단위로 결정하기 위해 이용되는 정보가 분할 형태 모드 정보로 한정하여 해석되어서는 안되고, 다양한 종류의 정보가 가운데에 위치하는 부호화 단위를 결정하는 과정에서 이용될 수 있다.
일 실시예에 따라 소정 위치의 부호화 단위를 식별하기 위한 소정의 정보는, 결정하려는 부호화 단위에 포함되는 소정의 샘플에서 획득될 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정된 복수개의 부호화 단위들(620a, 620b, 620c) 중 소정 위치의 부호화 단위(예를 들면, 복수개로 분할된 부호화 단위 중 가운데에 위치하는 부호화 단위)를 결정하기 위하여 현재 부호화 단위(600) 내의 소정 위치의 샘플(예를 들면, 현재 부호화 단위(600)의 가운데에 위치하는 샘플)에서 획득되는 분할 형태 모드 정보를 이용할 수 있다. 즉, 영상 복호화 장치(100)는 현재 부호화 단위(600)의 블록 형태를 고려하여 상기 소정 위치의 샘플을 결정할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정되는 복수개의 부호화 단위들(620a, 620b, 620c) 중, 소정의 정보(예를 들면, 분할 형태 모드 정보)가 획득될 수 있는 샘플이 포함된 부호화 단위(620b)를 결정하여 소정의 제한을 둘 수 있다. 도 6을 참조하면 일 실시예에 따라 영상 복호화 장치(100)는 소정의 정보가 획득될 수 있는 샘플로서 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)을 결정할 수 있고, 영상 복호화 장치(100)는 이러한 샘플(640)이 포함되는 부호화 단위(620b)를 복호화 과정에서의 소정의 제한을 둘 수 있다. 다만 소정의 정보가 획득될 수 있는 샘플의 위치는 상술한 위치로 한정하여 해석되어서는 안되고, 제한을 두기 위해 결정하려는 부호화 단위(620b)에 포함되는 임의의 위치의 샘플들로 해석될 수 있다.
일 실시예에 따라 소정의 정보가 획득될 수 있는 샘플의 위치는 현재 부호화 단위(600)의 형태에 따라 결정될 수 있다. 일 실시예에 따라 블록 형태 정보는 현재 부호화 단위의 형태가 정사각형인지 또는 비-정사각형인지 여부를 결정할 수 있고, 형태에 따라 소정의 정보가 획득될 수 있는 샘플의 위치를 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위의 너비에 대한 정보 및 높이에 대한 정보 중 적어도 하나를 이용하여 현재 부호화 단위의 너비 및 높이 중 적어도 하나를 반으로 분할하는 경계 상에 위치하는 샘플을 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다. 또다른 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위에 관련된 블록 형태 정보가 비-정사각형 형태임을 나타내는 경우, 현재 부호화 단위의 긴 변을 반으로 분할하는 경계에 인접하는 샘플 중 하나를 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여, 분할 형태 모드 정보를 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 부호화 단위에 포함된 소정 위치의 샘플에서 획득할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위가 분할되어 생성된 복수개의 부호화 단위들을 복수개의 부호화 단위 각각에 포함된 소정 위치의 샘플로부터 획득되는 분할 형태 모드 정보를 이용하여 분할할 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 포함된 소정 위치의 샘플에서 획득되는 분할 형태 모드 정보를 이용하여 재귀적으로 분할될 수 있다. 부호화 단위의 재귀적 분할 과정에 대하여는 도 5를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정할 수 있고, 이러한 적어도 하나의 부호화 단위가 복호화되는 순서를 소정의 블록(예를 들면, 현재 부호화 단위)에 따라 결정할 수 있다.
도 7은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 복수개의 부호화 단위들을 결정하는 경우, 복수개의 부호화 단위들이 처리되는 순서를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정하거나 제1 부호화 단위(700)를 수평 방향으로 분할하여 제2 부호화 단위(730a, 730b)를 결정하거나 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 제2 부호화 단위(750a, 750b, 750c, 750d)를 결정할 수 있다.
도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 결정된 제2 부호화 단위(710a, 710b)를 수평 방향(710c)으로 처리되도록 순서를 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수평 방향으로 분할하여 결정된 제2 부호화 단위(730a, 730b)의 처리 순서를 수직 방향(730c)으로 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 결정된 제2 부호화 단위(750a, 750b, 750c, 750d)를 하나의 행에 위치하는 부호화 단위들이 처리된 후 다음 행에 위치하는 부호화 단위들이 처리되는 소정의 순서(예를 들면, 래스터 스캔 순서((raster scan order) 또는 z 스캔 순서(z scan order)(750e) 등)에 따라 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위들을 재귀적으로 분할할 수 있다. 도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 분할하여 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 결정할 수 있고, 결정된 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) 각각을 재귀적으로 분할할 수 있다. 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 분할하는 방법은 제1 부호화 단위(700)를 분할하는 방법에 대응하는 방법이 될 수 있다. 이에 따라 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)은 각각 독립적으로 복수개의 부호화 단위들로 분할될 수 있다. 도 7을 참조하면 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정할 수 있고, 나아가 제2 부호화 단위(710a, 710b) 각각을 독립적으로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)를 수평 방향으로 분할하여 제3 부호화 단위(720a, 720b)로 분할할 수 있고, 우측의 제2 부호화 단위(710b)는 분할하지 않을 수 있다.
일 실시예에 따라 부호화 단위들의 처리 순서는 부호화 단위의 분할 과정에 기초하여 결정될 수 있다. 다시 말해, 분할된 부호화 단위들의 처리 순서는 분할되기 직전의 부호화 단위들의 처리 순서에 기초하여 결정될 수 있다. 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)가 분할되어 결정된 제3 부호화 단위(720a, 720b)가 처리되는 순서를 우측의 제2 부호화 단위(710b)와 독립적으로 결정할 수 있다. 좌측의 제2 부호화 단위(710a)가 수평 방향으로 분할되어 제3 부호화 단위(720a, 720b)가 결정되었으므로 제3 부호화 단위(720a, 720b)는 수직 방향(720c)으로 처리될 수 있다. 또한 좌측의 제2 부호화 단위(710a) 및 우측의 제2 부호화 단위(710b)가 처리되는 순서는 수평 방향(710c)에 해당하므로, 좌측의 제2 부호화 단위(710a)에 포함되는 제3 부호화 단위(720a, 720b)가 수직 방향(720c)으로 처리된 후에 우측 부호화 단위(710b)가 처리될 수 있다. 상술한 내용은 부호화 단위들이 각각 분할 전의 부호화 단위에 따라 처리 순서가 결정되는 과정을 설명하기 위한 것이므로, 상술한 실시예에 한정하여 해석되어서는 안되고, 다양한 형태로 분할되어 결정되는 부호화 단위들이 소정의 순서에 따라 독립적으로 처리될 수 있는 다양한 방법으로 이용되는 것으로 해석되어야 한다.
도 8은 일 실시예에 따라 영상 복호화 장치(100)가 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 획득된 분할 형태 모드 정보에 기초하여 현재 부호화 단위가 홀수개의 부호화 단위들로 분할되는 것을 결정할 수 있다. 도 8을 참조하면 정사각형 형태의 제1 부호화 단위(800)가 비-정사각형 형태의 제2 부호화 단위(810a, 810b)로 분할될 수 있고, 제2 부호화 단위(810a, 810b)는 각각 독립적으로 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)로 분할될 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제2 부호화 단위 중 좌측 부호화 단위(810a)는 수평 방향으로 분할하여 복수개의 제3 부호화 단위(820a, 820b)를 결정할 수 있고, 우측 부호화 단위(810b)는 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제3 부호화 단위들(820a, 820b, 820c, 820d, 820e)이 소정의 순서로 처리될 수 있는지 여부를 판단하여 홀수개로 분할된 부호화 단위가 존재하는지를 결정할 수 있다. 도 8을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(800)를 재귀적으로 분할하여 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)를 결정할 수 있다. 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여, 제1 부호화 단위(800), 제2 부호화 단위(810a, 810b) 또는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 분할되는 형태 중 홀수개의 부호화 단위로 분할되는지 여부를 결정할 수 있다. 예를 들면, 제2 부호화 단위(810a, 810b) 중 우측에 위치하는 부호화 단위가 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할될 수 있다. 제1 부호화 단위(800)에 포함되는 복수개의 부호화 단위들이 처리되는 순서는 소정의 순서(예를 들면, z-스캔 순서(z-scan order)(830))가 될 수 있고, 영상 복호화 장치(100)는 우측 제2 부호화 단위(810b)가 홀수개로 분할되어 결정된 제3 부호화 단위(820c, 820d, 820e)가 상기 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 판단할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(800)에 포함되는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)의 경계에 따라 제2 부호화 단위(810a, 810b)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 예를 들면 비-정사각형 형태의 좌측 제2 부호화 단위(810a)의 높이를 반으로 분할하여 결정되는 제3 부호화 단위(820a, 820b)는 조건을 만족할 수 있다. 우측 제2 부호화 단위(810b)를 3개의 부호화 단위로 분할하여 결정되는 제3 부호화 단위(820c, 820d, 820e)들의 경계가 우측 제2 부호화 단위(810b)의 너비 또는 높이를 반으로 분할하지 못하므로 제3 부호화 단위(820c, 820d, 820e)는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 우측 제2 부호화 단위(810b)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
도 9는 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(900)를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(900)를 분할할 수 있다. 정사각형 형태의 제1 부호화 단위(900)는 4개의 정사각형 형태를 가지는 부호화 단위로 분할되거나 또는 비-정사각형 형태의 복수개의 부호화 단위로 분할할 수 있다. 예를 들면 도 9를 참조하면, 제1 부호화 단위(900)는 정사각형이고 분할 형태 모드 정보가 비-정사각형의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(900)를 복수개의 비-정사각형의 부호화 단위들로 분할할 수 있다. 구체적으로, 분할 형태 모드 정보가 제1 부호화 단위(900)를 수평 방향 또는 수직 방향으로 분할하여 홀수개의 부호화 단위를 결정하는 것을 나타내는 경우, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900)를 홀수개의 부호화 단위들로서 수직 방향으로 분할되어 결정된 제2 부호화 단위(910a, 910b, 910c) 또는 수평 방향으로 분할되어 결정된 제2 부호화 단위(920a, 920b, 920c)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(900)에 포함되는 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)의 경계에 따라 제1 부호화 단위(900)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 도 9를 참조하면 정사각형 형태의 제1 부호화 단위(900)를 수직 방향으로 분할하여 결정되는 제2 부호화 단위(910a, 910b, 910c)들의 경계가 제1 부호화 단위(900)의 너비를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 또한 정사각형 형태의 제1 부호화 단위(900)를 수평 방향으로 분할하여 결정되는 제2 부호화 단위(920a, 920b, 920c)들의 경계가 제1 부호화 단위(900)의 높이를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 제1 부호화 단위(900)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라, 영상 복호화 장치(100)는 제1 부호화 단위를 분할하여 다양한 형태의 부호화 단위들을 결정할 수 있다.
도 9를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900), 비-정사각형 형태의 제1 부호화 단위(930 또는 950)를 다양한 형태의 부호화 단위들로 분할할 수 있다.
도 10은 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위가 소정의 조건을 만족하는 경우 제2 부호화 단위가 분할될 수 있는 형태가 제한되는 것을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 정사각형 형태의 제1 부호화 단위(1000)를 비-정사각형 형태의 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)로 분할하는 것으로 결정할 수 있다. 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)는 독립적으로 분할될 수 있다. 이에 따라 영상 복호화 장치(100)는 제2 부호화 단위(1010a, 1010b, 1020a, 1020b) 각각에 관련된 분할 형태 모드 정보에 기초하여 복수개의 부호화 단위로 분할하거나 분할하지 않는 것을 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할하여 제3 부호화 단위(1012a, 1012b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할한 경우, 우측 제2 부호화 단위(1010b)는 좌측 제2 부호화 단위(1010a)가 분할된 방향과 동일하게 수평 방향으로 분할될 수 없도록 제한할 수 있다. 만일 우측 제2 부호화 단위(1010b)가 동일한 방향으로 분할되어 제3 부호화 단위(1014a, 1014b)가 결정된 경우, 좌측 제2 부호화 단위(1010a) 및 우측 제2 부호화 단위(1010b)가 수평 방향으로 각각 독립적으로 분할됨으로써 제3 부호화 단위(1012a, 1012b, 1014a, 1014b)가 결정될 수 있다. 하지만 이는 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1000)를 4개의 정사각형 형태의 제2 부호화 단위(1030a, 1030b, 1030c, 1030d)로 분할한 것과 동일한 결과이며 이는 영상 복호화 측면에서 비효율적일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1020a 또는 1020b)를 수직 방향으로 분할하여 제3 부호화 단위(1022a, 1022b, 1024a, 1024b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 제2 부호화 단위 중 하나(예를 들면 상단 제2 부호화 단위(1020a))를 수직 방향으로 분할한 경우, 상술한 이유에 따라 다른 제2 부호화 단위(예를 들면 하단 부호화 단위(1020b))는 상단 제2 부호화 단위(1020a)가 분할된 방향과 동일하게 수직 방향으로 분할될 수 없도록 제한할 수 있다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로 분할하는 것을 나타낼 수 없는 경우, 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)를 분할하여 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다. 분할 형태 모드 정보에는 부호화 단위가 분할될 수 있는 다양한 형태에 대한 정보가 포함될 수 있으나, 다양한 형태에 대한 정보에는 정사각형 형태의 4개의 부호화 단위로 분할하기 위한 정보가 포함될 수 없는 경우가 있다. 이러한 분할 형태 모드 정보에 따르면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1100)를 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할하지 못한다. 분할 형태 모드 정보에 기초하여 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 각각 독립적으로 분할할 수 있다. 재귀적인 방법을 통해 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등) 각각이 소정의 순서대로 분할될 수 있으며, 이는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)가 분할되는 방법에 대응하는 분할 방법일 수 있다.
예를 들면 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1112a, 1112b)를 결정할 수 있고, 우측 제2 부호화 단위(1110b)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1114a, 1114b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a) 및 우측 제2 부호화 단위(1110b) 모두 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1116a, 1116b, 1116c, 1116d)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
또 다른 예를 들면 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1122a, 1122b)를 결정할 수 있고, 하단 제2 부호화 단위(1120b)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1124a, 1124b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a) 및 하단 제2 부호화 단위(1120b) 모두 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1126a, 1126b, 1126a, 1126b)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
도 12는 일 실시예에 따라 복수개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1200)를 분할할 수 있다. 블록 형태가 정사각형이고, 분할 형태 모드 정보가 제1 부호화 단위(1200)가 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(1200)를 분할하여 제2 부호화 단위(예를 들면, 1210a, 1210b, 1220a, 1220b 등)를 결정할 수 있다. 도 12를 참조하면 제1 부호화 단위(1200)가 수평 방향 또는 수직 방향만으로 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)는 각각에 대한 분할 형태 모드 정보에 기초하여 독립적으로 분할될 수 있다. 예를 들면 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 제1 부호화 단위(1200)가 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 이러한 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)의 분할 과정은 도 11과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 순서에 따라 부호화 단위를 처리할 수 있다. 소정의 순서에 따른 부호화 단위의 처리에 대한 특징은 도 7과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다. 도 12를 참조하면 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1200)를 분할하여 4개의 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 분할되는 형태에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)의 처리 순서를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1210a)에 포함되는 제3 부호화 단위(1216a, 1216c)를 수직 방향으로 먼저 처리한 후, 우측 제2 부호화 단위(1210b)에 포함되는 제3 부호화 단위(1216b, 1216d)를 수직 방향으로 처리하는 순서(1217)에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 처리할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있고, 영상 복호화 장치(100)는 상단 제2 부호화 단위(1220a)에 포함되는 제3 부호화 단위(1226a, 1226b)를 수평 방향으로 먼저 처리한 후, 하단 제2 부호화 단위(1220b)에 포함되는 제3 부호화 단위(1226c, 1226d)를 수평 방향으로 처리하는 순서(1227)에 따라 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 처리할 수 있다.
도 12를 참조하면, 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)가 각각 분할되어 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)가 결정될 수 있다. 수직 방향으로 분할되어 결정된 제2 부호화 단위(1210a, 1210b) 및 수평 방향으로 분할되어 결정된 제2 부호화 단위(1220a, 1220b)는 서로 다른 형태로 분할된 것이지만, 이후에 결정되는 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)에 따르면 결국 동일한 형태의 부호화 단위들로 제1 부호화 단위(1200)가 분할된 결과가 된다. 이에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 상이한 과정을 통해 재귀적으로 부호화 단위를 분할함으로써 결과적으로 동일한 형태의 부호화 단위들을 결정하더라도, 동일한 형태로 결정된 복수개의 부호화 단위들을 서로 다른 순서로 처리할 수 있다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 심도를 소정의 기준에 따라 결정할 수 있다. 예를 들면 소정의 기준은 부호화 단위의 긴 변의 길이가 될 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위의 긴 변의 길이가 분할되기 전의 부호화 단위의 긴 변의 길이보다 2n (n>0) 배로 분할된 경우, 현재 부호화 단위의 심도는 분할되기 전의 부호화 단위의 심도보다 n만큼 심도가 증가된 것으로 결정할 수 있다. 이하에서는 심도가 증가된 부호화 단위를 하위 심도의 부호화 단위로 표현하도록 한다.
도 13을 참조하면, 일 실시예에 따라 정사각형 형태임을 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는 '0: SQUARE'를 나타낼 수 있음)에 기초하여 영상 복호화 장치(100)는 정사각형 형태인 제1 부호화 단위(1300)를 분할하여 하위 심도의 제2 부호화 단위(1302), 제3 부호화 단위(1304) 등을 결정할 수 있다. 정사각형 형태의 제1 부호화 단위(1300)의 크기를 2Nx2N이라고 한다면, 제1 부호화 단위(1300)의 너비 및 높이를 1/2배로 분할하여 결정된 제2 부호화 단위(1302)는 NxN의 크기를 가질 수 있다. 나아가 제2 부호화 단위(1302)의 너비 및 높이를 1/2크기로 분할하여 결정된 제3 부호화 단위(1304)는 N/2xN/2의 크기를 가질 수 있다. 이 경우 제3 부호화 단위(1304)의 너비 및 높이는 제1 부호화 단위(1300)의 1/4배에 해당한다. 제1 부호화 단위(1300)의 심도가 D인 경우 제1 부호화 단위(1300)의 너비 및 높이의 1/2배인 제2 부호화 단위(1302)의 심도는 D+1일 수 있고, 제1 부호화 단위(1300)의 너비 및 높이의 1/4배인 제3 부호화 단위(1304)의 심도는 D+2일 수 있다.
일 실시예에 따라 비-정사각형 형태를 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는, 높이가 너비보다 긴 비-정사각형임을 나타내는 '1: NS_VER' 또는 너비가 높이보다 긴 비-정사각형임을 나타내는 '2: NS_HOR'를 나타낼 수 있음)에 기초하여, 영상 복호화 장치(100)는 비-정사각형 형태인 제1 부호화 단위(1310 또는 1320)를 분할하여 하위 심도의 제2 부호화 단위(1312 또는 1322), 제3 부호화 단위(1314 또는 1324) 등을 결정할 수 있다.
영상 복호화 장치(100)는 Nx2N 크기의 제1 부호화 단위(1310)의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1310)를 수평 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 2NxN 크기의 제1 부호화 단위(1320) 의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1320)를 수직 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN 크기의 제2 부호화 단위(1302) 의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1302)를 수직 방향 및 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304)를 결정하거나 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 N/2xN 크기의 제2 부호화 단위(1312)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1312)를 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN/2 크기의 제2 부호화 단위(1322)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1322)를 수직 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/2xN/4크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 부호화 단위(예를 들면, 1300, 1302, 1304)를 수평 방향 또는 수직 방향으로 분할할 수 있다. 예를 들면, 2Nx2N 크기의 제1 부호화 단위(1300)를 수직 방향으로 분할하여 Nx2N 크기의 제1 부호화 단위(1310)를 결정하거나 수평 방향으로 분할하여 2NxN 크기의 제1 부호화 단위(1320)를 결정할 수 있다. 일 실시예에 따라 심도가 부호화 단위의 가장 긴 변의 길이에 기초하여 결정되는 경우, 2Nx2N 크기의 제1 부호화 단위(1300)가 수평 방향 또는 수직 방향으로 분할되어 결정되는 부호화 단위의 심도는 제1 부호화 단위(1300)의 심도와 동일할 수 있다.
일 실시예에 따라 제3 부호화 단위(1314 또는 1324)의 너비 및 높이는 제1 부호화 단위(1310 또는 1320)의 1/4배에 해당할 수 있다. 제1 부호화 단위(1310 또는 1320)의 심도가 D인 경우 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/2배인 제2 부호화 단위(1312 또는 1322)의 심도는 D+1일 수 있고, 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/4배인 제3 부호화 단위(1314 또는 1324)의 심도는 D+2일 수 있다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1400)를 분할하여 다양한 형태의 제2 부호화 단위를 결정할 수 있다. 도 14를 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(1400)를 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다.
일 실시예에 따라 정사각형 형태의 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제1 부호화 단위(1400)의 한 변의 길이와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 긴 변의 길이가 동일하므로, 제1 부호화 단위(1400)와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 심도는 D로 동일하다고 볼 수 있다. 이에 반해 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1400)를 4개의 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)로 분할한 경우, 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 한 변의 길이는 제1 부호화 단위(1400)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 심도는 제1 부호화 단위(1400)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 높이가 너비보다 긴 형태의 제1 부호화 단위(1410)를 분할 형태 모드 정보에 따라 수평 방향으로 분할하여 복수개의 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c)로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 너비가 높이보다 긴 형태의 제1 부호화 단위(1420)를 분할 형태 모드 정보에 따라 수직 방향으로 분할하여 복수개의 제2 부호화 단위(1422a, 1422b, 1424a, 1424b, 1424c)로 분할할 수 있다.
일 실시예에 따라 비-정사각형 형태의 제1 부호화 단위(1410 또는 1420)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 한 변의 길이는 높이가 너비보다 긴 비-정사각형 형태의 제1 부호화 단위(1410)의 한 변의 길이의 1/2배이므로, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 심도는 비-정사각형 형태의 제1 부호화 단위(1410)의 심도 D보다 한 심도 하위의 심도인 D+1이다.
나아가 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형 형태의 제1 부호화 단위(1410)를 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)는 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c) 및 정사각형 형태의 제2 부호화 단위(1414b)를 포함할 수 있다. 이 경우 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c)의 긴 변의 길이 및 정사각형 형태의 제2 부호화 단위(1414b)의 한 변의 길이는 제1 부호화 단위(1410)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1414a, 1414b, 1414c)의 심도는 제1 부호화 단위(1410)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(1410)와 관련된 부호화 단위들의 심도를 결정하는 상기 방식에 대응하는 방식으로, 너비가 높이보다 긴 비-정사각형 형태의 제1 부호화 단위(1420)와 관련된 부호화 단위들의 심도를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스(PID)를 결정함에 있어서, 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 홀수개로 분할된 부호화 단위들(1414a, 1414b, 1414c) 중 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 즉, 이 경우 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)의 두 개를 포함할 수 있다. 따라서, 스캔 순서에 따라 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 즉 인덱스의 값의 불연속성이 존재할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 이러한 분할된 부호화 단위들 간의 구분을 위한 인덱스의 불연속성의 존재 여부에 기초하여 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌지 여부를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위로부터 분할되어 결정된 복수개의 부호화 단위들을 구분하기 위한 인덱스의 값에 기초하여 특정 분할 형태로 분할된 것인지를 결정할 수 있다. 도 14를 참조하면 영상 복호화 장치(100)는 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)를 분할하여 짝수개의 부호화 단위(1412a, 1412b)를 결정하거나 홀수개의 부호화 단위(1414a, 1414b, 1414c)를 결정할 수 있다. 영상 복호화 장치(100)는 복수개의 부호화 단위 각각을 구분하기 위하여 각 부호화 단위를 나타내는 인덱스(PID)를 이용할 수 있다. 일 실시예에 따라 PID는 각각의 부호화 단위의 소정 위치의 샘플(예를 들면, 좌측 상단 샘플)에서 획득될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 구분을 위한 인덱스를 이용하여 분할되어 결정된 부호화 단위들 중 소정 위치의 부호화 단위를 결정할 수 있다. 일 실시예에 따라 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)에 대한 분할 형태 모드 정보가 3개의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(1410)를 3개의 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 영상 복호화 장치(100)는 3개의 부호화 단위(1414a, 1414b, 1414c) 각각에 대한 인덱스를 할당할 수 있다. 영상 복호화 장치(100)는 홀수개로 분할된 부호화 단위 중 가운데 부호화 단위를 결정하기 위하여 각 부호화 단위에 대한 인덱스를 비교할 수 있다. 영상 복호화 장치(100)는 부호화 단위들의 인덱스에 기초하여 인덱스들 중 가운데 값에 해당하는 인덱스를 갖는 부호화 단위(1414b)를, 제1 부호화 단위(1410)가 분할되어 결정된 부호화 단위 중 가운데 위치의 부호화 단위로서 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스를 결정함에 있어서, 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 제1 부호화 단위(1410)가 분할되어 생성된 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 이 경우 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 이러한 경우처럼 균일하게 인덱스가 증가하다가 증가폭이 달라지는 경우, 영상 복호화 장치(100)는 다른 부호화 단위들과 다른 크기를 가지는 부호화 단위를 포함하는 복수개의 부호화 단위로 분할된 것으로 결정할 수 있다, 일 실시예에 따라 분할 형태 모드 정보가 홀수개의 부호화 단위로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 홀수개의 부호화 단위 중 소정 위치의 부호화 단위(예를 들면 가운데 부호화 단위)가 다른 부호화 단위와 크기가 다른 형태로 현재 부호화 단위를 분할할 수 있다. 이 경우 영상 복호화 장치(100)는 부호화 단위에 대한 인덱스(PID)를 이용하여 다른 크기를 가지는 가운데 부호화 단위를 결정할 수 있다. 다만 상술한 인덱스, 결정하고자 하는 소정 위치의 부호화 단위의 크기 또는 위치는 일 실시예를 설명하기 위해 특정한 것이므로 이에 한정하여 해석되어서는 안되며, 다양한 인덱스, 부호화 단위의 위치 및 크기가 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 재귀적인 분할이 시작되는 소정의 데이터 단위를 이용할 수 있다.
도 15는 일 실시예에 따라 픽처에 포함되는 복수개의 소정의 데이터 단위에 따라 복수개의 부호화 단위들이 결정된 것을 도시한다.
일 실시예에 따라 소정의 데이터 단위는 부호화 단위가 분할 형태 모드 정보를 이용하여 재귀적으로 분할되기 시작하는 데이터 단위로 정의될 수 있다. 즉, 현재 픽처를 분할하는 복수개의 부호화 단위들이 결정되는 과정에서 이용되는 최상위 심도의 부호화 단위에 해당할 수 있다. 이하에서는 설명 상 편의를 위해 이러한 소정의 데이터 단위를 기준 데이터 단위라고 지칭하도록 한다.
일 실시예에 따라 기준 데이터 단위는 소정의 크기 및 형태를 나타낼 수 있다. 일 실시예에 따라, 기준 데이터 단위는 MxN의 샘플들을 포함할 수 있다. 여기서 M 및 N은 서로 동일할 수도 있으며, 2의 승수로 표현되는 정수일 수 있다. 즉, 기준 데이터 단위는 정사각형 또는 비-정사각형의 형태를 나타낼 수 있으며, 이후에 정수개의 부호화 단위로 분할될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처를 복수개의 기준 데이터 단위로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처를 분할하는 복수개의 기준 데이터 단위를 각각의 기준 데이터 단위에 대한 분할 형태 모드 정보를 이용하여 분할할 수 있다. 이러한 기준 데이터 단위의 분할 과정은 쿼드 트리(quad-tree)구조를 이용한 분할 과정에 대응될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처에 포함되는 기준 데이터 단위가 가질 수 있는 최소 크기를 미리 결정할 수 있다. 이에 따라, 영상 복호화 장치(100)는 최소 크기 이상의 크기를 갖는 다양한 크기의 기준 데이터 단위를 결정할 수 있고, 결정된 기준 데이터 단위를 기준으로 분할 형태 모드 정보를 이용하여 적어도 하나의 부호화 단위를 결정할 수 있다.
도 15를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 기준 부호화 단위(1500)를 이용할 수 있고, 또는 비-정사각형 형태의 기준 부호화 단위(1502)를 이용할 수도 있다. 일 실시예에 따라 기준 부호화 단위의 형태 및 크기는 적어도 하나의 기준 부호화 단위를 포함할 수 있는 다양한 데이터 단위(예를 들면, 시퀀스(sequence), 픽처(picture), 슬라이스(slice), 슬라이스 세그먼트(slice segment), 타일(tile), 타일 그룹(tile group), 최대부호화단위 등)에 따라 결정될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보 중 적어도 하나를 상기 다양한 데이터 단위마다 비트스트림으로부터 획득할 수 있다. 정사각형 형태의 기준 부호화 단위(1500)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 3의 현재 부호화 단위(300)가 분할되는 과정을 통해 상술하였고, 비-정사각형 형태의 기준 부호화 단위(1502)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 4의 현재 부호화 단위(400 또는 450)가 분할되는 과정을 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 조건에 기초하여 미리 결정되는 일부 데이터 단위에 따라 기준 부호화 단위의 크기 및 형태를 결정하기 위하여, 기준 부호화 단위의 크기 및 형태를 식별하기 위한 인덱스를 이용할 수 있다. 즉, 비트스트림 획득부(110)는 비트스트림으로부터 상기 다양한 데이터 단위(예를 들면, 시퀀스, 픽처, 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화단위 등) 중 소정의 조건(예를 들면 슬라이스 이하의 크기를 갖는 데이터 단위)을 만족하는 데이터 단위로서 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화 단위 등 마다, 기준 부호화 단위의 크기 및 형태의 식별을 위한 인덱스만을 획득할 수 있다. 영상 복호화 장치(100)는 인덱스를 이용함으로써 상기 소정의 조건을 만족하는 데이터 단위마다 기준 데이터 단위의 크기 및 형태를 결정할 수 있다. 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 상대적으로 작은 크기의 데이터 단위마다 비트스트림으로부터 획득하여 이용하는 경우, 비트스트림의 이용 효율이 좋지 않을 수 있으므로, 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 직접 획득하는 대신 상기 인덱스만을 획득하여 이용할 수 있다. 이 경우 기준 부호화 단위의 크기 및 형태를 나타내는 인덱스에 대응하는 기준 부호화 단위의 크기 및 형태 중 적어도 하나는 미리 결정되어 있을 수 있다. 즉, 영상 복호화 장치(100)는 미리 결정된 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 인덱스에 따라 선택함으로써, 인덱스 획득의 기준이 되는 데이터 단위에 포함되는 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 하나의 최대 부호화 단위(1510)에 포함하는 적어도 하나의 기준 부호화 단위를 이용할 수 있다. 즉, 영상을 분할하는 최대 부호화 단위에는 적어도 하나의 기준 부호화 단위가 포함될 수 있고, 각각의 기준 부호화 단위의 재귀적인 분할 과정을 통해 부호화 단위가 결정될 수 있다. 일 실시예에 따라 최대 부호화 단위의 너비 및 높이 중 적어도 하나는 기준 부호화 단위의 너비 및 높이 중 적어도 하나의 정수 배에 해당할 수 있다. 일 실시예에 따라 기준 부호화 단위의 크기는 최대 부호화 단위를 쿼드 트리 구조에 따라 n번 분할한 크기일 수 있다. 즉, 영상 복호화 장치(100)는 최대 부호화 단위를 쿼드 트리 구조에 따라 n 번 분할하여 기준 부호화 단위를 결정할 수 있고, 다양한 실시예들에 따라 기준 부호화 단위를 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 나타내는 블록 형태 정보 또는 현재 부호화 단위를 분할하는 방법을 나타내는 분할 형태 모드 정보를 비트스트림으로부터 획득하여 이용할 수 있다. 분할 형태 모드 정보는 다양한 데이터 단위와 관련된 비트스트림에 포함될 수 있다. 예를 들면, 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header)에 포함된 분할 형태 모드 정보를 이용할 수 있다. 나아가, 영상 복호화 장치(100)는 최대 부호화 단위, 기준 부호화 단위마다 비트스트림으로부터 블록 형태 정보 또는 분할 형태 모드 정보에 대응하는 신택스 엘리먼트를 비트스트림으로부터 획득하여 이용할 수 있다.
이하 본 개시의 일 실시예에 따른 분할 규칙을 결정하는 방법에 대하여 자세히 설명한다.
영상 복호화 장치(100)는 영상의 분할 규칙을 결정할 수 있다. 분할 규칙은 영상 복호화 장치(100) 및 영상 부호화 장치(200) 사이에 미리 결정되어 있을 수 있다. 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여 영상의 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header) 중 적어도 하나로부터 획득된 정보에 기초하여 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 프레임, 슬라이스, 타일, 템포럴 레이어(Temporal layer), 최대 부호화 단위 또는 부호화 단위에 따라 다르게 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 수 있다. 블록 형태는 부호화 단위의 크기, 모양, 너비 및 높이의 비율, 방향을 포함할 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 것을 미리 결정할 수 있다. 하지만 이에 한정되는 것은 아니다. 영상 복호화 장치(100)는 영상 부호화 장치(200)로부터 수신된 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 정사각형으로 결정할 수 있다. 또한, 부호화 단위의 너비 및 높이의 길이가 같지 않은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 크기는 4x4, 8x4, 4x8, 8x8, 16x4, 16x8, ... , 256x256의 다양한 크기를 포함할 수 있다. 부호화 단위의 크기는 부호화 단위의 긴변의 길이, 짧은 변의 길이 또는 넓이에 따라 분류될 수 있다. 영상 복호화 장치(100)는 동일한 그룹으로 분류된 부호화 단위에 동일한 분할 규칙을 적용할 수 있다. 예를 들어 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위를 동일한 크기로 분류할 수 있다. 또한 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위에 대하여 동일한 분할 규칙을 적용할 수 있다.
부호화 단위의 너비 및 높이의 비율은 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1 또는 1:32 등을 포함할 수 있다. 또한, 부호화 단위의 방향은 수평 방향 및 수직 방향을 포함할 수 있다. 수평 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 긴 경우를 나타낼 수 있다. 수직 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 짧은 경우를 나타낼 수 있다.
영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 허용가능한 분할 형태 모드를 다르게 결정할 수 있다. 예를 들어, 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할이 허용되는지 여부를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 분할 방향을 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 허용가능한 분할 타입을 결정할 수 있다.
부호화 단위의 크기에 기초하여 분할 규칙을 결정하는 것은 영상 부호화 장치(200) 및 영상 복호화 장치(100) 사이에 미리 결정된 분할 규칙일 수 있다. 또한, 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위가 영상에서 차지하는 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다.
또한, 영상 복호화 장치(100)는 서로 다른 분할 경로로 생성된 부호화 단위가 동일한 블록 형태를 가지지 않도록 분할 규칙을 결정할 수 있다. 다만 이에 한정되는 것은 아니며 서로 다른 분할 경로로 생성된 부호화 단위는 동일한 블록 형태를 가질 수 있다. 서로 다른 분할 경로로 생성된 부호화 단위들은 서로 다른 복호화 처리 순서를 가질 수 있다. 복호화 처리 순서에 대해서는 도 12와 함께 설명하였으므로 자세한 설명은 생략한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽처마다 서로 다른 경우, 각각의 픽처마다 결정될 수 있는 부호화 단위들을 도시한다.
도 16을 참조하면, 영상 복호화 장치(100)는 픽처마다 부호화 단위가 분할될 수 있는 분할 형태들의 조합을 다르게 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 영상에 포함되는 적어도 하나의 픽처들 중 4개의 부호화 단위로 분할될 수 있는 픽처(1600), 2개 또는 4개의 부호화 단위로 분할될 수 있는 픽처(1610) 및 2개, 3개 또는 4개의 부호화 단위로 분할될 수 있는 픽처(1620)를 이용하여 영상을 복호화 할 수 있다. 영상 복호화 장치(100)는 픽처(1600)를 복수개의 부호화 단위로 분할하기 위하여, 4개의 정사각형의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽처(1610)를 분할하기 위하여, 2개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽처(1620)를 분할하기 위하여, 2개, 3개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 상술한 분할 형태의 조합은 영상 복호화 장치(100)의 동작을 설명하기 위한 실시예에 불과하므로 상술한 분할 형태의 조합은 상기 실시예에 한정하여 해석되어서는 안되며 소정의 데이터 단위마다 다양한 형태의 분할 형태의 조합이 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 분할 형태 정보의 조합을 나타내는 인덱스를 포함하는 비트스트림을 소정의 데이터 단위 단위(예를 들면, 시퀀스, 픽처, 슬라이스, 슬라이스 세그먼트, 타일 또는 타일 그룹 등)마다 획득할 수 있다. 예를 들면, 비트스트림 획득부(110)는 시퀀스 파라미터 세트(Sequence Parameter Set), 픽처 파라미터 세트(Picture Parameter Set), 슬라이스 헤더(Slice Header), 타일 헤더(tile header) 또는 타일 그룹 헤더(tile group header)에서 분할 형태 정보의 조합을 나타내는 인덱스를 획득할 수 있다. 영상 복호화 장치(100)는 획득한 인덱스를 이용하여 소정의 데이터 단위마다 부호화 단위가 분할될 수 있는 분할 형태의 조합을 결정할 수 있으며, 이에 따라 소정의 데이터 단위마다 서로 다른 분할 형태의 조합을 이용할 수 있다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 블록 형태 정보 및 분할 형태 모드 정보를 이용하여 부호화 단위를 다양한 형태로 분할할 수 있다. 분할될 수 있는 부호화 단위의 형태는 상술한 실시예들을 통해 설명한 형태들을 포함하는 다양한 형태에 해당할 수 있다.
도 17을 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향으로 분할하여 4개의 정사각형의 부호화 단위로 분할할 수 있는 경우, 정사각형의 부호화 단위에 대한 분할 형태 모드 정보가 나타낼 수 있는 분할 형태는 4가지일 수 있다. 일 실시예에 따라 분할 형태 모드 정보는 2자리의 바이너리 코드로써 표현될 수 있으며, 각각의 분할 형태마다 바이너리 코드가 할당될 수 있다. 예를 들면 부호화 단위가 분할되지 않는 경우 분할 형태 모드 정보는 (00)b로 표현될 수 있고, 부호화 단위가 수평 방향 및 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (01)b로 표현될 수 있고, 부호화 단위가 수평 방향으로 분할되는 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있고 부호화 단위가 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할하는 경우 분할 형태 모드 정보가 나타낼 수 있는 분할 형태의 종류는 몇 개의 부호화 단위로 분할하는지에 따라 결정될 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 부호화 단위를 3개까지 분할할 수 있다. 영상 복호화 장치(100)는 부호화 단위를 두 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 세 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 분할하지 않는 것으로 결정할 수 있으며, 이 경우 분할 형태 모드 정보는 (0)b로 표현될 수 있다. 즉, 영상 복호화 장치(100)는 분할 형태 모드 정보를 나타내는 바이너리 코드를 이용하기 위하여 고정길이 코딩(FLC: Fixed Length Coding)이 아니라 가변길이 코딩(VLC: Varaible Length Coding)을 이용할 수 있다.
일 실시예에 따라 도 17을 참조하면, 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 17에서 도시하는 바와 같이, 비-정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 비-정사각형 형태의 부호화 단위의 분할 형태는 단지 도 17에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 18을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다. 즉, 분할 형태 모드 정보는 정사각형 형태의 부호화 단위를 한쪽 방향으로 분할되는 것을 나타낼 수 있다. 이러한 경우 정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 18에서 도시하는 바와 같이, 정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 정사각형 형태의 부호화 단위의 분할 형태는 단지 도 18에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
일 실시예에 따라 블록 형태 정보 또는 분할 형태 모드 정보는 바이너리 코드를 이용하여 표현될 수 있고, 이러한 정보가 곧바로 비트스트림으로 생성될 수 있다. 또한 바이너리 코드로 표현될 수 있는 블록 형태 정보 또는 분할 형태 모드 정보는 바로 비트스트림으로 생성되지 않고 CABAC(context adaptive binary arithmetic coding)에서 입력되는 바이너리 코드로서 이용될 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 CABAC을 통해 블록 형태 정보 또는 분할 형태 모드 정보에 대한 신택스를 획득하는 과정을 설명한다. 비트스트림 획득부(110)를 통해 상기 신택스에 대한 바이너리 코드를 포함하는 비트스트림을 획득할 수 있다. 영상 복호화 장치(100)는 획득한 비트스트림에 포함되는 빈 스트링(bin string)을 역 이진화하여 블록 형태 정보 또는 분할 형태 모드 정보를 나타내는 신택스 요소(syntax element)를 검출할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 복호화할 신택스 요소에 해당하는 바이너리 빈 스트링의 집합을 구하고, 확률 정보를 이용하여 각각의 빈을 복호화할 수 있고, 영상 복호화 장치(100)는 이러한 복호화된 빈으로 구성되는 빈 스트링이 이전에 구한 빈 스트링들 중 하나와 같아질 때까지 반복할수 있다. 영상 복호화 장치(100)는 빈 스트링의 역 이진화를 수행하여 신택스 요소를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 적응적 이진 산술 코딩(adaptive binary arithmetic coding)의 복호화 과정을 수행하여 빈 스트링에 대한 신택스를 결정할 수 있고, 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 빈들에 대한 확률 모델을 갱신할 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)의 비트스트림 획득부(110)는 일 실시예에 따라 분할 형태 모드 정보를 나타내는 바이너리 코드를 나타내는 비트스트림을 획득할 수 있다. 획득한 1비트 또는 2비트의 크기를 가지는 바이너리 코드를 이용하여 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정하기 위하여, 2비트의 바이너리 코드 중 각각의 비트에 대한 확률을 갱신할 수 있다. 즉, 영상 복호화 장치(100)는 2비트의 바이너리 코드 중 첫번째 빈의 값이 0 또는 1 중 어떤 값이냐에 따라, 다음 빈을 복호화 할 때 0 또는 1의 값을 가질 확률을 갱신할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 신택스를 결정하는 과정에서, 신택스에 대한 빈 스트링의 빈들을 복호화 하는 과정에서 이용되는 빈들에 대한 확률을 갱신할 수 있으며, 영상 복호화 장치(100)는 상기 빈 스트링 중 특정 비트에서는 확률을 갱신하지 않고 동일한 확률을 가지는 것으로 결정할 수 있다.
도 17을 참조하면, 비-정사각형 형태의 부호화 단위에 대한 분할 형태 모드 정보를 나타내는 빈 스트링을 이용하여 신택스를 결정하는 과정에서, 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 분할하지 않는 경우에는 0의 값을 가지는 하나의 빈을 이용하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 즉, 블록 형태 정보가 현재 부호화 단위는 비-정사각형 형태임을 나타내는 경우, 분할 형태 모드 정보에 대한 빈 스트링의 첫번째 빈은, 비-정사각형 형태의 부호화 단위가 분할되지 않는 경우 0이고, 2개 또는 3개의 부호화 단위로 분할되는 경우 1일 수 있다. 이에 따라 비-정사각형의 부호화 단위에 대한 분할 형태 모드 정보의 빈 스트링의 첫번째 빈이 0일 확률은 1/3, 1일 확률은 2/3일 수 있다. 상술하였듯이 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보는 0의 값을 가지는 1비트의 빈 스트링만을 표현될 수 있으므로, 영상 복호화 장치(100)는 분할 형태 모드 정보의 첫번째 빈이 1인 경우에만 두번째 빈이 0인지 1인지 판단하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 첫번째 빈이 1인 경우, 두번째 빈이 0 또는 1일 확률은 서로 동일한 확률인 것으로 보고 빈을 복호화할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 빈 스트링의 빈을 결정하는 과정에서 각각의 빈에 대한 다양한 확률을 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 블록의 방향에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 넓이 또는 긴 변의 길이에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태 및 긴 변의 길이 중 적어도 하나에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 소정 크기 이상의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률을 동일한 것으로 결정할 수 있다. 예를 들면, 부호화 단위의 긴 변의 길이를 기준으로 64샘플 이상의 크기의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률이 동일한 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보의 빈 스트링을 구성하는 빈들에 대한 초기 확률은 슬라이스 타입(예를 들면, I 슬라이스, P 슬라이스 또는 B 슬라이스)에 기초하여 결정될 수 있다.
도 19는 루프 필터링을 수행하는 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
영상 부호화 및 복호화 시스템(1900)의 부호화단(1910)은 영상의 부호화된 비트스트림을 전송하고, 복호화단(1950)은 비트스트림을 수신하여 복호화함으로써 복원 영상을 출력한다. 여기서 부호화단(1910)은 후술할 영상 부호화 장치(200)에 유사한 구성일 수 있고, 복호화단(1950)은 영상 복호화 장치(100)에 유사한 구성일 수 있다.
부호화단(1910)에서, 예측 부호화부(1915)는 인터 예측 및 인트라 예측을 통해 예측 데이터를 출력하고, 변환 및 양자화부(1920)는 예측 데이터와 현재 입력 영상 간의 레지듀얼 데이터의 양자화된 변환 계수를 출력한다. 엔트로피 부호화부(1925)는 양자화된 변환 계수를 부호화하여 변환하고 비트스트림으로 출력한다. 양자화된 변환 계수는 역양자화 및 역변환부(1930)을 거쳐 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블로킹 필터링부(1935) 및 루프 필터링부(1940)를 거쳐 복원 영상으로 출력된다. 복원 영상은 예측 부호화부(1915)를 거쳐 다음 입력 영상의 참조 영상으로 사용될 수 있다.
복호화단(1950)으로 수신된 비트스트림 중 부호화된 영상 데이터는, 엔트로피 복호화부(1955) 및 역양자화 및 역변환부(1960)를 거쳐 공간 영역의 레지듀얼 데이터로 복원된다. 예측 복호화부(1975)로부터 출력된 예측 데이터 및 레지듀얼 데이터가 조합되어 공간 영역의 영상 데이터가 구성되고, 디블로킹 필터링부(1965) 및 루프 필터링부(1970)는 공간 영역의 영상 데이터에 대해 필터링을 수행하여 현재 원본 영상에 대한 복원 영상을 출력할 수 있다. 복원 영상은 예측 복호화부(1975)에 의해 다음 원본 영상에 대한 참조 영상으로서 이용될 수 있다.
부호화단(1910)의 루프 필터링부(1940)는 사용자 입력 또는 시스템 설정에 따라 입력된 필터 정보를 이용하여 루프 필터링을 수행한다. 루프 필터링부(1940)에 의해 사용된 필터 정보는 엔트로피 부호화부(1925)로 출력되어, 부호화된 영상 데이터와 함께 복호화단(1950)으로 전송된다. 복호화단(1950)의 루프 필터링부(1970)는 복호화단(1950)으로부터 입력된 필터 정보에 기초하여 루프 필터링을 수행할 수 있다.
상술한 다양한 실시예들은 영상 복호화 장치(100)이 수행하는 영상 복호화 방법과 관련된 동작을 설명한 것이다. 이하에서는 이러한 영상 복호화 방법에 역순의 과정에 해당하는 영상 부호화 방법을 수행하는 영상 부호화 장치(200)의 동작을 다양한 실시예를 통해 설명하도록 한다.
도 2는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 영상을 부호화 할 수 있는 영상 부호화 장치(200)의 블록도를 도시한다.
영상 부호화 장치(200)는 부호화부(220) 및 비트스트림 생성부(210)를 포함할 수 있다. 부호화부(220)는 입력 영상을 수신하여 입력 영상을 부호화할 수 있다. 부호화부(220)는 입력 영상을 부호화하여 적어도 하나의 신택스 엘리먼트를 획득할 수 있다. 신택스 엘리먼트는 skip flag, prediction mode, motion vector difference, motion vector prediction method (or index), transform quantized coefficient, coded block pattern, coded block flag, intra prediction mode, direct flag, merge flag, delta QP, reference index, prediction direction, transform index 중 적어도 하나를 포함할 수 있다. 부호화부(220)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 기초하여 컨텍스트 모델을 결정할 수 있다.
비트스트림 생성부(210)는 부호화된 입력 영상에 기초하여 비트스트림을 생성할 수 있다. 예를 들어 비트스트림 생성부(210)는 컨텍스트 모델에 기초하여 신택스 엘리먼트를 엔트로피 부호화함으로써 비트스트림을 생성할 수 있다. 또한 영상 부호화 장치(200)는 비트스트림을 영상 복호화 장치(100)로 전송할 수 있다.
일 실시예에 따라 영상 부호화 장치(200)의 부호화부(220)는 부호화 단위의 형태를 결정할 수 있다. 예를 들면 부호화 단위가 정사각형인지 또는 비-정사각형의 형태를 가질 수 있고, 이러한 형태를 나타내는 정보는 블록 형태 정보에 포함될 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 어떤 형태로 분할될지를 결정할 수 있다. 부호화부(220)는 부호화 단위에 포함되는 적어도 하나의 부호화 단위의 형태를 결정할 수 있고 비트스트림 생성부(210)는 이러한 부호화 단위의 형태에 대한 정보를 포함하는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 분할되는지 분할되지 않는지 여부를 결정할 수 있다. 부호화부(220)가 부호화 단위에 하나의 부호화 단위만이 포함되거나 또는 부호화 단위가 분할되지 않는 것으로 결정하는 경우 비트스트림 생성부(210)는 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다. 또한 부호화부(220)는 부호화 단위에 포함되는 복수개의 부호화 단위로 분할할 수 있고, 비트스트림 생성부(210)는 부호화 단위는 복수개의 부호화 단위로 분할됨을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화 단위를 몇 개의 부호화 단위로 분할할지를 나타내거나 어느 방향으로 분할할지를 나타내는 정보가 분할 형태 모드 정보에 포함될 수 있다. 예를 들면 분할 형태 모드 정보는 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하는 것을 나타내거나 또는 분할하지 않는 것을 나타낼 수 있다.
영상 부호화 장치(200)는 부호화 단위의 분할 형태 모드에 기초하여 분할 형태 모드에 대한 정보를 결정한다. 영상 부호화 장치(200)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델을 결정한다. 그리고, 영상 부호화 장치(200)는 컨텍스트 모델에 기초하여 부호화 단위를 분할하기 위한 분할 형태 모드에 대한 정보를 비트스트림으로 생성한다.
영상 부호화 장치(200)는 컨텍스트 모델을 결정하기 위하여, 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나와 컨텍스트 모델에 대한 인덱스를 대응시키기 위한 배열을 획득할 수 있다. 영상 부호화 장치(200)는 배열에서 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델에 대한 인덱스를 획득할 수 있다. 영상 부호화 장치(200)는 컨텍스트 모델에 대한 인덱스에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 부호화 단위에 인접한 주변 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 더 기초하여 컨텍스트 모델을 결정할 수 있다. 또한 주변 부호화 단위는 부호화 단위의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측 또는 우하측에 위치한 부호화 단위 중 적어도 하나를 포함할 수 있다.
또한, 영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 상측 주변 부호화 단위의 너비의 길이와 부호화 단위의 너비의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 좌측 및 우측의 주변 부호화 단위의 높이의 길이와 부호화 단위의 높이의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 비교 결과들에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)의 동작은 도 3 내지 도 19에서 설명한 비디오 복호화 장치(100)의 동작과 유사한 내용을 포함하고 있으므로, 상세한 설명은 생략한다.
도 20은 일 실시예에 따른 영상 복호화 장치(2000)의 구성을 도시하는 블록도이다.
도 20을 참조하면, 영상 복호화 장치는(2000) 메모리(2010) 및 프로세서(2030)를 포함할 수 있다.
본 개시의 일 실시예에서, 본 개시의 메모리(2010) 및 프로세서(2030)는, 각각 적어도 하나의 메모리 및 적어도 하나의 프로세서로 구현될 수 있다. 본 개시의 일 실시예에서, 메모리(2010)에 인스트럭션들이 저장되어 있는 경우, 도 1에 도시된 비트스트림 획득부(110), 복호화부(120), 및 도 19에 도시된 엔트로피 복호화부(1955), 예측 복호화부(1975)의 동작은 적어도 하나의 프로세스가 호출한 인스트럭션에 따라 구현될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 도 1에 도시된 비트스트림 획득부(110), 복호화부(120), 및 도 19에 도시된 엔트로피 복호화부(1955), 예측 복호화부(1975) 중 적어도 하나의 입출력 데이터를 저장하는 저장매체를 포함할 수 있다. 상기 저장매체는 메모리(2010)에 포함될 수도 있고, 메모리(2010)와는 상이한 저장매체일 수도 있다.
또한, 영상 복호화 장치(2000)는, 저장매체의 데이터 입출력을 제어하는 저장매체 제어부를 포함할 수 있다. 상기 저장매체 제어부는, 상기 프로세서(2030)에 포함될 수도 있으며, 상기의 프로세서(2030)와는 상이한 제어부일 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 영상의 부호화 결과로 생성된 비트스트림을 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 블록에 대해 부호화하여 생성된 부호화 데이터를 포함할 수 있다. 비트스트림에 포함된 부호화 데이터는 현재 블록을 복원하기 위해 이용될 수 있다. 현재 블록은 복호화하고자 하는 현재 영상으로부터 분할된 최대 부호화 단위, 부호화 단위, 변환 단위 또는 예측 단위일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header) 및 슬라이스 세그먼트 헤더(slice segment header) 중 적어도 하나의 레벨에 대응하는 비트스트림에 포함된 블록과 연관된 정보 및/또는 블록 분할 모드에 대한 정보에 기반하여 현재 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림을 영상 부호화 장치로부터 네트워크를 통해 수신할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체로부터 비트스트림을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림으로부터 영상의 복호화를 위한 신택스 엘리먼트(syntax element)들을 획득할 수 있다. 신택스 엘리먼트들에 해당하는 값들은 영상의 계층 구조에 따라 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림에 포함된 비트들을 파싱하여 신택스 엘리먼트들의 빈들을 획득할 수 있다. 파싱 과정은 엔트로피 디코딩 및 역이진화 과정 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 블록의 예측 정보를 포함할 수 있다. 예측 정보는 현재 영상 내 현재 블록의 예측 모드에 대한 정보, 현재 블록의 인터 예측을 위해 이용하는 참조 픽처 리스트에 대한 정보(예를 들어, 제1 참조 픽처 리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 또는 쌍예측(LO 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보), 참조 영상 인덱스에 대한 정보, 움직임 벡터 예측자에 대한 정보, 및 움직임 벡터 차분에 대한 정보 중 적어도 하나를 포함할 수 있다. 한편, 개시된 예에 한하지 않고, 예측 정보는 현재 블록을 인터 예측을 통해 복원하기 위한 모든 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 예측 정보는, 현재 블록의 인트라 예측 모드에 대한 정보, 인트라 예측 모드의 결정 방식을 나타내는 정보 중 적어도 하나를 포함할 수 있다. 한편, 개시된 예에 한하지 않고, 예측 정보는 현재 블록을 인트라 예측을 통해 복원하기 위한 모든 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 영상 내 현재 블록의 예측 모드를 나타내는 정보를 포함할 수 있다. 현재 블록의 예측 모드는 인트라(intra) 모드, 인터(inter) 모드 등을 포함할 수 있다. 인트라 모드는 공간적 유사성을 기반으로 블록을 예측하는 동작으로 현재 영상 내의 공간적 유사성을 기반으로 현재 블록을 예측 또는 복원하는 모드이며, 인터 모드는 영상들 사이의 시간적 중복성을 감소시키기 위해 참조 영상에 기반하여 현재 블록을 예측 또는 복원하는 모드이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 예측 모드에 따라 현재 블록에 대해 인트라 예측 또는 인터 예측을 수행하여 현재 블록의 예측 블록을 생성하고, 예측 블록을 이용하여 현재 블록을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록의 예측 모드가 인트라 모드인 경우, 비트스트림으로부터 현재 블록의 인트라 예측 모드에 대한 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 현재 블록의 인트라 예측 모드에 대한 정보는 인트라 예측 모드의 결정 방식을 나타내는 정보를 포함할 수 있다. 일 실시예에서, 인트라 예측 모드의 결정 방식은, 참조 블록을 이용하여 인트라 예측 모드를 결정하는 방식, 템플릿을 이용하여 인트라 예측 모드를 결정하는 방식, 또는 비트스트림으로부터 획득되는 정보를 이용하여 인트라 예측 모드를 결정하는 방식을 포함할 수 있다.
본 개시의 일 실시예에서, 인트라 예측 모드의 결정 방식을 나타내는 정보는, 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 인트라 예측 모드의 결정 방식을 나타내는 정보가 비트스트림에 포함되지 않을 수 있고, 이 경우, 영상 복호화 장치(2000)는 미리 결정된 방식에 따라 현재 블록의 인트라 예측 모드를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 인트라 예측 모드의 결정 방식이 비트스트림으로부터 획득되는 정보를 이용하는 방식인 경우, 복수의 인트라 예측 모드들 중 비트스트림으로부터 획득되는 정보가 가리키는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다. 예를 들어, 현재 블록의 인트라 예측 모드를 나타내는 정보는, 복수의 인트라 예측 모드들 중 어느 하나의 인트라 예측 모드를 나타내는 플래그 또는 인덱스를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 인트라 예측 모드의 결정 방식이 참조 블록 또는 템플릿을 이용하는 방식인 경우, 현재 블록보다 먼저 복원된 현재 영상 내 참조 블록(이하, 공간적 참조 블록으로 지칭될 수 있다.) 또는 현재 영상 내 참조 블록의 템플릿을 이용하여 현재 블록의 인트라 예측 모드를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록의 예측 모드가 인터 모드인 경우, 비트스트림으로부터 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 영상에 기반하여 현재 블록을 복원할 때, 하나의 참조 영상을 이용(예를 들어, 단방향 예측)할 수도 있고, 두 개의 참조 영상을 이용(예를 들어, 쌍 예측(bi-prediction))할 수도 있다. 현재 블록의 인터 예측을 위해 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 통해 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 인터 예측을 위해 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보에 기초하여, 현재 블록의 인터 예측에 이용된 하나의 참조 픽처 리스트를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 현재 블록의 인터 예측을 위해 제1 참조 픽처 리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 쌍예측(LO 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 참조 픽처 리스트에 포함된 참조 영상 중 하나를 지시하는 참조 영상 인덱스를 포함할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록에 대해 단방향 예측이 수행되는 경우, 비트스트림으로부터 참조 픽처 리스트에 포함된 적어도 하나의 참조 영상 중 어떤 참조 영상을 이용할지를 지시하는 참조 영상 인덱스를 획득할 수 있다. 영상 복호화 장치(2000)는 현재 블록에 대해 쌍 예측이 수행되는 경우, 현재 블록에 대한 제1 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제1 참조 영상 인덱스와 제2 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제2 참조 영상 인덱스 각각을 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 움직임 벡터를 결정하기 위한 정보를 포함할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 비트스트림으로부터, 후보 블록 리스트에 포함된 후보 중 하나를 지시하는 인덱스를 획득할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록에 대해 단방향 예측이 수행되는 경우, 비트스트림으로부터 제1 후보 블록 리스트에 포함된 적어도 하나의 후보 블록 중에서 제1 후보 블록을 지시하는 제1 인덱스를 획득할 수 있다. 영상 복호화 장치(2000)는 현재 블록에 대해 쌍 예측이 수행되는 경우, 비트스트림으로부터 제1 후보 블록 리스트에 포함된 적어도 하나의 후보 블록 중에서 제1 후보 블록을 지시하는 제1 인덱스 및 제2 후보 블록 리스트에 포함된 적어도 하나의 후보 블록 중에서 제2 후보 블록을 지시하는 제2 인덱스를 획득할 수 있다. 한편, 제1 후보 블록 리스트와 제2 후보 블록 리스트는 동일할 수도 있으며, 상이할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 중 하나를 지시하는 인덱스(예를 들어, 제1 인덱스 또는 제2 인덱스)를 획득하여, 인덱스가 가리키는 후보 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록에 공간적으로 인접한 이전에 복호화된 블록 또는 이전에 복호화된 영상에 포함된 블록들의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 획득 또는 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 결정할 수 있다. 영상 복호화 장치(2000)는 비트스트림으로부터 획득한 움직임 벡터 차분에 대한 정보와 후보 블록의 움직임 벡터를 합하여 현재 블록의 움직임 벡터를 획득 또는 결정할 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭에 의해 움직임 벡터가 조정 또는 보정되는 경우, 현재 블록에 공간적으로 인접한 이전에 복호화된 블록 또는 이전에 복호화된 영상에 포함된 블록들의 움직임 벡터 및/또는 움직임 벡터 차분에 따라 획득된 현재 블록의 움직임 벡터는, 초기 움직임 벡터로 지칭될 수 있다. 즉, 템플릿 매칭에 의해 조정 또는 보정되기 전의 움직임 벡터는, 초기 움직임 벡터로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여 참조 영상 내 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 참조 픽처 리스트로부터 현재 블록을 위한 참조 영상을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 후보 블록 리스트로부터 어느 하나의 후보 블록의 움직임 벡터를 현재 블록의 초기 움직임 벡터로 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 초기 움직임 벡터를 이용하여 현재 블록과의 템플릿 매칭(Template Matching)을 수행하여 참조 블록을 결정할 수도 있다.
본 개시의 일 실시예에서, 현재 블록과의 템플릿 매칭은 현재 블록의 초기 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내의 후보 참조 블록들의 각각의 템플릿과 현재 블록의 템플릿을 비교하여, 템플릿 코스트가 가장 적은 후보 참조 블록을 현재 블록의 참조 블록으로 결정하는 동작일 수 있다. 한편, 현재 블록의 템플릿과 비교가 수행되는 템플릿은, 현재 블록의 초기 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내일 수 있으나, 개시된 예에 한하지 않는다. 후보 참조 블록의 템플릿과 현재 블록의 템플릿을 비교하여, 템플릿 코스트를 결정하는 동작은, 본 개시에 따른 템플릿 코스트를 결정하는 동작을 이용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 중 하나를 지시하는 인덱스를 획득하지 않고도, 후보 블록 리스트에 포함된 복수의 후보들 중 하나의 후보를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 블록들 각각의 움직임 벡터들이 가리키는 위치에 대응하는 템플릿들과 현재 블록의 템플릿의 템플릿 코스트를 비교하여, 템플릿 코스트가 가장 적은 후보 블록의 움직임 벡터를 참조 블록을 결정하기 위한 현재 블록의 움직임 벡터로 결정할 수 있다. 템플릿 매칭을 통해 후보 블록 리스트에 포함된 복수의 후보들 중 하나의 후보를 결정하기 위해, 템플릿 코스트를 결정하는 동작은, 본 개시에 따른 템플릿 코스트를 결정하는 동작을 이용할 수 있다.
본 개시의 일 실시예에서, 예측 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 현재 블록의 예측 블록을 획득하기 위해 템플릿 매칭을 수행할지 여부에 대한 정보 또는 현재 블록에서 수행하는 템플릿 매칭과 연관된 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다. 그러나, 개시된 예에 한하지 않으며, 템플릿 매칭을 수행할지 여부에 대한 정보 및 현재 블록에서 수행하는 템플릿 매칭과 연관된 정보는 비트스트림에 포함되지 않을 수 있다. 한편, 현재 블록에서 수행하는 템플릿 매칭과 연관된 정보는, 템플릿 코스트를 결정하는 방식 등에 대한 정보를 포함할 수 있다. 비트스트림은, 템플릿 코스트 리스트 중 어느 하나를 지시하는 인덱스 또는 플래그를 포함할 수 있다. 한편, 템플릿 코스트 리스트는, 템플릿 코스트를 이용하여 오름차순으로 리오더링(re-ordering)된 리스트를 나타내는 것일 수 있다. 템플릿 코스트는 템플릿 매칭 코스트로도 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 인트라 예측에서의 블록 벡터 또는 인터 예측에서의 움직임 벡터에 따른 검색 범위 내의 복수의 후보 참조 블록들 중에서 어느 하나를 참조 블록으로 결정할 수 있다. 영상 복호화 장치(2000)는 복수의 후보 참조 블록들에 대한 템플릿 매칭을 수행하여, 템플릿 코스트가 가장 낮은 후보 참조 블록을 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 블록을 이용하여 현재 블록을 복원할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 참조 블록을 이용하여 예측 블록을 생성하고, 예측 블록 및 잔차 데이터를 이용하여 현재 블록을 복원 또는 생성할 수 있다.
한편, 템플릿 매칭을 통해 참조 블록을 결정하는 동작과 관련하여는, 도 23 내지 도 26에서 설명하며, 참조 블록을 결정하기 위해 템플릿 코스트를 결정하는 구체적인 동작에 대해서는 도 27 내지 도 29를 참조하여 후술한다.
HEVC(High Efficiency Video Coding), VVC(Versatile video coding) 등의 표준에서는, 비트스트림으로부터 획득되는 예측 정보에 기초하여 예측 블록을 생성하는데, 이는 인트라 예측 모드 및 인터 예측 모드의 시그널링에 필요한 데이터의 양을 증가시키는 요인이 될 수 있다. 따라서, 본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 초기 움직임 벡터를 결정하고, 초기 움직임 벡터가 가리키는 블록에 기반한 검색 범위 내의 템플릿을 이용하여 템플릿 매칭을 수행하거나, 초기 블록 벡터나 현재 블록에 기반한 검색 범위 내의 템플릿을 이용하여 템플릿 매칭을 수행함으로써 시그널링에 필요한 데이터의 양이 감소될 수 있도록 한다. 템플릿 매칭을 수행하여 잔차 데이터의 양을 감소시킴으로써, 시그널링에 필요한 데이터의 양을 감소시킬 수 있다.
이하에서는 도 21를 참조하여, 현재 블록에 대해 수행되는 인터 예측에 대해 설명한다.
도 21은 일 실시예에 따른 현재 블록과 시간적 및/또는 공간적으로 관련된 이웃 블록들을 도시하는 도면이다.
도 21을 참조하면, 현재 블록(2115)을 포함하는 현재 영상의 POC(Picture Order Count)와 상이한 POC를 갖는 참조 영상이 콜로케이티드 영상일 수 있다. 시간적 이웃 블록은 콜로케이티드 영상 내에 현재 블록(2115)에 상응하는 지점에 위치한 콜로케이티드 블록(Col)(이하 '콜 블록'이라 기재한다)을 포함할 수 있다. 콜 블록은, 콜로케이티드 영상 내에서, 현재 블록(2115)에 우하측 대각선으로 인접한 샘플의 위치에 대응하는 샘플(Br)을 포함하는 블록 또는 현재 블록(2115)의 중앙 위치에 대응하는 샘플(Ctr)을 포함하는 블록일 수 있다. 한편, 개시된 예에 한하지 않고, 콜로케이티드 블록은, 현재 영상의 현재 블록에 포함된 소정의 샘플에 상응하는 위치의 콜로케이티드 영상 내의 소정의 샘플을 포함하는 블록일 수 있으며, 콜로케이티드 영상 내 현재 블록과 상응하는 위치 및 크기를 갖는 블록 내 임의의 블록으로 결정되거나, 또는 현재 블록과 상응하는 위치 및 크기를 갖는 블록에 인접한 블록으로 결정될 수 있다.
본 개시의 일 실시예에서, 현재 블록(2115)과 공간적으로 이웃하는 공간적 이웃 블록은, 좌하단 외곽 샘플(A0), 좌측 하부 샘플(A1), 우상단 외곽 샘플(B0), 상부 우측 샘플(B1) 및 좌상단 외곽 샘플(B2)을 포함하는 블록들 중 적어도 하나를 포함할 수 있다.
도 21에 도시된 시간적 이웃 블록들 및 공간적 이웃 블록들의 위치는 하나의 예시이며, 구현 예에 따라 시간적 이웃 블록, 공간적 이웃 블록의 위치 및 개수는 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 블록 리스트를 구축할 때, 시간적 이웃 블록 및/또는 공간적 이웃 블록을 후보 블록으로 이용하여 후보 블록 리스트를 구축할 수 있다. 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 블록들의 움직임 벡터가 가리키는 위치에 대응하는 템플릿과 현재 블록의 템플릿과의 템플릿 매칭을 통해 현재 블록의 초기 움직임 벡터를 결정할 수 있다. 또는, 영상 복호화 장치(2000)는 후보 블록 리스트 중 어느 하나의 후보를 가리키는 인덱스 또는 플래그를 획득하여 현재 블록의 초기 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 초기 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내의 영역의 템플릿과 현재 블록의 템플릿을 비교하여, 초기 움직임 벡터를 조정할 수 있다.
도 22은 일 실시예에 따른 템플릿 매칭 예측 모드의 템플릿을 설명하기 위한 도면이다.
도 22을 참조하면, 현재 블록(2200)의 템플릿(2210, 2220, 2230, 2240)은 복수의 모양을 가질 수 있다. 본 개시의 일 실시예에서, 현재 블록(2200)의 템플릿에 따라, 복원된 영역에서 비교되는 템플릿의 모양도 결정될 수 있다. 본 개시의 일 실시예에서, 템플릿(2210, 2230)과 같은 모양의 템플릿을 L-모양(L-shape)으로 지칭할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 좌측에 위치한 제1 템플릿, 현재 블록의 상측에 위치한 제2 템플릿 및 현재 블록의 좌상측에 위치한 제3 템플릿 중 적어도 하나를 포함하도록 현재 블록(2200)의 템플릿을 결정할 수 있다. 예를 들면, 템플릿(2210)은 현재 블록의 좌측에 위치한 제1 템플릿, 현재 블록의 상측에 위치한 제2 템플릿 및 현재 블록의 좌상측에 위치한 제3 템플릿을 포함하고, 템플릿(2220)은 제3 템플릿을 제외하고 제1 템플릿 및 제2 템플릿을 포함할 수 있다. 다만, 이에 제한되지 않고, 템플릿은 현재 블록(2200)의 우측에 위치한 템플릿을 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 우측 참조 샘플, 상측 참조 샘플 및 우상측 참조 샘플 중 적어도 일부를 포함하는 템플릿(2230)을 이용하여 템플릿 매칭 예측을 수행할 수 있다. 영상 복호화 장치(2000)는 블록의 코딩 순서(혹은 코딩 방향)에 기초하여 템플릿을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 블록의 코딩이 우측에서 좌측으로 수행되는 경우, 템플릿(2230)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 우측 참조 샘플, 상측 참조 샘플, 좌측 참조 샘플, 좌상측 참조 샘플 및 우상측 참조 샘플 중 적어도 일부를 포함하는 템플릿(2240)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 블록의 코딩 순서(혹은 코딩 방향)가 변하는 경우, 참조 가능한 샘플을 포함하는 템플릿(2240)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 현재 블록(2200)의 템플릿은 하나 이상의 참조 라인을 포함할 수 있다. 제1 템플릿은 m개(여기서, m은 1 이상의 정수)의 참조 라인을 포함하고 제2 템플릿은 n개(여기서, n은 1 이상의 정수)의 참조 라인을 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 블록에 대응되는 템플릿의 일부 샘플이 복원되지 않은 경우, 복원되지 않은 샘플을 가상의 값으로 결정할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 제1 템플릿의 일부가 복원되지 않은 경우, 복원되지 않은 샘플의 값을 결정하고, 결정된 샘플을 포함하여 템플릿을 결정할 수 있다.
도 22은 본 개시의 일 실시예에 따른 템플릿을 설명하기 위한 도면으로, 이에 제한되지 않고, 다양한 형태의 템플릿이 결정될 수 있다. 또한, 본 개시에서, 영상 복호화 장치(2000)는 좌측 참조 샘플, 상측 참조 샘플 및 좌상측 참조 샘플을 모두 포함하는 템플릿(2210)을 이용하여 템플릿 매칭을 수행하는 것으로 설명되더라도, 이에 제한되지 않고, 도 22에서 설명된 바와 같이 다양한 모양의 템플릿을 이용하여 템플릿 매칭 예측을 수행할 수 있다.
도 23는 일 실시예에 따른 템플릿 매칭에 기반하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 예측 정보를 통해 획득된 현재 블록의 움직임 벡터를 이용하여, 참조 영상(2330) 내 참조 블록을 결정할 수 있다.
현재 영상(2310) 내 현재 블록(2315)에 대한 후보 블록 리스트를 구축하고, 후보 블록 리스트 중 어느 하나의 후보를 가리키는 인덱스 또는 플래그를 획득하여 현재 블록의 초기 움직임 벡터(2325)를 결정할 수 있다. 또한, 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 블록들의 움직임 벡터들이 가리키는 지점에 대응하는 템플릿과 현재 블록의 템플릿을 비교하여 현재 블록의 초기 움직임 벡터(2325)를 결정할 수 있다. 또한, 영상 복호화 장치(2000)는 결정된 초기 움직임 벡터(2325)를 이용하여 참조 영상(2330) 내 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 각각의 후보 블록들의 움직임 벡터들이 가리키는 지점에 대응하는 템플릿 코스트에 따라, 소정의 후보 블록에 대응하는 움직임 벡터를 현재 블록의 초기 움직임 벡터(2325)로서 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 후보 블록 리스트에 포함된 후보 블록들의 움직임 벡터들이 가리키는 지점에 대한 템플릿 코스트들에 따라, 가장 낮은 템플릿 코스트에 대응하는 후보 블록의 움직임 벡터를 현재 블록을 위한 초기 움직임 벡터(2325)로서 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 소정의 후보 블록의 움직임 벡터를 초기 움직임 벡터(2325)로 이용하여 템플릿 매칭을 수행함으로써, 초기 움직임 벡터를 보정 또는 조정하여 최종 움직임 벡터를 결정할 수 있다. 한편, 최종 움직임 벡터가 가리키는 블록은 본 개시의 참조 블록일 수 있다.
한편, 템플릿 매칭을 통해 후보 블록 리스트에 포함된 후보 블록들 중에서 어느 하나의 후보 블록을 이용하여 움직임 벡터를 결정하는 동작에서, 설명의 편의상 움직임 벡터 차분에 대한 설명은 생략되었으며, 영상 복호화 장치(2000)는 움직임 벡터 차분과 결합된 후보 블록의 움직임 벡터를 이용하여, 현재 블록을 위한 템플릿 매칭을 수행함으로써, 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 초기 움직임 벡터가 가리키는 지점을 포함하는 소정의 영역(2337) 내의 참조 템플릿(2336)과 현재 템플릿(2316)을 비교한 것에 기초하여, 초기 움직임 벡터(2325)를 조정 또는 보정함으로써, 현재 블록(2315)의 참조 블록을 결정할 수 있다. 한편, 템플릿 매칭에 따라 조정되기 이전의 움직임 벡터는 초기 움직임 벡터(2325)라고 지칭될 수 있다. 소정의 영역(2337)은, 검색 영역(search area) 또는 검색 범위(search range) 등으로 지칭될 수 있다.
한편, 검색 영역은, 초기 움직임 벡터(2325)가 가리키는 지점을 기준으로 x좌표 및 y좌표가 각각 -8씩의 샘플 거리만큼 떨어진 지점부터 +8씩의 샘플 거리만큼 떨어진 지점까지를 나타낼 수 있으나, 개시된 예에 한하지 않는다.
이하, 영상 복호화 장치(2000)가 초기 움직임 벡터(2325)가 가리키는 위치의 주변에서 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2315)의 초기 움직임 벡터(2325)를 이용하여 템플릿 매칭을 수행함으로써, 현재 블록(2315)의 참조 블록을 템플릿 매칭에 따라 보정 또는 조정된 움직임 벡터가 가리키는 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 블록 리스트를 구성하기 위해 현재 블록(2315)과 공간적으로 인접한 블록을 획득할 수 있으며, 현재 블록(2315)과 공간적으로 인접하지 않은 블록을 후보 블록으로서 획득할 수도 있다. 후보 블록 리스트는 현재 블록(2315)과 공간적으로 인접한 블록 또는 현재 블록(2315)과 공간적으로 인접하지 않은 블록을 움직임 벡터 후보로서 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 블록 리스트를 구성하기 위해 현재 블록(2315)의 콜로케이티드 영상 내 콜 블록 및/또는 콜 블록의 이웃 블록을 후보 블록으로서 획득할 수 있다. 후보 블록 리스트는 현재 블록(2315)의 콜로케이티드 영상 내 콜 블록 및/또는 콜 블록의 이웃 블록을 후보 블록으로서 포함할 수 있다.
본 개시의 일 실시예에서, 참조 블록을 포함하는 참조 영상(2330)은 현재 영상(2310)보다 먼저 복원된 영상이며, 참조 픽처 리스트에 포함된 영상일 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭에서는 현재 블록(2315)보다 먼저 복원된 이웃 샘플들이 템플릿으로 이용될 수 있다. 현재 블록(2315)의 템플릿인 현재 템플릿(2316)은 현재 블록(2315)의 이웃 샘플들 중 적어도 일부를 포함할 수 있다. 이하, 현재 블록(2315)의 템플릿은 현재 템플릿(2316), 참조 블록의 템플릿은 참조 템플릿(2336)로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2316)을 이용하여 참조 영상(2330) 내에서 현재 템플릿(2316)과 가장 유사한 템플릿을 검색(search)하고, 검색 결과 가장 유사한 템플릿인 참조 템플릿(2336)에 인접한 블록을 참조 블록으로 결정할 수 있다. 도 23에서, 현재 템플릿(2316)이 현재 블록(2315)의 좌측 및 상부에 위치하고 있으므로, 참조 영상(2330) 내에서 검색 결과 가장 유사한 참조 템플릿(2336)의 우측 및 하부에 위치하는 블록이 참조 블록으로 결정될 수 있다.
한편, 현재 블록의 좌측 샘플들 및 상측 샘플들을 현재 블록을 템플릿으로 하는 경우를 예로 들어 설명하며, 템플릿의 모양에 따라, 템플릿과 참조 블록 간의 위치 관계가 달라질 수 있다.
본 개시의 일 실시예에서, 현재 템플릿(2316)과 가장 유사한 템플릿을 검색하는 동작은, 현재 블록(2315)의 현재 템플릿(2316)에 포함된 샘플값들과 템플릿 매칭을 위한 후보 위치에 대응하는 참조 템플릿에 포함된 샘플값들의 차이를 이용하여, 가장 차이가 적은 참조 템플릿에 대응하는 후보 참조 블록을 참조 블록으로 결정함으로써 현재 블록(2315)과의 템플릿 매칭을 수행하는 동작일 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭은, 초기 움직임 벡터(2325)를 기준으로 다양한 검색 패턴 및 검색 크기를 이용하여 수행될 수 있다. 예를 들어, 템플릿 매칭은 다이아몬드 패턴 또는 십자형 패턴 등을 이용하여 소정의 영역(2337)을 검색할 수 있으며, 4픽셀, 1픽셀, 1/2픽셀, 1/4픽셀, 또는 1/8픽셀 단위로 소정의 영역(2337)을 검색할 수 있다. 템플릿 매칭을 위한 후보 위치는, 템플릿 매칭을 위한 소정의 범위 내에서 검색 패턴 및 검색 크기에 따라 결정되는 현재 템플릿(2316)과 템플릿을 비교하기 위한 위치일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 템플릿과 동일한 모양의 후보 참조 템플릿에 포함된 샘플들과 현재 템플릿의 유사도를 결정할 수 있으며, 유사도를 결정하기 위해 샘플값들의 차이값들이 이용될 수 있다. 영상 복호화 장치(2000)는 현재 템플릿(2316)에 포함된 샘플 값들과 가장 유사한 샘플 값들을 포함하는 템플릿을 참조 영상(2330) 내의 참조 템플릿으로 결정할 수 있다. 한편, 유사도를 결정하기 위한 척도로서, 템플릿 코스트(template cost)를 이용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿과 후보 참조 템플릿의 유사도를 결정하기 위해 비용 함수를 이용할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 현재 블록의 템플릿의 샘플값들과 후보 참조 블록의 템플릿의 샘플값들의 차이 값들을 이용하여 최소 템플릿 코스트 값을 갖는 템플릿을 가장 유사한 템플릿으로 결정할 수 있다. 템플릿 코스트는, SAD (Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), HoG(Histogram of Oriented Gradient), 또는 본 개시에 따른 템플릿 코스트 계산 방식 중 적어도 하나의 비용 함수를 이용하여 결정될 수 있고, 당업자에게 자명한 범위 내에서 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 적어도 하나의 비용 함수를 이용하여 현재 템플릿과 검색 범위 내의 템플릿을 비교함으로써, 가장 낮은 템플릿 코스트를 갖는 템플릿에 대응하는 블록을 참조 블록으로 결정할 수 있다. 영상 복호화 장치(2000)는 참조 영상(2330) 내에서 현재 템플릿(2316)와 가장 유사한 템플릿과 인접한 블록을 참조 블록으로 결정할 수 있다.
도 24는 일 실시예에 따른 템플릿 매칭에 기반하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림으로부터 참조 픽처 리스트에 대한 정보를 획득하여, 현재 블록(2415)의 예측을 위해 쌍예측을 수행한다고 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 영상(2410) 내 현재 블록(2415)에 대해 쌍 예측이 수행되는 경우, 현재 블록(2415)에 대한 제1 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제1 참조 영상 인덱스와 제2 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제2 참조 영상 인덱스 각각을 획득할 수 있다. 또한, 영상 복호화 장치(2000)는 제1 참조 영상 인덱스에 대응하는 영상을 제1 참조 영상(2430)으로 결정할 수 있고, 제2 참조 영상 인덱스에 대응하는 영상을 제2 참조 영상(2450)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2415)에 대해 쌍 예측이 수행되는 경우, 비트스트림으로부터 제1 후보 블록 리스트에 포함된 적어도 하나의 후보 블록 중에서 제1 후보 블록을 지시하는 제1 인덱스 및 제2 후보 블록 리스트에 포함된 적어도 하나의 후보 블록 중에서 제2 후보 블록을 지시하는 제2 인덱스를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 영상 내 제1 인덱스가 가리키는 제1 초기 움직임 벡터 및 제2 참조 영상 내 제2 인덱스가 가리키는 제2 초기 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 후보 블록 리스트에 포함된 후보 블록들의 움직임 벡터가 가리키는 지점에 대응하는 템플릿들과 현재 블록의 템플릿에 대한 템플릿 매칭을 수행하여 템플릿 코스트가 가장 적은 템플릿에 대응하는 움직임 벡터를 제1 초기 움직임 벡터로 결정할 수 있다. 영상 복호화 장치(2000)는, 제2 후보 블록 리스트에 포함된 후보 블록들의 움직임 벡터가 가리키는 지점에 대응하는 템플릿들과 현재 블록의 템플릿에 대한 템플릿 매칭을 수행하여 템플릿 코스트가 가장 적은 템플릿에 대응하는 움직임 벡터를 제2 초기 움직임 벡터로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2415)의 템플릿인 현재 템플릿(2416)과 제1 참조 영상(2430) 내에서 제1 초기 움직임 벡터가 가리키는 블록의 템플릿에 대한 템플릿 매칭을 수행함으로써, 제1 움직임 벡터를 결정할 수 있다. 영상 복호화 장치(2000)는 현재 템플릿과 제2 참조 영상(2450) 내에서 제2 초기 움직임 벡터가 가리키는 블록의 템플릿에 대한 템플릿 매칭을 수행함으로써, 제2 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 초기 움직임 벡터가 가리키는 지점을 포함하는 소정의 영역 내의 제1 참조 템플릿(2436)과 현재 템플릿(2416)을 비교한 것에 기초하여, 제1 초기 움직임 벡터를 조정 또는 보정함으로써, 현재 블록(2415)의 제1 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는, 제2 초기 움직임 벡터가 가리키는 지점을 포함하는 소정의 영역 내의 제2 참조 템플릿(2456)과 현재 템플릿(2416)을 비교한 것에 기초하여, 제2 초기 움직임 벡터를 조정 또는 보정함으로써, 현재 블록(2415)의 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 참조 영상(2430)과 제2 참조 영상(2450) 내의 각각의 검색 영역에서 현재 템플릿(2416)과 가장 유사한 템플릿을 검색할 수 있다. 영상 복호화 장치(2000)는, 검색 결과 가장 유사한 템플릿인 제1 참조 템플릿(2436)과 제2 참조 템플릿(2456)의 우측 하부에 위치하는 블록이 각각 제1 참조 블록 및 제2 참조 블록으로 결정될 수 있다. 한편, 현재 블록(2415)의 좌측 샘플들 및 상측 샘플들을 현재 블록(2415)의 템플릿으로 하는 경우를 예로 들어 설명하며, 템플릿의 모양에 따라, 템플릿과 참조 블록 간의 위치 관계가 달라질 수 있다.
한편, 쌍예측에 대한 템플릿 매칭은, 개시된 예에 한하지 않고, 제1 초기 움직임 벡터와 제2 초기 움직임 벡터에 대한 검색 위치 또는 검색 방향이 의존 관계에 있을 수 있다.
한편, 템플릿 매칭과 관련하여, 제1 움직임 벡터 및 제2 움직임 벡터를 결정하는 동작 각각은, 도 23에서의 움직임 벡터를 결정하는 동작에 대응할 수 있으므로, 동일한 내용은 생략한다.
한편, 도 23 내지 도 24는 인터 예측에 대한 템플릿 매칭에 대해 설명하였다. 이하, 도 25 내지 도 26에서는, 인트라 예측에 대한 템플릿 매칭에 대해 설명하도록 한다.
도 25는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2510)을 포함하는 현재 영상 내 복원된 영역에 대한 템플릿 매칭에 기초하여, 현재 블록(2510)의 참조 블록(2530)을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복원된 영역 중에서 현재 템플릿(2520)과 유사한 템플릿을 검색 영역 내에서 결정하고, 결정된 현재 템플릿(2520)과 유사한 템플릿을 참조 템플릿(2540)으로 결정하고, 참조 템플릿(2540)에 대응하는 블록을 참조 블록(2530)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 검색 영역에서 현재 블록(2510)의 템플릿과 가장 유사한 템플릿을 검색(search)할 수 있다. 검색 영역은 사전 정의된 하나 이상의 검색 영역을 포함할 수 있다. 한편, 검색 영역과 관련하여는 도 26에서 자세히 설명하도록 한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복원된 영역에 포함된 샘플들에 대해 현재 템플릿(2520)과 비교를 수행할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 현재 템플릿(2220)과 동일한 모양의 후보 참조 템플릿에 포함된 샘플들과 템플릿(2220)의 유사도를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비용 함수를 이용하여 템플릿들 사이의 유사도를 결정할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 SAD(sum of absolute difference), SATD(Sum of Absolute Transformed Difference) SSE(Sum of squared error), MR-SAD(Mean removed SAD), MR-SSE (Mean Removed SSE), HoG(Histogram of Oriented Gradient), 또는 본 개시에 따른 코스트 계산 방식 중 적어도 하나의 비용 함수(cost function)를 이용하여 템플릿들 사이의 유사도를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 적어도 하나의 비용 함수를 이용하여 템플릿 코스트를 계산하여, 가장 낮은 템플릿 코스트를 갖는 템플릿에 대응하는 블록을 현재 블록(2510)에 대한 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복원된 영역에서 가능한 모든 템플릿들 중에서 현재 블록(2510)과 가장 유사한 템플릿을 결정할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 복원된 영역에 포함된 복원 샘플들을 포함하는 템플릿들 전부 혹은 일부를 현재 템플릿(2520)과 비교하여 가장 유사한 템플릿을 결정할 수 있다. 일 실시예에서, 영상 복호화 장치(2000)는 복원된 영역 중 일부 영역을 결정하고, 결정된 영역에 대해서만 템플릿 매칭을 수행할 수 있다. 한편, 상기 복원된 영역 중 일부 영역은 검색 영역으로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복원된 영역의 블록 단위에 따라 현재 템플릿(2520)과 유사한 템플릿을 결정할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 복원된 영역의 블록들(예를 들면, 변환 블록 또는 부호화 블록 등)에 대응되는 템플릿들을 현재 템플릿(2520)과 비교하여 유사한 템플릿을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 검색 범위 내에서 소정의 거리 간격마다 템플릿을 식별할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 3 샘플 간격으로 템플릿을 식별하고, 현재 템플릿(2520)과 비교하면서 템플릿 코스트를 결정함으로써, 블록 벡터 후보 리스트를 구성할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 검색 영역 내의 템플릿에 대해 템플릿 코스트에 따라 오름차순으로 후보 리스트를 구성할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 3개 샘플 간격으로 낮은 템플릿 코스트를 갖는 템플릿에 대응하는 30개의 블록 벡터를 후보 리스트에 포함시키고, 30개의 블록 벡터 중에서 주변 3 X 3영역에서 1 샘플 간격으로 미세 검색을 수행하여 최종적으로 19개의 후보를 포함하는 후보 리스트를 구성할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 리스트 중에서 하나의 참조 템플릿을 결정할 수 있다. 영상 복호화 장치(2000)는 검색 범위 내의 템플릿들을 현재 블록(2510)의 현재 템플릿(2520)과 비교하여 가장 유사한 참조 템플릿을 결정할 수 있다. 영상 복호화 장치(2000)는, 현재 템플릿(2520) 및 현재 블록(2510)의 관계와 같이, 현재 템플릿(2520)과 가장 유사한 것으로 결정된 템플릿에 대응되는 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 리스트에 포함된 복수의 후보 중에서 하나의 블록 벡터를 지시하는 인덱스를 비트스트림으로부터 획득하여, 인덱스에 대응하는 블록 벡터를 이용하여 참조 블록을 결정할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 리스트를 이용하여 복수의 참조 템플릿을 결정할 수 있다. 영상 복호화 장치(2000)는 후보 리스트에 대응되는 블록의 템플릿들 중에서 현재 템플릿(2520)과 비교하여 유사도가 높은 복수의 참조 템플릿을 결정할 수 있다. 한편, 개시된 예에 한하지 않고, 영상 복호화 장치(2000)는 복수의 인덱스를 획득한 것에 기초하여 참조 템플릿을 결정할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복수의 참조 블록에 대한 가중합을 이용하여 현재 블록(2510)을 예측할 수 있다. 본 개시의 일 실시예에서, 복수의 참조 블록에 대한 가중합을 위한 각각의 참조 템플릿들을 위한 가중치는 템플릿 코스트에 기초하여 결정되거나 위너 필터(Wiener Filter)에 기초하여 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 리스트에 포함된 블록 벡터를 이용하여 더욱 정밀한 후보 블록 벡터를 포함하도록 후보 리스트를 재구성할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 후보 리스트에 포함된 블록 벡터들에 대하여, 주변 1/2 샘플 간격, 1/4 샘플 간격, 3/4 샘플 간격에 위치한 블록의 템플릿과의 템플릿 코스트를 계산하여, 후보 리스트를 오름차순으로 재정렬할 수 있다. 영상 복호화 장치(2000)는, 재정렬된 후보 리스트에 포함된 두 후보 블록 벡터를 이용하여 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2520)과 참조 템플릿간의 관계를 기반으로 학습된 5-tap 필터에 편향을 추가한 6-tap 필터를 결정된 참조 블록에 적용하여 현재 블록을 예측할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 사전 정의된 검색 영역 외에도, 현재 영상 내 현재 블록(2510)과 인접한 블록의 블록 벡터 또는 현재 블록(2510)과 비인접한 블록의 블록 벡터를 이용하여 템플릿 매칭을 수행할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 주변 블록들로부터 사전 정의된 검색 영역을 제외한 영역을 가리키는 현재 블록(2510)의 블록 벡터 및 현재 블록(2510)의 블록 벡터가 가리키는 블록의 블록 벡터들을 나타내는 재배치(relocated) 블록 벡터들을 획득하여, 현재 블록의 블록 벡터 및 재배치 블록 벡터를 포함하도록 후보 리스트를 구성할 수 있다. 영상 복호화 장치(2000)는 템플릿 매칭을 통해 후보 리스트에 포함된 블록 벡터들 중에서 어느 하나의 지점을 가리키는 블록 벡터를 결정할 수 있고, 결정된 블록 벡터를 템플릿 매칭을 통해 보정함으로써, 현재 블록(2510)의 참조 블록(2530)을 결정할 수 있다.
한편, 개시된 예에 한하지 않고, 영상 복호화 장치(2000)는 후보 리스트에 포함된 어느 하나의 후보 블록 벡터를 가리키는 인덱스를 획득하여 후보 블록 벡터를 결정할 수 있다.
한편, 후보 리스트에 포함된 재배치(relocated) 블록 벡터들은 기 설정된 수에 도달할 때까지 또는, 추가적인 재배치 블록 벡터가 획득되지 않을 때까지 재귀적으로 획득될 수 있다.
도 26는 본 개시의 일 실시예에 따른 템플릿 매칭 예측 모드의 검색 범위를 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 검색 영역에서 현재 블록(2600)의 템플릿과 가장 유사한 템플릿을 검색(search)할 수 있다. 검색 영역은 미리 정해진 하나 이상의 검색 영역을 포함할 수 있다. 예를 들어, 영상 부호화 장치 및 영상 복호화 장치에서 현재 블록의 위치를 기준으로 소정 거리만큼 떨어진 영역을 검색 영역으로 하기로 사전 정의되어 있을 수 있다.
본 개시의 일 실시예에서, 검색 영역은 현재 블록(2600)의 너비(W) 또는 높이(H) 중 적어도 하나에 기초하여 결정될 수 있다. 도 26을 참조하면, 제1 검색 영역(R1)은 현재 블록(2600)이 포함된 최대 부호화 단위(CTU)의 경계로부터 현재 블록(2600)의 높이(H)보다 더 떨어진 영역을 포함할 수 있다. 제1 검색 영역의 너비는 현재 블록(2600)의 너비(W)에 기초하여 결정될 수 있다.
본 개시의 일 실시예에서, 검색 영역은 도 24와 같이 제1 검색 영역, 제2 검색 영역(R2), 제3 검색 영역(R3), 제4 검색 영역(R4), 제5 검색 영역(R5), 및 제6 검색 영역(R6)을 포함하는 영역일 수 있다. 예를 들면, 제1 검색 영역의 너비는 5*W와 64의 최댓값의 2배로 결정될 수 있다. 제1 검색 영역의 높이는 현재 블록(2600)의 높이 또는 현재 블록(2600)의 위치(Xc, Yc) 중 적어도 하나에 기초하여 결정될 수 있다. 제1 검색 영역의 높이는 "5*H와 64의 최댓값"와 높이 및 현재 블록(2600)의 수직 위치(Yc)의 차이로 결정될 수 있다. 이와 마찬가지로, 제2 검색 영역(R2), 제3 검색 영역(R3), 제4 검색 영역(R4), 제5 검색 영역(R5), 및 제6 검색 영역(R6)은 현재 블록(2600)의 너비, 높이 또는 현재 블록(2600)의 위치에 기초하여 결정될 수 있다. 한편, 검색 영역은 도 26의 개시에 한하지 않는다.
본 개시의 일 실시예에서, 검색 영역은, 도 24의 개시와는 달리, 최대 부호화 단위(CTU) 기준으로 결정될 수 있다. 예를 들면, 검색 영역은 현재 블록(2600)과 같은 최대 부호화 단위에 포함된 제1 검색 영역, 현재 블록(2600)이 포함된 최대 부호화 단위의 좌상측에 위치한 최대 부호화 단위를 나타내는 제2 검색 영역, 상측에 위치한 최대 부호화 단위를 나타내는 제3 검색 영역 및 좌측에 위치한 최대 부호화 단위를 나타내는 제4 검색 영역을 포함할 수 있다. 검색 영역은 현재 블록(2600)의 높이 또는 너비에 기초하여 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비용 함수를 이용하여 템플릿 코스트를 결정함으로써, 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 소정의 간격마다 템플릿을 결정할 수 있다. 예를 들면, 소정의 크기의 샘플 윈도우에서 후보를 결정할 수 있다. 영상 복호화 장치(2000)는 소정의 간격에 관련된 샘플링 팩터(Sampling Factor)를 식별하고, 샘플링 팩터에 기초하여 템플릿 매칭을 수행할 수 있다. 예를 들면, 샘플링 팩터가 3인 경우, 영상 복호화 장치(2000)는 3 x 3픽셀 윈도우에서 후보를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2600)의 너비 또는 높이에 기초하여 템플릿 매칭 예측을 수행할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 현재 블록(2600)의 너비 및 높이가 64보다 작거나 같은 부호화 단위에 대해 템플릿 매칭 예측을 수행할 수 있다. 템플릿 매칭 예측에 관한 플래그는 부호화 단위 신택스를 통해 시그널링될수 있다.
이하, 템플릿 코스트를 결정하는 방법에 대해 도 27 내지 도 29를 통해 자세히 설명한다.
도 27는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 템플릿 매칭을 수행하는 과정에서, 현재 블록(2710)의 템플릿(2720, 2725)과 유사한 템플릿을 찾는 과정을 반복적으로 수행한다. 예를 들어, 영상 복호화 장치(2000)는 복수의 후보 위치에 대응하는 후보 참조 블록들의 템플릿들에 포함된 샘플들의 샘플값들과 현재 블록(2710)의 템플릿(2720, 2725)에 포함된 샘플들의 샘플값들을 이용하여, 소정의 후보 참조 위치들의 템플릿들에 대응하는 템플릿 코스트들을 각각 결정할 수 있다.
한편, 설명의 편의상 앞선 개시에서, 현재 블록(2710)의 템플릿(2720, 2725)은 현재 템플릿으로, 후보 참조 블록 또는 참조 블록의 템플릿은 참조 템플릿으로 기재되었을 수 있다. 또한, 현재 블록(2710)에 대한 템플릿 매칭을 위한 검색 범위 내의 템플릿에 대응하는 후보 위치의 블록은 후보 참조 블록(2730)으로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2710)의 템플릿(2720, 2725)에 포함된 각각의 샘플과, 현재 블록(2710)의 템플릿(2720, 2725)에 포함된 각각의 샘플에 대응하는 위치의 후보 참조 블록(2730)의 템플릿(2740, 2745)에 포함된 각각의 샘플에 대한 템플릿 코스트를 결정하기 위한 비용 함수로서, SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), HoG(Histogram of Oriented Gradient)를 이용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비용 함수를 SAD로 결정하는 경우, 하기의 수학식 1에 따라 템플릿 코스트()를 결정할 수 있다.
[수학식 1]
수학식 1을 살펴보면, 는 후보 참조 블록(2730)의 템플릿 중 상측 샘플들(2740)에 대한 샘플값을 나타내며, 는 현재 블록(2710)의 템플릿 중 상측 샘플들(2720)에 대한 샘플값을 나타내며, 는 후보 참조 블록(2730)의 템플릿 중 좌측 샘플들(2745)에 대한 샘플값을 나타내며, 는 현재 블록(2710)의 템플릿 중 좌측 샘플들(2725)에 대한 샘플값을 나타낼 수 있다.
한편, 템플릿 코스트는 해당 템플릿에 포함된 모든 블록들에 대한 연산을 수행하여 결정될 수도 있고, 2 샘플 간격마다의 샘플들에 대하여 해당 연산을 수행하여 결정될 수도 있다. 한편, 개시된 예에 한하지 않는다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비용 함수를 MR-SAD로 결정하는 경우, 하기의 수학식 2에 따라 템플릿 코스트를 결정할 수 있다.
[수학식 2]
수학식 2에서, 수학식 1과 동일한 파라미터에 대한 설명은 생략한다. 또한, 수학식 2에서 는 템플릿 코스트의 결정을 위해 이용되는 후보 참조 블록의 템플릿의 상측 샘플들(2740)의 샘플값들의 평균을 나타내며, 는 템플릿 코스트의 결정을 위해 이용되는 현재 블록(2710)의 템플릿 중 상측 샘플들(2720)의 샘플값들의 평균을 나타내며, 는 템플릿 코스트의 결정을 위해 이용되는 후보 참조 블록의 템플릿의 좌측 샘플들(2745)의 샘플값들의 평균을 나타내며, 는 템플릿 코스트의 결정을 위해 이용되는 현재 블록(2710)의 템플릿의 좌측 샘플들(2725)의 샘플값들의 평균을 나타낼 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 복수의 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 계산하기 위한 비용 함수를 후보 참조 블록별로 상이하게 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 제1 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수를 SAD로 결정하고, 제2 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수를 SSE로 결정하고, 제3 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수를 SATD로 결정할 수 있다. 한편, 개시된 예에 한하지 않고, 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수는 후보 참조 블록 별로 다양하게 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 일부 후보 참조 블록의 템플릿에 대하여는 템플릿 코스트를 계산하기 위한 비용 함수를 MR-SAD로 결정할 수 있으며, 다른 후보 참조 블록의 템플릿에 대하여는 비용 함수를 SAD로 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 제1 후보 참조 블록이 로컬 조명 보상(Local Illumination Compensation, LIC)을 이용하여 예측된 경우, 템플릿 코스트를 결정하기 위한 비용 함수를 MR-SAD로 결정할 수 있으며, 제2 후보 참조 블록이 로컬 조명 보상을 이용하지 않고 예측된 경우, 템플릿 코스트를 결정하기 위한 비용 함수를 SAD로 결정할 수 있다.
한편, 복수의 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수를 각각 다른 비용 함수로 결정하는 경우, 정확한 코스트의 비교가 어려울 수 있다. 따라서, 영상 복호화 장치(2000)는, 소정의 비용 함수에 따른 템플릿 코스트에 대하여 패널티를 부과하여 비교적 유사도가 낮은 템플릿과의 템플릿 코스트를 높게 결정하도록 할 수 있다.
예를 들어, 수학식 3에 따라, 영상 복호화 장치(2000)는, 소정의 비용 함수에 따른 초기 템플릿 코스트에 대하여 패널티를 부과하여 1이상의 상수를 적용한 경우에 따른 최종 템플릿 코스트를 결정할 수 있다. 수학식 3에서, 는 초기 템플릿 코스트이고, 은 최종 템플릿 코스트일 수 있다. 또한, 패널티인 는 1.005,1.010 등의 값을 가질 수 있으나, 개시된 예에 한하지 않는다.
[수학식 3]
본 개시의 일 실시예에서, 현재 블록과 후보 참조 블록 각각의 템플릿에 대하여, MR-SAD는 각각의 샘플값에 샘플들의 평균값을 뺀 값간의 차이를 측정한 값은 샘플값간의 차이를 측정하는 SAD보다 값이 작게 측정될 수 있다. 영상 복호화 장치(2000)는, 비용 함수로서 MR-SAD를 이용한 제1 후보 참조 블록의 템플릿에 대한 템플릿 코스트에 대하여 1보다 큰 상수를 적용함으로써, 비용함수로서 SAD를 이용한 제2 후보 참조 블록에 대한 템플릿 코스트와 비용 함수가 상이함으로써 발생하는 차이를 줄일 수 있다.
예를 들어, 상기의 수학식 3에서, 는 MR-SAD를 비용 함수로서 이용한 제1 후보 참조 블록의 템플릿에 대한 최종 템플릿 코스트일 수 있고, 는 비용 함수로서 MR-SAD를 이용한 제1 후보 참조 블록의 템플릿에 대한 초기 템플릿 코스트일 수 있다
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 복수의 후보 참조 블록의 템플릿에 대한 템플릿 코스트를 결정하기 위한 비용 함수를 각각 다른 비용 함수로 결정하는 경우, 정확한 코스트의 비교가 되지 않을 수 있으므로, 하나의 후보 참조 블록의 템플릿에 대하여 여러 비용 함수에 따른 템플릿 코스트에 대해 가중치를 부여하여 최종 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 후보 참조 블록의 템플릿에 대해 제1 비용 함수에 따른 제1 템플릿 코스트에 대해 제1 코스트 가중치를 부여하고, 제1 후보 참조 블록의 템플릿에 대해 제2 비용 함수에 따른 제2 템플릿 코스트에 대해 제2 코스트 가중치를 부여함으로써, 제1 후보 참조 블록에 대한 템플릿 코스트를 결정할 수 있다.
[수학식 4]
상기 수학식 4에서, 는 제1 비용 함수에 따른 제1 템플릿 코스트를 나타내고, 는 제2 비용 함수에 따른 제1 템플릿 코스트를 나타내고, 는 제1 코스트 가중치를 나타내며, 는 제2 코스트 가중치를 나타낼 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 후보 참조 블록(2730)이 로컬 조명 보상을 이용하여 예측된 경우, 제1 비용 함수 및 제2 비용 함수로서 각각 SAD와 MR-SAD를 이용하여 제1 템플릿 코스트와 제2 템플릿 코스트를 결정할 수 있으며, 영상 복호화 장치(2000)는 제1 템플릿 코스트에 대하여 제1 코스트 가중치를 적용하고 제2 템플릿 코스트에 대하여 제2 코스트 가중치를 적용하여 후보 참조 블록에 대한 최종적인 템플릿 매칭 코스트를 결정할 수 있다. 이때, 제1 템플릿 코스트는 수학식 1에 따라, 제2 템플릿 코스트는 수학식 2에 따라 결정될 수 있다.
본 개시의 일 실시예에서, 설명의 편의상 생략되었으나, 쌍예측이 수행되는 경우, 앞선 또는 이후의 개시에 따른 참조 블록을 결정하는 동작은 제1 참조 블록 및 제2 참조 블록을 결정하기 위해 각각 수행될 수 있다. 영상 복호화 장치(2000)는, 제1 참조 블록을 결정하기 위해 본 개시에 따른 템플릿 코스트를 결정 또는 계산하는 동작을 수행할 수 있으며, 제2 참조 블록을 결정하기 위해 본 개시에 따른 템플릿 코스트를 결정하는 계산하는 동작을 수행할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록을 기준으로 제1 참조 블록을 결정하기 위한 제1 후보 블록과 제2 참조 블록을 결정하기 위한 제2 후보 블록이 공간적 의존 관계에 있는 경우, 본 개시에 따른 템플릿 코스트를 계산하는 동작에 대해, 제1 후보 블록의 템플릿과 연관된 정보와 제2 후보 블록의 템플릿과 연관된 정보의 평균을 후보 참조 블록의 템플릿과 연관된 정보에 대체하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 후보 블록과 제2 후보 블록이 공간적 의존관계에 있는 경우, 본 개시의 템플릿 코스트를 계산하는 동작에 대해 제1 후보 블록의 템플릿과 연관된 정보와 제2 후보 블록의 템플릿과 연관된 정보 각각에 대해 소정의 가중치를 부여하여, 후보 참조 블록의 템플릿과 연관된 정보에 대체하여 템플릿 코스트를 결정할 수 있다.
한편, 이하의 개시에 따른 템플릿 코스트를 결정하는 동작에도 쌍예측에서의 템플릿 코스트를 결정하는 경우는 상기의 쌍예측에 대한 개시가 적용될 수 있으나, 설명의 편의상 생략한다.
도 28는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2810)의 템플릿(2820, 2825), 후보 참조 블록(2830), 및 후보 참조 블록(2830)의 템플릿(2840, 2845) 중 적어도 하나에 기초하여, 현재 블록(2810)의 예측 블록을 획득할 수 있다. 영상 복호화 장치(2000)는, 예측 블록을 이용하여 현재 블록(2810)을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2810)의 템플릿(2820, 2825), 후보 참조 블록(2830), 및 후보 참조 블록(2830)의 템플릿(2840, 2845)에 기초하여, 현재 블록(2810) 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 제1 샘플값들은, 현재 블록(2810) 내 소정의 위치에 대응하는 샘플들에 대한 샘플값들일 수 있다. 예를 들어, 제1 샘플값들은, 도 28에 도시된 것과 같이, 현재 블록(2810) 내 현재 블록(2810)의 템플릿(2720, 2725)에 인접한 샘플들(2823, 2828)에 대한 샘플값들일 수 있으며, 현재 블록(2810)의 템플릿(2820, 2825)에 인접한 모든 샘플들에 대한 샘플값들일 수도 있고, 현재 블록(2810)의 템플릿에 인접한 일부 샘플들에 대한 샘플값들일 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 참조 블록(2830) 내 샘플들의 제2 샘플값들을 획득할 수 있다. 제2 샘플값들은, 현재 블록(2810) 내 샘플들에 대응하는 위치의 후보 참조 블록(2830) 내 샘플값들일 수 있다. 또한, 제2 샘플값들은, 후보 참조 블록(2830) 내 후보 참조 블록(2830)의 템플릿(2840, 2845)에 인접한 샘플들(2843, 2848)에 대한 샘플값들일 수 있다. 제2 샘플값들은, 후보 참조 블록(2830)의 템플릿(2840, 2845)에 인접한 모든 샘플들에 대한 샘플값들일 수도 있고, 후보 참조 블록(2830)의 템플릿(2840, 2845)에 인접한 일부 샘플들에 대한 샘플값들일 수 있다. 제2 샘플값들은, 제1 샘플값들에 대응하는 후보 참조 블록(2830) 내 샘플값들로, 제1 샘플값들을 위한 샘플들(2823, 2828)의 위치에 의존적으로 결정될 수 있다. 또한, 제2 샘플값들은, 기 복원된 후보 참조 블록(2830) 내의 샘플들을 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들 및 제2 샘플값들에 기초하여, 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2810)의 템플릿(2820, 2825)에 포함된 샘플들 중 현재 블록(2810)에 인접한 제1 현재 템플릿 샘플들(2822, 2827)과 후보 참조 블록(2830)의 템플릿(2840, 2845)에 포함된 샘플들 중 후보 참조 블록(2830)에 인접한 제1 참조 템플릿 샘플들(2842,2847)을 이용하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들(2822, 2827)의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이 및 제1 참조 템플릿 샘플들(2842, 2847)의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이를 획득할 수 있다. 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이는, 인접한 샘플들끼리의 차이들을 나타내는 것일 수 있다. 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이는, 인접한 샘플들끼리의 차이들을 나타내는 것일 수 있다. 한편, 앞선 또는 이하의 본 개시에서 샘플들 각각의 차이는, 인접한 샘플들끼리의 차이들 또는 대응되는 위치의 샘플들끼리의 차이들을 나타내는 것일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들(2822, 2827)의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이 및 제1 참조 템플릿 샘플들(2842, 2847)의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 기초하여, 현재 블록(2810)과 후보 참조 블록(2830)간의 템플릿 코스트를 계산할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 하기의 수학식 5에 따라 템플릿 코스트()를 결정할 수 있다.
[수학식 5]
수학식 5를 살펴보면, 는 수학식 1과 동일하므로, 동일한 내용은 생략한다.
수학식 5에서, 는 후보 참조 블록(2830)의 상측 템플릿(2840) 내 후보 참조 블록(2830)과 인접한 샘플들(2842)의 샘플값들을 나타내며, 는 후보 참조 블록(2830)의 상측 템플릿(2840)에 인접한 후보 참조 블록(2830) 내 샘플들(2843)의 샘플값들을 나타낼 수 있다. 는 후보 참조 블록(2830)의 좌측 템플릿(2845) 내 후보 참조 블록(2830)과 인접한 샘플들(2847)의 샘플값들을 나타내며, 는 후보 참조 블록(2830)의 좌측 템플릿(2845)에 인접한 후보 참조 블록(2830) 내 샘플들(2848)의 샘플값들을 나타낼 수 있다.
수학식 5에서, 는 현재 블록(2810)의 상측 템플릿(2820) 내 현재 블록(2810)과 인접한 샘플들(2822)의 샘플값들을 나타내며, 는 현재 블록(2810)의 상측 템플릿(2820)에 인접한 현재 블록(2810) 내 샘플들(2823)의 위치에 대응하는 샘플값들을 나타낼 수 있다. 는 현재 블록(2810)의 좌측 템플릿(2825) 내 현재 블록(2810)과 인접한 샘플들(2827)의 샘플값들을 나타내며, 는 현재 블록(2810)의 좌측 템플릿(2825)에 인접한 현재 블록(2810) 내 샘플들(2828)의 위치에 대응하는 샘플값들을 나타낼 수 있다.
한편, 제1 현재 템플릿 샘플들(2822, 2827)은, 및 로 나타낼 수 있으며, 제1 참조 템플릿 샘플들(2842, 2847)은, 및 로 나타낼 수 있다. 또한, 제1 샘플값들에 대응하는 현재 블록(2810) 내 샘플들의 위치에 대응하는 샘플들(2823, 2848)은 및 로 나타낼 수 있으며, 제2 샘플값들에 대응하는 후보 참조 블록(2830) 내 샘플들(2843, 2848)은, 및 로 나타낼 수 있다.
한편, 상기 수학식 5에 따른 템플릿 코스트는 도 28에 도시된 것과 같이 연속적으로 배열된 모든 샘플들을 이용하여 계산되어야만 하는 것은 아니며, 도 28에 도시된 샘플들 중 일부만을 이용하여 계산될 수 있다. 또한, 설명의 편의를 위하여 템플릿이 블록의 좌측 및 상측에 위치한 것을 예로 들어 설명하였으나, 템플릿은, 블록의 하나 이상의 측면에 위치할 수 있으며, 개시된 예에 한하지 않는다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들(2822, 2827)의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이에 대해 제1 가중치를 적용하고, 및 제1 참조 템플릿 샘플들(2842, 2847)의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 대해 제2 가중치를 적용한 것에 기초하여, 현재 블록(2810)과 후보 참조 블록(2830)간의 템플릿 코스트를 계산할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 하기의 수학식 6에 따라 템플릿 코스트()를 결정할 수 있다.
[수학식 6]
수학식 6에서, 수학식 5와 동일한 내용은 생략한다.
수학식 6을 참조하면, 제1 현재 템플릿 샘플들(2822, 2842)의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이에 대해 가중치 (는 0이상 1 이하의 실수)를 적용하고, 제1 참조 템플릿 샘플들(2842, 2847)의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 대해 가중치 를 적용하여, 현재 블록(2810)과 후보 참조 블록(2830)간의 템플릿 코스트를 계산할 수 있다.
수학식 6을 참조하면, 가중치 가 높아질수록 후보 참조 블록(2830)에 대한 경향성을 더욱 고려하여 템플릿 코스트를 결정하는 것이고, 가중치 가 낮아질수록, 현재 블록(2810)에 대한 경향성을 더욱 고려하여 템플릿 코스트를 고려하는 것일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을 획득 또는 결정하는 동작을 수행한 후, 수학식 5 및 수학식 6에 따른 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을, 후보 참조 블록(2830) 내 샘플들(2843, 2848)의 제2 샘플값들과 동일한 값들로 결정할 수 있다. 제1 샘플값들은, 현재 블록(2810) 내 샘플들의 위치에 대응하는 후보 참조 블록(2830) 내 샘플들(2843, 2848)의 제2 샘플값들과 동일한 값을 갖도록 결정될 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 제1 샘플값들 중, 현재 블록(2810)의 상측 템플릿(2820)에 인접한 현재 블록(2810) 내 샘플들(2823)의 위치에 대응하는 샘플값들을, 후보 참조 블록(2830)의 상측 템플릿(2840)에 인접한 후보 참조 블록(2830) 내 샘플들(2843)의 샘플값들로 결정할 수 있다. 이는, 의 식으로 표현될 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 제1 샘플값들 중, 현재 블록(2810)의 좌측 템플릿(2825)에 인접한 현재 블록(2810) 내 샘플들(2828)의 위치에 대응하는 샘플값들을, 후보 참조 블록(2830)의 좌측 템플릿(2845)에 인접한 후보 참조 블록(2830) 내 샘플들(2848)의 샘플값들로 결정할 수 있다. 이는, 의 식으로 표현될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을, 현재 블록(2810)의 주변 블록들에 대한 인트라 예측 정보에 기초하여 획득할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 현재 블록(2810)의 주변 블록들이 인트라 예측을 통해 복원된 것으로 식별한 경우, 해당 주변 블록의 인트라 예측 모드를 이용하여 현재 블록(2810) 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 주변 블록은 현재 블록(2810)과의 관계에서, 공간적 이웃 블록, 및 시간적 이웃 블록 중 적어도 하나일 수 있으며, 개시된 예에 한하지 않는다. 한편, 공간적 이웃 블록은, 현재 블록(2810)과 인접하거나 비인접할 수 있다.
본 개시의 일 실시예에서, 도 28에 따른 템플릿 코스트 계산을 통해, 각 블록들의 템플릿들 간의 시간적 방향의 샘플 변화뿐만 아니라, 각 블록과 템플릿 간의 연속성도 함께 고려하여 공간적 방향의 샘플 변화도 함께 고려함으로써, 주관적 화질이 향상될 수 있다.
도 29는 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2910)의 템플릿(2920, 2925), 후보 참조 블록(2930), 및 후보 참조 블록(2930)의 템플릿(2940, 2945) 중 적어도 하나에 기초하여 현재 블록(2910)의 예측 블록을 획득하고, 예측 블록을 이용하여 현재 블록(2910)을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2910)의 템플릿(2920, 2925), 후보 참조 블록(2930), 및 후보 참조 블록(2930)의 템플릿(2940, 2945)에 기초하여, 현재 블록(2910) 내 샘플들(2923, 2928)의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록(2830) 내 샘플들(2943, 2948)의 제2 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들 및 제2 샘플값들에 기초하여, 템플릿 코스트를 결정할 수 있다. 한편, 제1 샘플값들 및 제2 샘플값들과 관련하여는, 도 28에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들과 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 하기의 수학식 7에 따라 현재 블록(2910)과 후보 참조 블록(2930)간의 템플릿 코스트()를 결정할 수 있다.
[수학식 7]
수학식 7을 살펴보면, 는 수학식 1과 동일하므로, 동일한 내용은 생략하며, , , 및 에 대하여도 도 28에서 설명한 내용 및 수학식 5와 동일하므로 생략한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을 획득 또는 결정하는 동작을 수행한 후, 수학식 7에 따른 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2910)의 템플릿(2920, 2925)에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들(2922, 2927)에 대한 제1 현재 템플릿 샘플값들 및 현재 블록(2910)의 템플릿(2920, 2925)에 포함된 샘플들 중 제1 현재 템플릿 샘플들에 인접한 제2 현재 템플릿 샘플들(2921, 2926)에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 도 29를 참조하면, 제1 현재 템플릿 샘플들(2922, 2927)은, 및 로 나타낼 수 있으며, 제2 현재 템플릿 샘플들(2921, 2926)은, 및 로 나타낼 수 있다. 는 현재 블록(2910)의 상측 템플릿(2920) 내 현재 블록(2910)과 인접한 샘플들(2922)의 인접한 샘플들(2921)에 대한 샘플값들을 나타내며, 는 현재 블록(2910)의 좌측 템플릿(2925) 내 현재 블록(2910)과 인접한 샘플들(2927)의 인접한 샘플들(2926)에 대한 샘플값들을 나타낼 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 대응하는(인접한) 위치의 제2 현재 템플릿 샘플값들 각각의 차이를 이용하여 제1 샘플값들을 획득할 수 있다.
예를 들어, 제1 샘플값들 중 현재 블록(2910)의 상측 템플릿(2920)에 인접한 샘플들(2923, )은, 의 가정에 기초하여, 의 식에 따라 결정될 수 있다. 제1 샘플값들 중 현재 블록(2910)의 좌측 템플릿(2925)에 인접한 샘플들(2928, )은, 의 가정에 기초하여, 의 식에 따라 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 대응하는(인접한) 위치의 제2 현재 템플릿 샘플값들에 대한 선형성을 이용하여, 제1 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 선형 파라미터, 제2 선형 파라미터, 및 제1 현재 템플릿 샘플값들을 이용하여 제1 샘플값들을 획득할 수 있다. 제1 선형 파라미터 및 제2 선형 파라미터는, 현재 블록(2910)의 상측 템플릿(2920) 및 좌측 템플릿(2925) 각각에 대해 결정 또는 획득될 수도 있고, 상측 템플릿(2920) 및 좌측 템플릿(2925) 모두에 통합된 파라미터로서 결정 또는 획득될 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 를 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 선형 파라미터, 제2 선형 파라미터 및 제1 현재 템플릿 샘플값들 중 현재 블록(2910)의 상측 템플릿(2920)에 포함된 샘플들(2922)에 대한 샘플값들을 이용하여 제1 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 의 식에 따라, 제1 샘플값들 중 현재 블록(2910)의 상측 템플릿(2920)에 인접한 샘플들(2923, )의 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 를 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 선형 파라미터, 제2 선형 파라미터 및 제1 현재 템플릿 샘플값들 중 현재 블록(2910)의 좌측 템플릿(2925)에 포함된 샘플들을 이용하여 제1 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 의 식에 따라, 제1 샘플값들 중 현재 블록(2910)의 좌측 템플릿(2925)에 인접한 샘플들(2928, )의 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 및 를 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 선형 파라미터, 제2 선형 파라미터 및 제1 현재 템플릿 샘플값들을 이용하여 제1 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 및 의 식에 따라, 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들 각각의 차이 또는 선형성을 이용하여 제1 샘플값들을 획득하고, 제1 샘플값들과 제2 샘플값들의 차이를 이용하여 현재 블록(2910)과 후보 참조 블록(2930)간의 템플릿 코스트를 결정할 수 있다.
도 30은 일 실시예에 따른 템플릿 코스트를 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(3010)의 템플릿(3020, 3025), 후보 참조 블록(3030), 및 후보 참조 블록(3030)의 템플릿(3040, 3045) 중 적어도 하나에 기초하여 현재 블록(3010)의 예측 블록을 획득하고, 예측 블록을 이용하여 현재 블록(3010)을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(3010)의 템플릿(3020, 3025), 후보 참조 블록(3030), 및 후보 참조 블록(3030)의 템플릿(3040, 3045)에 기초하여, 현재 블록(3010) 내 샘플들(3023, 3028)의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록(2830) 내 샘플들(3043, 3048)의 제2 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들 및 제2 샘플값들에 기초하여, 템플릿 코스트를 결정할 수 있다. 한편, 제1 샘플값들 및 제2 샘플값들과 관련하여는, 도 28 내지 도 29에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들과 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 도29의 수학식 7에 따라 현재 블록(3010)과 후보 참조 블록(3030)간의 템플릿 코스트()를 결정할 수 있다. 도 29와 동일한 내용은 중복되므로 생략한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(3010)의 템플릿(3020, 3025)에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들(3022, 3027)에 대한 제1 현재 템플릿 샘플값들 및 현재 블록(3010)의 템플릿(3020, 3025)에 포함된 샘플들 중 제1 현재 템플릿 샘플들(3022, 3027)에 인접한 제2 현재 템플릿 샘플들(3021, 3026)에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 참조 블록(3030)의 템플릿(3040, 3045)에 포함된 샘플들 중 후보 참조 블록(3030)에 인접한 제1 참조 템플릿 샘플들(3042, 3047)에 대한 제1 참조 템플릿 샘플값들 및 후보 참조 블록(3030)의 템플릿(3040, 3045)에 포함된 샘플들 중 제1 참조 템플릿 샘플들(3042, 3047)에 인접한 제2 참조 템플릿 샘플들(3041, 3046)에 대한 제2 참조 템플릿 샘플값들 중 적어도 하나에 기초하여 제2 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 도 30을 참조하면, 제1 참조 템플릿 샘플들(3042, 3047)은, 및 로 나타낼 수 있으며, 제2 참조 템플릿 샘플들(3041, 3046)은, 및 로 나타낼 수 있다. 는 후보 참조 블록(3030)의 상측 템플릿(3040) 내 후보 참조 블록(3030)과 인접한 샘플들(3042)과 인접한 샘플들(3041)의 샘플값들을 나타내며, 는 후보 참조 블록(3030)의 좌측 템플릿(3045) 내 후보 참조 블록(3030)과 인접한 샘플들(3047)과의 인접한 샘플들(3046)의 샘플값들을 나타낼 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(3010)의 템플릿(3020, 3025)에 포함된 샘플들 및 후보 참조 블록(3030)의 템플릿(3040, 3045)에 포함된 샘플들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다. 현재 블록(3010)의 템플릿(3020, 3025)에 포함된 샘플들 및 후보 참조 블록(3030)의 템플릿(3040, 3045)에 포함된 샘플들 각각은, i) 제1 현재 템플릿 샘플들(3022, 3027) 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들(3042, 3047), ii) 상기 제2 현재 템플릿 샘플들(3021, 3026) 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들(3041, 3046), 및 iii) 상기 제1 현재 템플릿 샘플들(3022, 3027)과 상기 제2 현재 템플릿 샘플들(3021, 3026) 및 상기 제1 참조 템플릿 샘플들(3042, 3047)과 상기 제2 참조 템플릿 샘플들(3041, 3046) 중 어느 하나일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들(3022, 3027)의 제1 현재 템플릿 샘플값들 및 제1 참조 템플릿 샘플들(3042, 3047)의 제1 참조 템플릿 샘플값들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 및 중 적어도 하나의 식을 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득할 수 있다. 즉, 상측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있고, 좌측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있으며, 상측 템플릿들 및 좌측 템플릿들에 대한 상기 식을 만족하는 파라미터들을 획득할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제2 현재 템플릿 샘플들(3021, 3026)의 제2 현재 템플릿 샘플값들 및 제2 참조 템플릿 샘플들(3041, 3046)의 제2 참조 템플릿 샘플값들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 및 중 적어도 하나의 식을 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득할 수 있다. 즉, 상측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있고, 좌측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있으며, 상측 템플릿들 및 좌측 템플릿들에 대한 상기 식을 만족하는 파라미터들을 획득할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들 및 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 과 , 및 과 중 적어도 하나의 식을 만족하는 제1 선형 파라미터인 및 제2 선형 파라미터인 를 선형 회귀 분석을 통해 획득할 수 있다. 즉, 상측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있고, 좌측 템플릿들에 대하여만 상기 식을 만족하는 파라미터들을 획득할 수도 있으며, 상측 템플릿들 및 좌측 템플릿들에 대한 상기 식을 만족하는 파라미터들을 획득할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(3010)의 템플릿(3020, 3025)에 포함된 샘플들 및 후보 참조 블록(3030)의 템플릿(3040,3045)에 포함된 샘플들에 대한 선형 회귀 분석을 통해 획득한 제1 선형 파라미터 및 제2 선형 파라미터를 이용하여, 제1 샘플값들을 획득 또는 결정할 수 있다. 영상 복호화 장치(2000)는, 제1 선형 파라미터, 제2 선형 파라미터, 및 제2 샘플값들을 이용하여, 제1 샘플값들을 획득할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 상기 기술된 방식을 이용하여 제 선형 파라미터 및 제2 선형 파라미터를 획득하고, 및 의 식에 제1 선형 파라미터, 제2 선형 파라미터, 및 제2 샘플값들을 적용함으로써, 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 수학식 7에 따른 템플릿 코스트를 계산하는 방식을 이용할지 여부를 식별할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록(3030)의 템플릿(3040, 3045) 및 후보 참조 블록(3030)에 대한 샘플 값들에 대한 검증을 통해 수학식 5 내지 수학식 7에 따른 템플릿 코스트 계산 방식을 이용할지 여부를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 참조 블록(3030)의 템플릿(3040, 3045)에 포함된 샘플들 중 후보 참조 블록(3030)에 인접한 제1 참조 템플릿 샘플들(3042, 3047)에 대한 제1 참조 템플릿 샘플값들과 후보 참조 블록(3030)의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들(3042, 3047)에 인접한 제2 참조 템플릿 샘플들(3041, 3046)에 대한 제2 참조 템플릿 샘플값들 각각의 차이를 이용하여, 상기 후보 참조 블록(3030) 내 샘플들(3043, 3048)의 위치에 대응하는 제3 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대응하는 위치의 제1 참조 템플릿 샘플값들 각각의 차이를 이용하여 제3 샘플값들을 획득할 수 있다.
한편, 제3 샘플값들은 제2 샘플값들의 위치에 대응하는 샘플값들일 수 있다. 제2 샘플값들은 후보 참조 블록(3030) 내 복원된 샘플값들을 나타내는 것이나, 제3 샘플값들은 후보 참조 블록(3030)의 템플릿(3040, 3045)을 이용하여 예측된 후보 참조 블록 내 샘플들의 위치에 대응하는 샘플값들을 나타내는 것일 수 있다. 제3 샘플값들은 후보 참조 블록(3030)의 템플릿(3040, 3045)을 이용하여 예측된 샘플값인 및 에 대응하는 샘플값들일 수 있으며, 제2 샘플값들은 후보 참조 블록 내 복원된 샘플값인 및 에 대응하는 샘플값들일 수 있다.
본 개시의 일 실시예에서, 제3 샘플값들 중 후보 참조 블록(3030)의 상측 템플릿(3040)에 인접한 샘플들()은, 의 가정에 기초하여, 의 식에 따라 결정될 수 있다. 제3 샘플값들 중 후보 참조 블록(3030)의 좌측 템플릿(3045)에 인접한 샘플들()은, 의 가정에 기초하여, 의 식에 따라 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 템플릿 샘플값들과 제1 참조 템플릿 샘플값들에 대응하는(인접한) 위치의 제2 참조 템플릿 샘플값들에 대한 선형성을 이용하여, 제3 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 참조 파라미터 및 제2 참조 파라미터를 획득할 수 있다. 제1 참조 파라미터 및 제2 참조 파라미터는, 후보 참조 블록(3030)의 상측 템플릿(3040) 및 좌측 템플릿(3045) 각각에 대해 결정 또는 획득될 수도 있고, 상측 템플릿(3040) 및 좌측 템플릿(3045) 모두에 통합된 파라미터로서 결정 또는 획득될 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 를 만족하는 제1 참조 파라미터인 및 제2 참조 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 참조 파라미터, 제2 참조 파라미터 및 제1 참조 템플릿 샘플값들 중 후보 참조 블록(3030)의 상측 템플릿(3040)에 포함된 샘플들(3042)에 대한 샘플값들을 이용하여 제3 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 의 식에 따라, 제3 샘플값들 중 후보 참조 블록(3030)의 상측 템플릿(3040)에 인접한 샘플들()의 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 를 만족하는 제1 참조 파라미터인 및 제2 참조 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 참조 파라미터, 제2 참조 파라미터 및 제1 참조 템플릿 샘플값들 중 후보 참조 블록(3030)의 좌측 템플릿(3045)에 포함된 샘플들(3047)에 대한 샘플값들을 이용하여 제3 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 의 식에 따라, 제3 샘플값들 중 후보 참조 블록(3030)의 좌측 템플릿(3045)에 인접한 샘플들()의 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 및 를 만족하는 제1 참조 파라미터인 및 제2 참조 파라미터인 를 선형 회귀 분석을 통해 획득하고, 제1 참조 파라미터, 제2 참조 파라미터 및 제1 참조 템플릿 샘플값들을 이용하여 제3 샘플값들을 결정할 수 있다. 영상 복호화 장치(2000)는 및 의 식에 따라, 제3 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들 각각의 차이 또는 선형성을 이용하여 제3 샘플값들을 획득하고, 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 후보 참조 블록(3030)에 포함된 위치의 샘플들에 포함된 모든 샘플들에 대하여 제2 샘플값들과 제3 샘플값들의 각각의 차이가 임계값 이하인지 여부를 식별하여 검증 과정을 수행할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록에 포함된 위치의 샘플들에 포함된 일부 샘플들에 대하여 제2 샘플값들과 제3 샘플값들의 각각의 차이가 임계값 이하인지 여부를 식별하여 검증 과정을 수행할 수 있다. 예를 들어, 검증 과정이 수행되는 단위는 2 샘플 간격일 수 있다.
한편, 임계값은, 영상 복호화 장치(2000)와 영상 부호화 장치 사이에 사전 정의되어 있을 수 있다. 예를 들어, 임계값은, 좌측 템플릿들에 대하여는 N*Template_width, 상측 템플릿들에 대하여는, N*Template_height로 사전 정의되어 있을 수 있다. N는 1이상의 정수이며, Template_width 및 Template_height는 템플릿 크기를 나타내는 것일 수 있다. 예를 들어, Template_width 또는 Template_height 는 4일 수 있으나, 개시된 예에 한하지 않는다. 그러나, 임계값은 개시된 예에 한하지 아니하고, 임의로 지정되거나 실험적으로 정해질 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하라면, 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들 각각의 차이 또는 선형성을 이용하여 제1 샘플값들을 획득하고, 제1 샘플값들과 제2 샘플값들의 차이를 이용하여 현재 블록(3010)과 후보 참조 블록(3030)간의 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값을 초과한다면, SAD, SATD, SSE, MR-SAD, MR-SSE, 및 HoG 중 어느 하나의 비용 함수를 이용하여 현재 블록(3010)과 후보 참조 블록(3030)간의 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부의 식별 결과에 기초하여, 후보 참조 블록에 대한 템플릿 코스트를 복수의 후보 참조 블록들 중에서 후보 참조 블록을 참조 블록으로 결정하지 않도록 하기 위한 특정 값으로 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값을 초과한다면, 후보 참조 블록(3030)에 대한 템플릿 코스트를 복수의 후보 참조 블록들에 대한 기 구성된 템플릿 코스트 리스트 중 최대 템플릿 코스트 값으로 결정할 수 있다.
도 31은 일 실시예에 따른 영상 복호화 방법의 순서도이다.
단계 S3110에서, 영상 복호화 장치(2000)는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록 내 샘플들의 제2 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 제1 샘플값들은 현재 블록 내 현재 블록의 템플릿에 인접한 샘플들에 대한 샘플값들일 수 있다. 제2 샘플값들은, 후보 참조 블록 내 후보 참조 블록의 템플릿에 인접한 샘플들일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록의 템플릿에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들 및 현재 블록의 템플릿에 포함된 샘플들 중 제1 현재 템플릿 샘플들에 인접한 제2 현재 템플릿 샘플들에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 대응하는 위치의 제2 현재 템플릿 샘플값들 각각의 차이를 이용하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 인접한 위치의 제2 현재 템플릿 샘플값들에 대한 선형성을 이용하여, 제1 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록의 템플릿에 포함된 샘플들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다. 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록의 템플릿에 포함된 샘플들 각각은, i) 제1 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들, ii) 상기 제2 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들, 및 iii) 상기 제1 현재 템플릿 샘플들과 상기 제2 현재 템플릿 샘플들 및 상기 제1 참조 템플릿 샘플들과 상기 제2 참조 템플릿 샘플들 중 어느 하나일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 선형 파라미터, 제2 선형 파라미터, 및 제1 현재 템플릿 샘플값들을 이용하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을, 후보 참조 블록 내 샘플들의 제2 샘플값들과 동일한 값들로 결정할 수 있다. 제1 샘플값들은, 현재 블록 내 샘플들의 위치에 대응하는 후보 참조 블록 내 샘플들의 제2 샘플값들과 동일한 값을 갖도록 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 샘플값들을, 현재 블록의 주변 블록들에 대한 인트라 예측 정보에 기초하여 획득할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 현재 블록의 주변 블록들이 인트라 예측을 통해 복원된 것으로 식별한 경우, 해당 주변 블록의 인트라 예측 모드를 이용하여 현재 블록내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다.
한편, 제1 샘플값들을 획득하는 동작에 대하여, 도 20 내지 도 30에서 자세히 설명하였으므로, 동일한 설명은 생략한다.
단계 S3120에서, 영상 복호화 장치(2000)는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록과 후보 참조 블록간의 템플릿 매칭을 수행하는 과정에서, 템플릿 코스트를 결정하기 위한 비용 함수로서, SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), HoG(Histogram of Oriented Gradient)를 이용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들 및 제2 샘플값들 사이에 상기의 비용 함수를 이용하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 샘플값들과 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이를 획득할 수 있으며, 영상 복호화 장치(2000)는, 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이 및 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 기초하여, 현재 블록과 후보 참조 블록간의 템플릿 코스트를 계산할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이에 대해 제1 가중치를 적용하고, 및 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 대해 제2 가중치를 적용한 것에 기초하여, 현재 블록과 후보 참조 블록간의 템플릿 코스트를 계산할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, K개의 최소 유효 비트(Least significant bit, LSB)는 고려하지 않고 템플릿 코스트를 결정할 수 있다. K는 2일 수 있으나 개시된 예에 한하지 않는다. 최소 유효 비트를 고려하는 방식은, 압축 속도를 높이기 위해 이용될 수 있다.
한편, 템플릿 코스트를 결정하는 동작에 대하여, 도 20 내지 도 30에서 자세히 설명하였으므로, 동일한 설명은 생략한다.
단계 S3130에서, 영상 복호화 장치(2000)는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 템플릿 매칭을 수행하는 과정에서, 현재 블록의 템플릿과 유사한 템플릿을 찾는 과정을 반복적으로 수행한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록, 복수의 후보 위치에 대응하는 후보 참조 블록들, 및 후보 참조 블록들의 각각에 대응하는 템플릿들을 이용하여, 후보 참조 블록들의 각각에 대응하는 제1 샘플값들과 제2 샘플값들을 획득할 수 있다. 또한, 영상 복호화 장치(2000)는 후보 참조 블록들의 각각에 대응하는 템플릿 코스트들을 계산할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 후보 참조 블록들의 템플릿 코스트들에 따른 템플릿 코스트 리스트를 구성할 수 있다. 영상 복호화 장치(2000)는 템플릿 코스트 리스트를 템플릿에 따라 오름차순으로 정렬할 수 있으며, 복수의 후보 참조 블록들 중에서 최저 템플릿 코스트에 대응하는 후보 참조 블록을 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 템플릿 코스트 리스트에 대한 인덱스를 획득하여 템플릿 코스트 리스트에 대한 인덱스가 가리키는 템플릿 코스트 리스트 내 소정의 템플릿 코스트에 대응하는 후보 참조 블록을 참조 블록으로 결정할 수 있다.
한편, 본 개시의 일 실시예에서, 템플릿 코스트 리스트에 포함된 복수의 후보 참조 블록들에 대응하는 템플릿 코스트들은, 후보 참조 블록별로 상이한 방식으로 결정되었을 수 있다. 예를 들어, 제1 템플릿 코스트는 SAD를 통해 결정되었을 수 있고, 제2 템플릿 코스트는 MR-SAD를 통해 결정되었을 수 있다. 또한, 제3 템플릿 코스트는 본 개시의 수학식 5에 따라 결정되었으며, 제4 템플릿 코스트는 본 개시의 수학식 6에 따라 결정되었을 수 있다. 한편, 템플릿 코스트들은 개시된 예에 한하지 않고 다양한 방식으로 결정될 수 있다.
단계 S3140에서, 영상 복호화 장치(2000)는 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 단계 S3110 내지 단계 S3130을 통해, 현재 블록을 포함하는 현재 영상 내 또는 현재 영상과 상이한 영상 내에서 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 블록을 이용하여 현재 블록에 대한 예측을 수행하여 예측 블록을 결정 또는 획득할 수 있다. 현재 블록에 대한 예측은 인터 예측 또는 인트라 예측일 수 있으나, 개시된 예에 한하지 않는다.
한편, 본 개시의 일 실시예에서, 단계 S3110에서, 제1 샘플값들을 획득하는 단계 이전에, 영상 복호화 장치(2000)는, 후보 참조 블록의 템플릿 및 후보 참조 블록에 대한 샘플 값들에 대한 검증을 수행한 후, 본 개시의 수학식 5 내지 수학식 7에 따른 템플릿 코스트 계산 방식을 이용할지 여부를 결정할 수 있다. 영상 복호화 장치(2000)는, 후보 참조 블록의 템플릿 및 후보 참조 블록에 대한 샘플 값들에 대한 검증을 수행한 후, 단계 S3110 내지 단계 S3140의 단계를 수행할지 여부를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대응하는 위치의 제1 참조 템플릿 샘플값들 각각의 차이를 이용하여 제3 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 템플릿 샘플값들과 제1 참조 템플릿 샘플값들에 인접한 위치의 제2 참조 템플릿 샘플값들에 대한 선형성을 이용하여, 제3 샘플값들을 획득할 수 있다. 영상 복호화 장치(2000)는 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 참조 파라미터 및 제2 참조 파라미터를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들 각각의 차이 또는 선형성을 이용하여 제3 샘플값들을 획득하고, 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부의 식별 결과에 기초하여, 후보 참조 블록에 대한 템플릿 코스트를 복수의 후보 참조 블록들 중에서 후보 참조 블록을 참조 블록으로 결정하지 않도록 하기 위한 특정 값으로 결정할 수 있다.
한편, 단계 S3110 내지 단계 S3140의 동작들은 인트라 예측 또는 인터 예측과 상관없이, 템플릿 코스트를 결정 또는 계산하는 과정이라면 어느 상황에서든 이용될 수 있다.
본 개시의 일 실시예에서, 템플릿 코스트를 결정 또는 계산하는 동작은, TM-AMVP(Template Matching based Advanced Motion Vector Prediction mode), TM-MRG(Template Matching based Merge mode), GPM-TM(Geometric Partitioning Mode using Template Matching), OBMC-TM(Overlapped Block Motion Compensation mode using Template Matching), CIIP-TM(Combined Inter-Intra Prediction mode using Template Matching), Reordering for TMVP(Temporal Motion Vector Prediction) and non-adjacent MVP (Motion Vector Prediction), TM-MMVD(TM based Merge mode with Motion Vector Difference), GPM(Geometric Partitioning Mode) split mode reordering, ARMC(Adaptive Reordering of Merge Candidate), Refined motion for ARMC(Adaptive Reordering of Merge Candidate), Diversity criterion for ARMC(Adaptive Reordering of Merge Candidate), Reference picture reordering, MVD(Motion Vector Difference) prediction, Sub-block TM(Template Matching), TMRL(Template-based Multiple Reference Line), TIMD(Template-based Intra Mode Derivation), 및 IntraTMP(Intra Template Matching Prediction) 중 적어도 하나에서 수행될 수 있으며, 개시된 예에 한하지 않는다.
본 개시의 일 실시예에서, 템플릿 코스트는, 움직임 벡터 또는 블록 벡터에 대한 보정 또는 조정을 수행하기 위해 결정될 수 있으며, 소정의 리스트에 대한 리오더링(re-ordering)을 수행하기 위해 결정될 수도 있다.
한편, 템플릿 코스트를 결정 또는 계산하는 동작은 각 모드별로 검색 패턴 및 템플릿 코스트를 이용하는 방식이 상이할 수 있다.
도 32은 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.
본 개시의 일 실시예에서, 메모리(3210) 및 프로세서(3230)는 적어도 하나의 메모리 및 적어도 하나의 프로세서로 구현될 수 있다. 본 개시의 일 실시예에서, 메모리(3210)에 인스트럭션들이 저장되어 있는 경우, 도 19에 도시된 예측 부호화부(1915), 엔트로피 부호화부(1925)의 동작은 적어도 하나의 프로세스가 호출한 인스트럭션에 따라 구현될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 도 19에 도시된 예측 부호화부(1915) 및 엔트로피 부호화부 (1925) 중 적어도 하나의 입출력 데이터를 저장하는 저장매체를 포함할 수 있다. 상기 저장 매체는 메모리(3210)에 포함될 수도 있고, 메모리(3210)과의 별개의 상이한 저장매체일 수 있다.
또한, 영상 부호화 장치(3200)는, 저장매체의 데이터 입출력을 제어하는 저장매체 제어부를 포함할 수 있다. 상기 저장매체 제어부는 상기 프로세서(3230)에 포함될 수도 있으며, 상기의 프로세서(3230)과는 상이한 제어부일 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200) 은 현재 영상 내 현재 블록의 예측 모드를 결정할 수 있다. 현재 블록의 예측 모드는 인터(inter) 모드를 포함할 수 있다. 인터 모드는 영상들 사이의 시간적 중복성을 감소시키기 위해 참조 영상에 기반하여 현재 블록을 예측 또는 복원하는 모드이다. 현재 블록은 부호화하고자 하는 현재 영상으로부터 분할된 최대 부호화 단위, 부호화 단위, 변환 단위 또는 예측 단위일 수 있다.
본 개시의 일 실시예에서, 현재 블록의 예측 모드는 인트라 모드로 결정될 수 있다. 영상 부호화 장치(3200)는 현재 블록의 예측 모드에 따라 현재 블록에 대해 인트라 예측을 수행하고, 인트라 예측의 수행 결과로 생성되는 예측 블록을 이용하여 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 현재 블록의 예측 모드는 인터 모드로 결정될 수 있다. 영상 부호화 장치(3200)는 현재 블록의 예측 모드에 따라 현재 블록에 대해 인터 예측을 수행하고, 인터 예측의 수행 결과로 생성되는 예측 블록을 이용하여 현재 블록을 부호화할 수 있다. 비트스트림은, 현재 블록의 예측 모드에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록의 예측 모드가 인트라 모드인 경우, 비트스트림으로부터 현재 블록의 인트라 예측 모드에 대한 정보를 획득할 수 있다. 현재 블록의 인트라 예측 모드에 대한 정보는 인트라 예측 모드의 결정 방식을 나타내는 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 인트라 예측 모드의 결정 방식은, 참조 블록을 이용하여 인트라 예측 모드를 결정하는 방식, 템플릿을 이용하여 인트라 예측 모드를 결정하는 방식, 또는 비트스트림으로부터 획득되는 정보를 이용하여 인트라 예측 모드를 결정하는 방식을 포함할 수 있다.
본 개시의 일 실시예에서, 인트라 예측 모드의 결정 방식을 나타내는 정보는, 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 인트라 예측 모드의 결정 방식을 나타내는 정보가 비트스트림에 포함되지 않을 수 있다. 이 경우, 영상 부호화 장치(3200)는 영상 복호화 장치(2000)와의 사이에 미리 결정된 방식에 따라 현재 블록의 인트라 예측 모드를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 인트라 예측 모드의 결정 방식이 비트스트림에 저장된 정보를 이용하는 방식인 경우, 복수의 인트라 예측 모드들 중 비트스트림에 저장된 정보가 가리키는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다. 예를 들어, 비트스트림에 저장된 정보 중 현재 블록의 인트라 예측 모드를 나타내는 정보는, 복수의 인트라 예측 모드들 중 어느 하나의 인트라 예측 모드를 나타내는 플래그 또는 인덱스를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 인트라 예측 모드의 결정 방식이 참조 블록 또는 템플릿을 이용하는 방식인 경우, 현재 블록보다 먼저 복원된 현재 영상 내 참조 블록 또는 현재 영상 내 참조 블록의 템플릿을 이용하여 현재 블록의 인트라 예측 모드를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 참조 영상에 기반하여 현재 블록을 부호화할 때, 하나의 참조 영상을 이용(예를 들어, 단방향 예측)할 수도 있고, 두 개의 참조 영상을 이용(예를 들어, 쌍 예측)할 수도 있다. 현재 블록이 단방향 예측되는지, 쌍 예측되는지 여부는, 비트스트림에 복수의 참조 픽처 리스트 중 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 플래그 또는 인덱스에 따라 결정될 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트를 지시하는 인덱스를 결정할 수 있다. 예를 들어, 영상 부호화 장치(3200)는 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 이용하는 참조 영상이 포함된 참조 픽처 리스트를 지시하는 인덱스를 결정할 수 있다. 쌍 예측을 통해 현재 블록을 부호화 하는 경우, 영상 부호화 장치(3200)는 두 참조 픽처 리스트를 이용함을 나타내는 인덱스를 결정할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 포함할 수 있다. 참조 픽처 리스트에 대한 정보는, 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 이용하는 참조 영상이 포함된 참조 픽처 리스트를 지시하는 인덱스를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록이 인터 예측되는 경우, 현재 블록의 참조 블록을 결정하기 위해 이용하는 예측 정보를 식별 또는 결정할 수 있다. 현재 블록의 예측 정보는 비트스트림에 포함될 수 있다. 현재 블록의 예측 정보는 현재 영상 내 현재 블록의 예측 모드에 대한 정보, 참조 픽처 리스트에 대한 정보(예를 들어, 현재 블록의 인터 예측을 위해 제1 참조 픽처리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 쌍예측(L0 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보), 참조 영상 인덱스에 대한 정보, 움직임 벡터 예측자에 대한 정보, 및 움직임 벡터 차분에 대한 정보 중 적어도 하나를 포함할 수 있으며, 개시된 예에 한하지 않고, 현재 블록의 움직임 벡터를 결정하기 위한 모든 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록에 인접한 이전에 부호화된 블록들, 현재 블록에 인접하지 않은 이전에 부호화된 블록들, 또는 콜로케이티드 영상에 포함된 블록들 또는 콜로케이티드 영상의 이웃 블록들의 후보 블록들로 구성된 후보 블록 리스트로부터, 소정의 후보 블록을 결정하고, 소정의 후보 블록의 움직임 벡터를 현재 블록의 움직임 벡터 예측자로 획득 또는 결정함으로써, 현재 블록을 부호화할 수 있다. 영상 부호화 장치(3200)는 현재 블록의 움직임 벡터를 결정하기 위한 후보 블록을 나타내는 인덱스를 결정 또는 획득하여 비트스트림에 저장할 수 있다.
예를 들어, 영상 부호화 장치(3200)는 현재 블록이 인터 예측되는 경우, 현재 블록의 참조 영상 내 참조 블록을 결정할 수 있다. 예를 들어, 영상 부호화 장치(3200)는 결정된 현재 블록의 움직임 벡터가 가리키는 지점을 기초로 템플릿 매칭을 수행함으로써, 현재 블록의 참조 블록을 결정할 수 있다. 영상 부호화 장치는, 율-왜곡 코스트 연산을 수행하여 템플릿 매칭을 수행하기 전과 후를 비교하여, 템플릿 매칭을 수행하는 것으로 결정하여 템플릿 매칭을 수행하는 것을 나타내는 인덱스를 획득할 수도 있으나, 개시된 예에 한하지 않고, 템플릿 매칭을 수행하는 것을 나타내는 인덱스와 관계없이 소정의 영역에서는 템플릿 매칭을 수행하거나 수행하지 않는 것으로 기 설정되어있을 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 결정된 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내의 템플릿과 현재 템플릿을 비교하여, 현재 블록의 초기 움직임 벡터를 조정 또는 보정함으로써, 현재 블록의 참조 블록을 결정할 수 있다. 한편, 템플릿 매칭에 의해 조정되기 이전의 움직임 벡터는 초기 움직임 벡터로 지칭될 수 있다. 영상 부호화 장치(3200)가 템플릿 매칭을 수행하는 과정에서, 본 개시에 따른 템플릿 코스트를 결정하는 동작을 이용할 수 있다. 한편, 템플릿 매칭에서는 현재 블록보다 먼저 부호화된 주변 샘플값들이 템플릿으로 이용될 수 있다.
본 개시의 일 실시예에서, 예측 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 현재 블록의 부호화란, 영상 복호화 장치(2000)가 현재 블록을 복원할 수 있게 하는 정보를 생성하는 과정을 의미할 수 있다. 부호화를 통해 생성된 정보는 추가적인 처리를 거쳐 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록에 대한 인터 예측 또는 인트라 예측을 통해 예측 블록이 생성되면, 예측 블록을 이용하여 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 예측 블록과 현재 블록의 차이에 대응하는 잔차 데이터를 생성할 수 있다. 예측 블록이 현재 블록으로 결정되는 경우, 잔차 데이터는 생성되지 않을 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 영상의 부호화에 따라 생성된 정보들을 포함하는 비트스트림을 생성할 수 있다. 비트스트림은 현재 블록에 대한 부호화 결과로서 생성된 데이터를 포함할 수 있다. 비트스트림은 현재 블록의 예측 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 비트스트림을 네트워크를 통해 영상 복호화 장치(2000)로 전송할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체에 비트스트림을 저장할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 영상의 부호화를 통해 생성된 신택스 엘리먼트(syntax element)들을 포함하는 비트스트림을 생성할 수 있다. 신택스 엘리먼트들에 해당하는 값들은 영상의 계층 구조에 따라 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)가 신택스 엘리먼트들의 빈들을 인코딩하여 비트스트림에 포함시킬 수 있다. 상기의 인코딩 동작은, 이진화 및 엔트로피 인코딩 동작 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록의 블록 벡터가 가리키는 지점 또는 현재 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 부호화 장치(3200)는 현재 블록을 기준으로 소정의 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수도 있다. 가장 유사한 템플릿을 검색하는 과정은, 소정의 범위인 검색 범위 내의 템플릿과 현재 블록의 템플릿의 템플릿 코스트를 결정하면서 수행될 수 있으며, 템플릿 코스트가 가장 낮은 후보 참조 블록을 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 현재 블록과의 템플릿 매칭을 수행할지 여부에 대한 정보 또는 현재 블록에서 수행하는 템플릿 매칭과 연관된 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다. 그러나, 개시된 예에 한하지 않으며, 템플릿 매칭을 수행할지 여부에 대한 정보 및 현재 블록에서 수행하는 템플릿 매칭과연관된 정보는 비트스트림에 포함되지 않을 수 있다. 한편, 현재 블록에서 수행하는 템플릿 매칭과 연관된 정보는, 템플릿 코스트를 결정하는 방식 등에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 템플릿 코스트 리스트 중 어느 하나의 후보 참조 블록에 대한 템플릿 코스트를 지시하는 인덱스 또는 플래그를 포함할 수 있다. 영상 부호화 장치(3200)는, 템플릿 코스트 리스트 내 후보 참조 블록들에 대한 율-왜곡 코스트(RD cost) 연산을 수행하여 최적의 후보 참조 블록에 대한 템플릿 코스트를 지시하는 인덱스 또는 플래그를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 템플릿 코스트 리스트 내 소정의 후보 참조 블록에 대한 정보를 지시하는 인덱스를 통해 참조 블록을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 참조 블록을 이용하여 현재 블록을 복원할 수 있다. 예를 들어, 영상 부호화 장치(3200)는 참조 블록을 이용하여 예측 블록을 생성하고, 예측 블록 및 잔차 데이터를 이용하여 현재 블록을 복원 또는 생성할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)의 동작은 영상 복호화 장치(2000)의 동작과 동일할 수 있으므로, 동일한 내용은 생략한다.
도 33는 일 실시예에 따른 영상 부호화 방법의 순서도이다.
단계 S3310에서, 영상 부호화 장치(3200)는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 영상 부호화 장치(3200)는, 후보 참조 블록 내 샘플들의 제2 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 제1 샘플값들은 현재 블록 내 현재 블록의 템플릿에 인접한 샘플들에 대한 샘플값들일 수 있다. 제2 샘플값들은, 후보 참조 블록 내 후보 참조 블록의 템플릿에 인접한 샘플들일 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 현재 블록의 템플릿에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들 및 현재 블록의 템플릿에 포함된 샘플들 중 제1 현재 템플릿 샘플들에 인접한 제2 현재 템플릿 샘플들에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 대응하는 위치의 제2 현재 템플릿 샘플값들 각각의 차이를 이용하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 인접한 위치의 제2 현재 템플릿 샘플값들에 대한 선형성을 이용하여, 제1 샘플값들을 획득할 수 있다. 영상 부호화 장치(3200)는 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록에 포함된 샘플들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득할 수 있다. 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록에 포함된 샘플들 각각은, i) 제1 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들, ii) 상기 제2 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들, 및 iii) 상기 제1 현재 템플릿 샘플들과 상기 제2 현재 템플릿 샘플들 및 상기 제1 참조 템플릿 샘플들과 상기 제2 참조 템플릿 샘플들 중 어느 하나일 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 선형 파라미터, 제2 선형 파라미터, 및 제1 현재 템플릿 샘플값들을 이용하여 제1 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 샘플값들을, 후보 참조 블록 내 샘플들의 제2 샘플값들과 동일한 값들로 결정할 수 있다. 제1 샘플값들은, 현재 블록 내 샘플들의 위치에 대응하는 후보 참조 블록 내 샘플들의 제2 샘플값들과 동일한 값을 갖도록 결정될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 샘플값들을, 현재 블록의 주변 블록들에 대한 인트라 예측 정보에 기초하여 획득할 수 있다. 예를 들어, 영상 부호화 장치(3200)는, 현재 블록의 주변 블록들이 인트라 예측을 통해 복원된 것으로 식별한 경우, 해당 주변 블록의 인트라 예측 모드를 이용하여 현재 블록내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다.
한편, 제1 샘플값들을 획득하는 동작에 대하여, 도 20 내지 도 30에서 자세히 설명하였으므로, 동일한 설명은 생략한다.
단계 S3320에서, 영상 부호화 장치(3200)는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록과 후보 참조 블록간의 템플릿 매칭을 수행하는 과정에서, 템플릿 코스트를 결정하기 위한 비용 함수로서, SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE), HoG(Histogram of Oriented Gradient)를 이용할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제1 샘플값들 및 제2 샘플값들 사이에 상기의 비용 함수를 이용하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제1 샘플값들과 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이를 획득할 수 있으며, 영상 부호화 장치(3200)는, 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이 및 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 기초하여, 현재 블록과 후보 참조 블록간의 템플릿 코스트를 계산할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 현재 템플릿 샘플들의 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이에 대해 제1 가중치를 적용하고, 및 제1 참조 템플릿 샘플들의 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이에 대해 제2 가중치를 적용한 것에 기초하여, 현재 블록과 후보 참조 블록간의 템플릿 코스트를 계산할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, K개의 최소 유효 비트(Least significant bit, LSB)는 고려하지 않고 템플릿 코스트를 결정할 수 있다. K는 2일 수 있으나 개시된 예에 한하지 않는다. 최소 유효 비트를 고려하는 방식은, 압축 속도를 높이기 위해 이용될 수 있다.
한편, 템플릿 코스트를 결정하는 동작에 대하여, 도 20 내지 도 30에서 자세히 설명하였으므로, 동일한 설명은 생략한다.
단계 S3330에서, 영상 부호화 장치(3200)는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 템플릿 매칭을 수행하는 과정에서, 현재 블록의 템플릿과 유사한 템플릿을 찾는 과정을 반복적으로 수행한다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 현재 블록, 복수의 후보 위치에 대응하는 후보 참조 블록들, 및 후보 참조 블록들의 각각에 대응하는 템플릿들을 이용하여, 후보 참조 블록들의 각각에 대응하는 제1 샘플값들과 제2 샘플값들을 획득할 수 있다. 또한, 영상 부호화 장치(3200)는 후보 참조 블록들의 각각에 대응하는 템플릿 코스트들을 계산할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 후보 참조 블록들의 템플릿 코스트들에 따른 템플릿 코스트 리스트를 구성할 수 있다. 영상 부호화 장치(3200)는 템플릿 코스트 리스트를 템플릿에 따라 오름차순으로 정렬할 수 있으며, 복수의 후보 참조 블록들 중에서 최저 템플릿 코스트에 대응하는 후보 참조 블록을 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 템플릿 코스트 리스트 중에서, 현재 블록에 대하여 참조 블록으로 이용할 후보 참조 블록에 대한 인덱스를 결정할 수 있으며, 결정된 인덱스가 포함된 비트스트림을 획득할 수 있다. 또한, 영상 부호화 장치(3200)는 템플릿 코스트 리스트에 대한 인덱스가 가리키는 템플릿 코스트 리스트 내 소정의 템플릿 코스트에 대응하는 후보 참조 블록을 참조 블록으로 결정할 수 있다.
한편, 본 개시의 일 실시예에서, 템플릿 코스트 리스트에 포함된 복수의 후보 참조 블록들에 대응하는 템플릿 코스트들은, 후보 참조 블록별로 상이한 방식으로 결정되었을 수 있다. 예를 들어, 제1 템플릿 코스트는 SAD를 통해 결정되었을 수 있고, 제2 템플릿 코스트는 MR-SAD를 통해 결정되었을 수 있다. 또한, 제3 템플릿 코스트는 본 개시의 수학식 5에 따라 결정되었으며, 제4 템플릿 코스트는 본 개시의 수학식 6에 따라 결정되었을 수 있다. 한편, 템플릿 코스트들은 개시된 예에 한하지 않고 다양한 방식으로 결정될 수 있다.
단계 S3340에서, 영상 부호화 장치(3200)는 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 단계 S3310 내지 단계 S3330을 통해, 현재 블록을 포함하는 현재 영상 내 또는 현재 영상과 상이한 영상 내에서 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 참조 블록을 이용하여 현재 블록에 대한 예측을 수행하여 예측 블록을 결정 또는 획득할 수 있다. 현재 블록에 대한 예측은 인터 예측 또는 인트라 예측일 수 있으나, 개시된 예에 한하지 않는다.
한편, 본 개시의 일 실시예에서, 단계 S3310에서, 제1 샘플값들을 획득하는 단계 이전에, 영상 부호화 장치(3200)는, 후보 참조 블록의 템플릿 및 후보 참조 블록에 대한 샘플 값들에 대한 검증을 수행한 후, 본 개시의 수학식 5 내지 수학식 7에 따른 템플릿 코스트 계산 방식을 이용할지 여부를 결정할 수 있다. 영상 부호화 장치(3200)는, 후보 참조 블록의 템플릿 및 후보 참조 블록에 대한 샘플 값들에 대한 검증을 수행한 후, 단계 S3310 내지 단계 S3340의 단계를 수행할지 여부를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제2 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대응하는 위치의 제1 참조 템플릿 샘플값들 각각의 차이를 이용하여 제3 샘플값들을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제1 참조 템플릿 샘플값들과 제1 참조 템플릿 샘플값들에 인접한 위치의 제2 참조 템플릿 샘플값들에 대한 선형성을 이용하여, 제3 샘플값들을 획득할 수 있다. 영상 부호화 장치(3200)는 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들에 대한 선형 회귀분석을 통해 제1 참조 파라미터 및 제2 참조 파라미터를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는, 제1 참조 템플릿 샘플값들과 제2 참조 템플릿 샘플값들 각각의 차이 또는 선형성을 이용하여 제3 샘플값들을 획득하고, 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(3200)는 제2 샘플값들과 제3 샘플값들의 차이가 임계값 이하인지 여부의 식별 결과에 기초하여, 후보 참조 블록에 대한 템플릿 코스트를 복수의 후보 참조 블록들 중에서 후보 참조 블록을 참조 블록으로 결정하지 않도록 하기 위한 특정 값으로 결정할 수 있다.
한편, 단계 S3310 내지 단계 S3340의 동작들은 인트라 예측 또는 인터 예측과 상관없이, 템플릿 코스트를 계산하는 과정이라면 어느 상황에서든 이용될 수 있다.
본 개시의 일 실시예에서, 템플릿 코스트를 계산하는 동작은, TM-AMVP(Template Matching based Advanced Motion Vector Prediction mode), TM-MRG(Template Matching based Merge mode), GPM-TM(Geometric Partitioning Mode using Template Matching), OBMC-TM(Overlapped Block Motion Compensation mode using Template Matching), CIIP-TM(Combined Inter-Intra Prediction mode using Template Matching), Reordering for TMVP(Temporal Motion Vector Prediction) and non-adjacent MVP (Motion Vector Prediction), TM-MMVD(TM based Merge mode with Motion Vector Difference), GPM(Geometric Partitioning Mode) split mode reordering, ARMC(Adaptive Reordering of Merge Candidate), Refined motion for ARMC(Adaptive Reordering of Merge Candidate), Diversity criterion for ARMC(Adaptive Reordering of Merge Candidate), Reference picture reordering, MVD(Motion Vector Difference) prediction, Sub-block TM(Template Matching), TMRL(Template-based Multiple Reference Line), TIMD(Template-based Intra Mode Derivation), 및 IntraTMP(Intra Template Matching Prediction) 중 적어도 하나에서 수행될 수 있으며, 개시된 예에 한하지 않는다.
본 개시의 일 실시예에서, 영상 복호화 방법이 제공된다. 영상 복호화 방법은, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 제1 샘플값들은, 현재 블록 내 현재 블록의 템플릿에 인접한 샘플들에 대한 샘플값들일 수 있다. 제2 샘플값들은, 후보 참조 블록 내 후보 참조 블록의 템플릿에 인접한 샘플들에 대한 샘플값들일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 샘플값들과 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록의 템플릿에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들 및 현재 블록의 템플릿에 포함된 샘플들 중 제1 현재 템플릿 샘플들에 인접한 제2 현재 템플릿 샘플들에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여, 제1 샘플값들을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 현재 템플릿 샘플값들과 제1 현재 템플릿 샘플값들에 대응하는 위치의 제2 현재 템플릿 샘플값들 각각의 차이를 이용하여, 제1 샘플값들을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 현재 템플릿 샘플값들과 제2 현재 템플릿 샘플값들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 선형 파라미터, 제2 선형 파라미터, 및 제1 현재 템플릿 샘플값들을 이용하여 제1 샘플값들을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록의 템플릿에 포함된 샘플들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득하는 단계를 포함할 수 있다. 현재 블록의 템플릿에 포함된 샘플들 및 후보 참조 블록에 포함된 샘플들 각각은, 제1 현재 템플릿 샘플들 및 후보 참조 블록의 템플릿에 포함된 샘플들 중 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들, 제2 현재 템플릿 샘플들 및 후보 참조 블록의 템플릿에 포함된 샘플들 중 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들, 및 제1 현재 템플릿 샘플들과 제2 현재 템플릿 샘플들 및 제1 참조 템플릿 샘플들과 제2 참조 템플릿 샘플들 중 어느 하나일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 후보 참조 블록의 템플릿에 포함된 샘플들 중 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들에 대한 제1 참조 템플릿 샘플값들과 후보 참조 블록의 템플릿에 포함된 샘플들 중 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들에 대한 제2 참조 템플릿 샘플값들 각각의 차이를 이용하여, 후보 참조 블록 내 샘플들의 위치에 대응하는 제3 샘플값들을 획득하는 단계를 더 포함할 수 있다. 영상 복호화 방법은, 제2 샘플값들과 제2 샘플값들에 대응하는 위치의 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 후보 참조 블록의 템플릿에 포함된 샘플들 중 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들과 후보 참조 블록의 템플릿에 포함된 샘플들 중 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들에 대한 선형 회귀 분석을 통해 제1 참조 파라미터 및 제2 참조 파라미터를 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 참조 파라미터, 제2 참조 파라미터, 및 제1 참조 템플릿 샘플들을 이용하여, 후보 참조 블록 내 샘플들의 위치에 대응하는 제3 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제2 샘플값들과 제2 샘플값들에 대응하는 위치의 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 식별 결과에 기초하여, 후보 참조 블록에 대한 템플릿 코스트를 복수의 후보 참조 블록들 중에서 후보 참조 블록을 참조 블록으로 결정하지 않도록 하기 위한 특정값으로 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록의 템플릿에 포함된 샘플들 중 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들과 제1 샘플값들 각각의 차이, 및 후보 참조 블록의 템플릿에 포함된 샘플들 중 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들에 대한 제1 참조 템플릿 샘플값들과 제2 샘플값들 각각의 차이를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 제1 샘플값들은, 제1 샘플값들에 대응하는 현재 블록 내 샘플들의 위치에 대응하는 후보 참조 블록 내 샘플들의 제2 샘플값들과 동일한 값을 가질 수 있다.
본 개시의 일 실시예에서, 제1 샘플값들은, 현재 블록의 주변 블록들에 대한 인트라 예측 정보에 기초하여 획득될 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 복호화 장치가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 적어도 하나의 프로세서는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정할 수 있다. 적어도 하나의 프로세서는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
본 개시의 일 실시에에서, 영상 부호화 방법이 제공될 수 있다. 영상 부호화 방법은, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계를 포함할 수 있다. 영상 부호화 방법은, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 부호화 장치가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 블록의 템플릿, 후보 참조 블록, 및 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득할 수 있다. 적어도 하나의 프로세서는, 제1 샘플값들 및 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정할 수 있다. 적어도 하나의 프로세서는, 템플릿 코스트에 기초하여, 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 참조 블록을 이용하여 현재 블록의 예측 블록을 획득할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 영상 복호화 방법에 있어서,
    현재 블록의 템플릿, 후보 참조 블록, 및 상기 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 상기 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계(S3110);
    상기 제1 샘플값들 및 상기 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여, 템플릿 코스트를 결정하는 단계(S3120); 및
    상기 템플릿 코스트에 기초하여, 상기 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계(S3130);
    상기 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 획득하는 단계(S3140);를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 샘플값들은, 상기 현재 블록 내 상기 현재 블록의 템플릿에 인접한 샘플들에 대한 샘플값들이며,
    상기 제2 샘플값들은, 상기 후보 참조 블록 내 상기 후보 참조 블록의 템플릿에 인접한 샘플들에 대한 샘플값들인, 방법
  3. 제1항 내지 제2항에 있어서,
    상기 제1 샘플값들 및 상기 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정하는 단계는,
    상기 제1 샘플값들과 상기 제1 샘플값들에 대응하는 위치의 제2 샘플값들 각각의 차이를 이용하여 템플릿 코스트를 결정하는 단계;를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계는,
    상기 현재 블록의 템플릿에 포함된 샘플들 중 상기 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들 및 상기 현재 블록의 템플릿에 포함된 샘플들 중 상기 제1 현재 템플릿 샘플들에 인접한 제2 현재 템플릿 샘플들에 대한 제2 현재 템플릿 샘플값들 중 적어도 하나에 기초하여, 상기 제1 샘플값들을 획득하는 단계를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 제1 샘플값들을 획득하는 단계는,
    상기 제1 현재 템플릿 샘플값들과 상기 제1 현재 템플릿 샘플값들에 대응하는 위치의 제2 현재 템플릿 샘플값들 각각의 차이를 이용하여, 상기 제1 샘플값들을 획득하는 단계를 포함하는, 방법.
  6. 제4항에 있어서,
    상기 제1 샘플값들을 획득하는 단계는,
    상기 제1 현재 템플릿 샘플값들과 상기 제2 현재 템플릿 샘플값들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득하는 단계; 및
    상기 제1 선형 파라미터, 상기 제2 선형 파라미터, 및 상기 제1 현재 템플릿 샘플값들을 이용하여 상기 제1 샘플값들을 획득하는 단계; 를 포함하는, 방법.
  7. 제4항에 있어서,
    상기 제1 샘플값들을 획득하는 단계는,
    상기 현재 블록의 템플릿에 포함된 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들에 대한 선형 회귀 분석을 통해 제1 선형 파라미터 및 제2 선형 파라미터를 획득하는 단계를 포함하며,
    상기 현재 블록의 템플릿에 포함된 샘플들 및 상기 후보 참조 블록에 포함된 샘플들 각각은,
    상기 제1 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들,
    상기 제2 현재 템플릿 샘플들 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들, 및
    상기 제1 현재 템플릿 샘플들과 상기 제2 현재 템플릿 샘플들 및 상기 제1 참조 템플릿 샘플들과 상기 제2 참조 템플릿 샘플들 중 어느 하나인, 방법.
  8. 제5항에 있어서,
    상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들에 대한 제1 참조 템플릿 샘플값들과 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들에 대한 제2 참조 템플릿 샘플값들 각각의 차이를 이용하여, 상기 후보 참조 블록 내 샘플들의 위치에 대응하는 제3 샘플값들을 획득하는 단계; 및
    상기 제2 샘플값들과 상기 제2 샘플값들에 대응하는 위치의 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별하는 단계;를 더 포함하는, 방법.
  9. 제6항에 있어서,
    상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들과 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 제1 참조 템플릿 샘플들에 인접한 제2 참조 템플릿 샘플들에 대한 선형 회귀 분석을 통해 제1 참조 파라미터 및 제2 참조 파라미터를 획득하는 단계; 및
    상기 제1 참조 파라미터, 상기 제2 참조 파라미터, 및 상기 제1 참조 템플릿 샘플들을 이용하여, 상기 후보 참조 블록 내 샘플들의 위치에 대응하는 제3 샘플값들을 획득하는 단계; 및
    상기 제2 샘플값들과 상기 제2 샘플값들에 대응하는 위치의 제3 샘플값들의 차이가 임계값 이하인지 여부를 식별하는 단계;를 더 포함하는, 방법.
  10. 제8항 내지 제9항 중 어느 한 항에 있어서,
    상기 템플릿 코스트를 결정하는 단계는,
    상기 식별 결과에 기초하여, 상기 후보 참조 블록에 대한 템플릿 코스트를 상기 복수의 후보 참조 블록들 중에서 상기 후보 참조 블록을 상기 참조 블록으로 결정하지 않도록 하기 위한 특정값으로 결정하는 단계;를 포함하는, 방법.
  11. 제1항 내지 제2항 중 어느 한 항에 있어서,
    상기 템플릿 코스트를 결정하는 단계는,
    상기 현재 블록의 템플릿에 포함된 샘플들 중 상기 현재 블록에 인접한 제1 현재 템플릿 샘플들에 대한 제1 현재 템플릿 샘플값들과 상기 제1 샘플값들 각각의 차이, 및 상기 후보 참조 블록의 템플릿에 포함된 샘플들 중 상기 후보 참조 블록에 인접한 제1 참조 템플릿 샘플들에 대한 제1 참조 템플릿 샘플값들과 상기 제2 샘플값들 각각의 차이를 획득하는 단계;를 포함하는 방법.
  12. 제11항에 있어서,
    상기 제1 샘플값들은,
    제1 샘플값들에 대응하는 상기 현재 블록 내 샘플들의 위치에 대응하는 상기 후보 참조 블록 내 샘플들의 상기 제2 샘플값들과 동일한 값을 갖는, 방법.
  13. 제11항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 샘플값들은,
    상기 현재 블록의 주변 블록들에 대한 인트라 예측 정보에 기초하여 획득되는, 방법.
  14. 영상 부호화 방법에 있어서,
    현재 블록의 템플릿, 후보 참조 블록, 및 상기 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 상기 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계(S3310);
    상기 제1 샘플값들 및 상기 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정하는 단계(S3320); 및
    상기 템플릿 코스트에 기초하여, 상기 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계(S3330);
    상기 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 획득하는 단계(S3340);를 포함하는, 방법.
  15. 영상 부호화 장치에 의해 수행되는 영상 부호화 방법에 따라 생성된 비트스트림이 저장되어 있는 컴퓨터로 판독 가능한 기록 매체에 있어서, 상기 영상 부호화 방법은,
    현재 블록의 템플릿, 후보 참조 블록, 및 상기 후보 참조 블록의 템플릿 중 적어도 하나에 기초하여, 상기 현재 블록 내 샘플들의 위치에 대응하는 제1 샘플값들을 획득하는 단계(S3310);
    상기 제1 샘플값들 및 상기 후보 참조 블록 내 샘플들의 제2 샘플값들에 기초하여 템플릿 코스트를 결정하는 단계(S3320); 및
    상기 템플릿 코스트에 기초하여, 상기 후보 참조 블록을 포함하는 복수의 후보 참조 블록들 중에서 참조 블록을 결정하는 단계(S3330);
    상기 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 획득하는 단계(S3340);를 포함하는, 방법.
PCT/KR2025/009548 2024-07-04 2025-07-03 템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법 Pending WO2026010409A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20240088526 2024-07-04
KR10-2024-0088526 2024-07-04
KR10-2024-0143372 2024-10-18
KR20240143372 2024-10-18
KR1020240177896A KR20260006425A (ko) 2024-07-04 2024-12-03 템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법
KR10-2024-0177896 2024-12-03

Publications (1)

Publication Number Publication Date
WO2026010409A1 true WO2026010409A1 (ko) 2026-01-08

Family

ID=98318807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/009548 Pending WO2026010409A1 (ko) 2024-07-04 2025-07-03 템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법

Country Status (1)

Country Link
WO (1) WO2026010409A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026863A (ko) * 2010-12-13 2020-03-11 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR20220065059A (ko) * 2019-09-27 2022-05-19 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 예측값의 확정 방법, 디코더 및 컴퓨터 저장 매체
KR20240043649A (ko) * 2022-09-27 2024-04-03 샤프 가부시키가이샤 화상 복호 장치 및 화상 부호화 장치
KR20240063957A (ko) * 2022-10-14 2024-05-10 텐센트 아메리카 엘엘씨 GPM(Geometric Partition Mode)에 대한 템플릿-매칭 기반 병합 인덱스 재순서화
KR20240090370A (ko) * 2022-10-14 2024-06-21 텐센트 아메리카 엘엘씨 템플릿 매칭 기반 파티셔닝 패턴 도출

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200026863A (ko) * 2010-12-13 2020-03-11 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR20220065059A (ko) * 2019-09-27 2022-05-19 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 예측값의 확정 방법, 디코더 및 컴퓨터 저장 매체
KR20240043649A (ko) * 2022-09-27 2024-04-03 샤프 가부시키가이샤 화상 복호 장치 및 화상 부호화 장치
KR20240063957A (ko) * 2022-10-14 2024-05-10 텐센트 아메리카 엘엘씨 GPM(Geometric Partition Mode)에 대한 템플릿-매칭 기반 병합 인덱스 재순서화
KR20240090370A (ko) * 2022-10-14 2024-06-21 텐센트 아메리카 엘엘씨 템플릿 매칭 기반 파티셔닝 패턴 도출

Similar Documents

Publication Publication Date Title
WO2020060158A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2020076097A1 (ko) 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2020139059A1 (ko) 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치
WO2019135648A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019054736A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019059575A2 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2021086153A1 (ko) 어파인 모델에 따른 인터 예측을 수행하는 비디오 복호화 방법 및 그 장치, 비디오 부호화 방법 및 그 장치
WO2017176092A1 (ko) 움직임 예측 정보를 유도하는 방법 및 장치
WO2020005046A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2020256468A1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
WO2017171438A1 (ko) 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
WO2020263067A1 (ko) 부호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 부호화 방법 및 그 장치, 복호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 복호화 방법 및 그 장치
WO2020022853A1 (ko) 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치
WO2019054591A1 (ko) 기본 움직임 벡터를 이용하여 움직임 벡터를 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
WO2021002673A1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
WO2026010409A1 (ko) 템플릿 코스트를 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 코스트를 이용하여 영상을 복호화하는 장치, 및 방법
WO2025258920A1 (ko) 인트라 예측을 이용하여 영상을 부호화하는 장치 및 방법, 인트라 예측을 이용하여 영상을 복호화하는 장치 및 방법
WO2025058205A1 (ko) 적응적 루프 필터링을 위한 영상 복호화 방법, 영상 복호화 장치, 영상 부호화 방법, 및 영상 부호화 장치
WO2024248357A1 (ko) 참조 블록을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법
WO2021054776A1 (ko) 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
WO2024248319A2 (ko) 시간적 참조 샘플 및 공간적 참조 샘플을 이용한 영상의 부호화 방법, 부호화 장치, 복호화 방법 및 복호화 장치
WO2024253316A1 (ko) 참조 블록을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법
WO2020242229A1 (ko) 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2025211652A1 (ko) 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법
WO2026089493A1 (ko) 인터 예측을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25833653

Country of ref document: EP

Kind code of ref document: A1