WO2025211652A1 - 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법 - Google Patents

템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법

Info

Publication number
WO2025211652A1
WO2025211652A1 PCT/KR2025/004022 KR2025004022W WO2025211652A1 WO 2025211652 A1 WO2025211652 A1 WO 2025211652A1 KR 2025004022 W KR2025004022 W KR 2025004022W WO 2025211652 A1 WO2025211652 A1 WO 2025211652A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
image
motion vector
current
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/004022
Other languages
English (en)
French (fr)
Inventor
박민수
김경아
김양우
최광표
최기용
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240166602A external-priority patent/KR20250146609A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2025211652A1 publication Critical patent/WO2025211652A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present disclosure relates to the field of video encoding and decoding, and more particularly, to a device and method for encoding or decoding a video by encoding or decoding a current block using template matching.
  • Inter prediction is a technique for compressing images by removing temporal redundancy between images.
  • Inter prediction uses a reference image to predict blocks in the current image.
  • the reference block most similar to the current block can be searched within a predetermined search range within the reference image.
  • the current block is predicted based on the reference block, and the predicted block generated as a result of the prediction is subtracted from the current block to generate a residual block.
  • Codecs such as H.264 AVC (Advanced Video Coding) and HEVC (High Efficiency Video Coding) use the motion vectors of previously encoded blocks adjacent to the current block or blocks included in a previously encoded image as motion vector predictors of the current block to predict the motion vector of the current block.
  • the residual block generated through inter prediction undergoes transformation and quantization and is then passed to the decoder.
  • the decoder dequantizes and inversely transforms the residual block, and combines the predicted block of the current block with the residual block to reconstruct the current block.
  • the decoder can filter the reconstructed current block to remove artifacts within it.
  • a method and device for encoding an image according to one embodiment, and a method and device for decoding an image have as their object the reduction of the bit rate of a bitstream.
  • a video decoding method may include a step of determining a motion vector of a current block from a motion vector candidate list for a current block included in a current video.
  • the video decoding method may include a step of determining a first reference block in a first reference video using the motion vector of the current block.
  • the video decoding method may determine a second reference block in a second reference video by performing template matching with the current block in a second reference video using the motion vector of the first reference block.
  • the second reference video may be a different video from the first reference video.
  • the video decoding method may include a step of reconstructing the current block using the second reference block.
  • an image decoding device including at least one memory storing at least one instruction and at least one processor operating according to the at least one instruction.
  • the at least one processor may determine a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the at least one processor may determine a first reference block in a first reference image using the motion vector of the current block.
  • the at least one processor may determine a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the at least one processor may reconstruct the current block using the second reference block.
  • a video encoding method may be provided.
  • the video encoding method may include a step of determining a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the video encoding method may include a step of determining a first reference block in a first reference image using the motion vector of the current block.
  • the video encoding method may include a step of determining a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the video encoding method may include a step of encoding a current block using the reference block.
  • a computer-readable recording medium storing a bitstream generated by a method for encoding an image.
  • the bitstream may include motion information for determining a motion vector from a motion vector candidate list for a current block included in a current image.
  • the motion vector may be used to determine a second reference block in a second reference image by performing template matching in a second reference image different from a first reference image including a block pointed to by the motion vector.
  • the second reference image may be determined using a motion vector of a predetermined block in the first reference image.
  • the second reference block may be used to reconstruct the current block.
  • FIG. 1 is a block diagram of an image decoding device according to one embodiment.
  • FIG. 2 is a block diagram of an image encoding device according to one embodiment.
  • FIG. 3 illustrates a process of dividing a current encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 4 illustrates a process of dividing a non-square coding unit to determine at least one coding unit according to one embodiment.
  • FIG. 5 illustrates a process of dividing an encoding unit based on at least one of block shape information and segmentation shape mode information according to one embodiment.
  • FIG. 6 illustrates a method for determining a predetermined coding unit among an odd number of coding units according to one embodiment.
  • FIG. 7 illustrates the order in which multiple encoding units are processed when a current encoding unit is divided to determine multiple encoding units according to one embodiment.
  • FIG. 8 illustrates a process for determining that a current encoding unit is split into an odd number of encoding units when encoding units cannot be processed in a predetermined order according to one embodiment.
  • FIG. 9 illustrates a process of dividing a first encoding unit to determine at least one encoding unit according to one embodiment.
  • FIG. 10 illustrates that, according to one embodiment, the shapes into which a first encoding unit can be divided are limited when a second encoding unit of a non-square shape determined by splitting the first encoding unit satisfies a predetermined condition.
  • FIG. 11 illustrates a process of splitting a square-shaped encoding unit when the split shape mode information cannot represent splitting into four square-shaped encoding units according to one embodiment.
  • FIG. 12 illustrates that, according to one embodiment, the processing order between multiple encoding units may vary depending on the process of splitting the encoding units.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively split to determine a plurality of encoding units according to one embodiment.
  • FIG. 16 illustrates encoding units that can be determined for each picture when the combination of forms into which encoding units can be divided is different for each picture according to one embodiment.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation form mode information expressed in binary code according to one embodiment.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information expressed in binary code according to one embodiment.
  • FIG. 19 is a block diagram of an image encoding and decoding system that performs loop filtering according to one embodiment.
  • FIG. 22 is a diagram for explaining a template of a template matching prediction mode according to one embodiment.
  • FIG. 23 is a diagram for explaining an operation of determining a reference block based on template matching according to one embodiment.
  • FIG. 25 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • FIG. 26 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • Figure 28 is a flowchart of an image decoding method according to one embodiment.
  • Fig. 29 is a block diagram illustrating a configuration of an image encoding device according to one embodiment.
  • the expression “at least one of a, b or c” may refer to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “all of a, b and c”, or variations thereof.
  • a component when referred to as being “connected” or “connected” to another component, the component may be directly connected or connected to the other component, but unless there is a specific description to the contrary, the component may also be connected or connected via another component in between.
  • components expressed as “units”, “modules”, etc. may be two or more components combined into a single component, or a single component may be divided into two or more more detailed components.
  • each component described below may additionally perform some or all of the functions performed by other components in addition to its own main function, and some of the main functions performed by each component may be exclusively performed by other components.
  • 'image' may refer to a picture, a still image, a frame, a moving image composed of a plurality of consecutive still images, or a video.
  • sample may refer to data assigned to a sampling location in an image and thus to be processed.
  • a pixel within a frame in a spatial domain may correspond to a sample.
  • a unit containing multiple samples may be defined as a block.
  • the video decoding device (100) may include a bitstream acquisition unit (110) and a decoding unit (120).
  • the bitstream acquisition unit (110) and the decoding unit (120) may include at least one processor.
  • the bitstream acquisition unit (110) and the decoding unit (120) may include a memory that stores commands to be executed by at least one processor.
  • the bitstream acquisition unit (110) can receive a bitstream.
  • the bitstream includes information obtained by encoding an image by an image encoding device (200) described below.
  • the bitstream can be transmitted from the image encoding device (200).
  • the image encoding device (200) and the image decoding device (100) can be connected by wire or wirelessly, and the bitstream acquisition unit (110) can receive the bitstream by wire or wirelessly.
  • the bitstream acquisition unit (110) can receive the bitstream from a storage medium such as an optical medium, a hard disk, etc.
  • the decoding unit (120) can restore the image based on information obtained from the received bitstream.
  • the decoding unit (120) can obtain syntax elements for restoring the image from the bitstream.
  • the decoding unit (120) can restore the image based on the syntax elements.
  • the image decoding device (100) may perform an operation of obtaining a binstring corresponding to a splitting shape mode of an encoding unit from a bitstream. In addition, the image decoding device (100) may perform an operation of determining a splitting rule of the encoding unit. In addition, the image decoding device (100) may perform an operation of splitting the encoding unit into a plurality of encoding units based on at least one of the binstring corresponding to the splitting shape mode and the splitting rule. In order to determine the splitting rule, the image decoding device (100) may determine a first allowable range of the size of the encoding unit according to a ratio of the width and height of the encoding unit. In order to determine the splitting rule, the image decoding device (100) may determine a second allowable range of the size of the encoding unit according to the splitting shape mode of the encoding unit.
  • a picture can be divided into one or more slices or one or more tiles.
  • a slice or a tile can be a sequence of one or more maximum coding tree units (CTUs).
  • CTUs maximum coding tree units
  • a slice may include one or more tiles, and a slice may include one or more maximum coding units.
  • a slice including one or more tiles can be determined within a picture.
  • the maximum coding block (Coding Tree Block; CTB) is a concept that contrasts with the maximum coding unit (CTU).
  • CTB is an NxN block containing NxN samples (N is an integer). Each color component can be divided into one or more CTBs.
  • a single maximum coding block can be divided into MxN coding blocks containing MxN samples (M, N are integers).
  • a coding unit is a unit that includes a coding block for a luma sample and two coding blocks for corresponding chroma samples, and syntax structures used to encode the luma sample and the chroma samples.
  • a coding unit is a unit that includes a coding block for a monochrome sample and syntax structures used to encode the monochrome samples.
  • a coding unit is a unit that includes syntax structures used to encode the picture and samples of the picture.
  • the maximum coding block and the maximum coding unit are distinct concepts, and the coding block and the coding unit are distinct concepts. That is, the (maximum) coding unit refers to a data structure including a (maximum) coding block including the corresponding sample and a syntax structure corresponding to it.
  • the (maximum) coding unit or the (maximum) coding block refers to a block of a predetermined size including a predetermined number of samples, the following specification will refer to the maximum coding block and the maximum coding unit, or the coding block and the coding unit, without distinction unless there are special circumstances.
  • An image can be divided into Coding Tree Units (CTUs).
  • the size of the CTUs can be determined based on information obtained from the bitstream.
  • the shape of the CTUs can be a square of equal size, but is not limited thereto.
  • information about the maximum size of a luma coding block can be obtained from the bitstream.
  • the maximum size of the luma coding block indicated by the information about the maximum size of the luma coding block can be one of 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, and 256x256.
  • information about the maximum size of a luma coding block capable of being split into two and the luma block size difference can be obtained from the bitstream.
  • the information about the luma block size difference can indicate the size difference between a luma maximum coding unit and a maximum luma coding block capable of being split into two. Therefore, by combining the information about the maximum size of a luma coding block capable of being split into two obtained from the bitstream and the information about the luma block size difference, the size of the luma maximum coding unit can be determined. Using the size of the luma maximum coding unit, the size of the chroma maximum coding unit can also be determined.
  • the size of the chroma block can be half the size of the luma block, and similarly, the size of the chroma maximum coding unit can be half the size of the luma maximum coding unit.
  • information indicating whether a quad split is present may indicate whether the current encoding unit is to be quad split (QUAD_SPLIT) or not to be quad split.
  • the information indicating whether it is multi-split may indicate whether the current encoding unit will not be split any further (NO_SPLIT) or whether it will be binary/ternary split.
  • the split direction information indicates that the current encoding unit is split in either the horizontal or vertical direction.
  • the split type information indicates that the current encoding unit is split into binary split or ternary split.
  • the split mode of the current encoding unit can be determined.
  • the split mode when the current encoding unit is split into binaries in the horizontal direction can be determined as binary horizontal split (SPLIT_BT_HOR), the split mode when the current encoding unit is split into ternary horizontal split (SPLIT_TT_HOR), the split mode when the current encoding unit is split into binaries in the vertical direction can be determined as binary vertical split (SPLIT_BT_VER), and the split mode when the current encoding unit is split into ternary vertical split (SPLIT_TT_VER).
  • the coding unit may be smaller than or equal to the maximum coding unit.
  • the maximum coding unit is also a coding unit with the maximum size, so it is a coding unit. If the split shape mode information for the maximum coding unit indicates that it is not split, the coding unit determined from the maximum coding unit has the same size as the maximum coding unit. If the split shape mode information for the maximum coding unit indicates that it is split, the maximum coding unit may be split into coding units. In addition, if the split shape mode information for the coding unit indicates splitting, the coding units may be split into coding units of smaller sizes. However, the splitting of the image is not limited thereto, and the maximum coding unit and the coding units may not be distinguished. The splitting of the coding unit is described in more detail with reference to FIGS. 3 to 16.
  • one or more prediction blocks for prediction may be determined from the coding unit.
  • the prediction blocks may be equal to or smaller than the coding unit.
  • one or more transformation blocks for transformation may be determined from the coding unit.
  • the transformation blocks may be equal to or smaller than the coding unit.
  • the shape and size of the transformation block and the prediction block may be unrelated.
  • prediction may be performed using the encoding unit as a prediction block. Transformation may also be performed using the encoding unit as a transform block.
  • FIG. 3 illustrates a process in which an image decoding device (100) divides a current encoding unit to determine at least one encoding unit according to one embodiment.
  • the image decoding device (100) may determine the block shape information of the encoding unit to be non-square.
  • the image decoding device (100) may determine the ratio of the width and height among the block shape information of the encoding unit to be at least one of 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, and 32:1.
  • the image decoding device (100) can obtain the segmentation shape mode information from the bitstream.
  • the present invention is not limited thereto, and the image decoding device (100) and the image encoding device (200) can determine the pre-agreed segmentation shape mode information based on the block shape information.
  • the image decoding device (100) can determine the pre-agreed segmentation shape mode information for the maximum coding unit or the minimum coding unit. For example, the image decoding device (100) can determine the segmentation shape mode information for the maximum coding unit as quad split.
  • the image decoding device (100) when the split shape mode information indicates that the coding unit is split into an odd number of blocks, the image decoding device (100) can determine an odd number of coding units included in the current coding unit (400 or 450), and further, the image decoding device (100) can place a predetermined restriction on at least one coding unit among the odd number of coding units generated by splitting. Referring to FIG.
  • the image decoding device (100) can perform a decoding process for a coding unit (430b, 480b) located in the center among three coding units (430a, 430b, 430c, 480a, 480b, 480c) generated by splitting the current coding unit (400 or 450) differently from the decoding process for other coding units (430a, 430c, 480a, 480c).
  • the image decoding device (100) can restrict the encoding unit (430b, 480b) located in the center from being split any further, unlike other encoding units (430a, 430c, 480a, 480c), or can restrict it to be split only a predetermined number of times.
  • the second coding unit when the first coding unit is split, the second coding unit may be determined, and when the second coding unit is split, the third coding unit may be determined.
  • the relationship between the first coding unit, the second coding unit, and the third coding unit used may be understood to follow the above-described characteristics.
  • the image decoding device (100) may determine to split or not split the determined second encoding unit (510) into encoding units based on the split shape mode information. Referring to FIG. 5, the image decoding device (100) may split the first encoding unit (500) based on the split shape mode information to split the determined second encoding unit (510) of a non-square shape into at least one third encoding unit (520a, 520b, 520c, 520d, etc.) or may not split the second encoding unit (510).
  • the non-square fourth coding unit (530b or 530d) which is one of the plurality of fourth coding units (530a, 530b, 530c, 530d), may be split again into a plurality of coding units.
  • the fourth coding unit (530b or 530d) having a non-square shape may be further divided into an odd number of coding units. Methods that can be used for recursive division of coding units will be described later through various embodiments.
  • the above limitations on the coding unit (520c) located in the middle are merely simple embodiments and should not be interpreted as being limited to the above-described embodiments, but should be interpreted as including various limitations in which the coding unit (520c) located in the middle can be decoded differently from the other coding units (520b, 520d).
  • FIG. 6 illustrates a method for an image decoding device (100) to determine a predetermined encoding unit among an odd number of encoding units according to one embodiment.
  • the split shape mode information of the current encoding unit (600, 650) can be obtained from a sample at a predetermined position among a plurality of samples included in the current encoding unit (600, 650) (for example, a sample (640, 690) located in the center).
  • the predetermined position within the current encoding unit (600) from which at least one of the split shape mode information can be obtained should not be interpreted as being limited to the center position illustrated in FIG. 6, but should be interpreted as including various positions (for example, top, bottom, left, right, upper left, lower left, upper right, or lower right, etc.) that can be included within the current encoding unit (600).
  • the image decoding device (100) can obtain the split shape mode information obtained from the predetermined position and determine whether or not to split the current encoding unit into encoding units of various shapes and sizes.
  • information indicating the position of the sample (630a) at the upper left of the upper encoding unit (620a) may represent (xa, ya) coordinates
  • information indicating the position of the sample (530b) at the upper left of the middle encoding unit (620b) may represent (xb, yb) coordinates
  • information indicating the position of the sample (630c) at the upper left of the lower encoding unit (620c) may represent (xc, yc) coordinates.
  • the image decoding device (100) may determine the middle encoding unit (620b) using the coordinates of the upper left samples (630a, 630b, 630c) included in the encoding units (620a, 620b, 620c), respectively.
  • the location of the sample considered for determining the location of the encoding unit should not be interpreted as being limited to the upper left corner described above, and it can be interpreted that information on the location of any sample included in the encoding unit can be used.
  • the image decoding device (100) may determine an encoding unit at a predetermined position in the vertical direction. That is, the image decoding device (100) may determine one of the encoding units whose positions vary in the vertical direction and place a restriction on the corresponding encoding unit.
  • predetermined information for identifying a coding unit at a predetermined position may be obtained from a predetermined sample included in the coding unit to be determined.
  • the image decoding device (100) may use split shape mode information obtained from a sample at a predetermined position within the current coding unit (600) (e.g., a sample located at the center of the current coding unit (600)) to determine a coding unit at a predetermined position among a plurality of coding units (620a, 620b, 620c) determined by splitting the current coding unit (600) (e.g., a coding unit located at the center of the coding units split into multiple units).
  • the image decoding device (100) can determine the sample at the predetermined position by considering the block shape of the current encoding unit (600), and the image decoding device (100) can determine an encoding unit (620b) that includes a sample from which predetermined information (e.g., division shape mode information) can be obtained among a plurality of encoding units (620a, 620b, 620c) determined by dividing the current encoding unit (600), and can set a predetermined restriction.
  • predetermined information e.g., division shape mode information
  • the position of a sample from which predetermined information can be obtained may be determined according to the shape of the current encoding unit (600).
  • the block shape information may determine whether the shape of the current encoding unit is square or non-square, and may determine the position of a sample from which predetermined information can be obtained according to the shape.
  • the image decoding apparatus (100) may determine a sample located on a boundary that divides at least one of the width and height of the current encoding unit in half as a sample from which predetermined information can be obtained, using at least one of information about the width and information about the height of the current encoding unit.
  • the image decoding device (100) may use the split shape mode information to determine the encoding unit at a predetermined position among the plurality of encoding units.
  • the image decoding device (100) may obtain the split shape mode information from a sample at a predetermined position included in the encoding unit, and the image decoding device (100) may divide the plurality of encoding units generated by splitting the current encoding unit using the split shape mode information obtained from the sample at a predetermined position included in each of the plurality of encoding units.
  • the encoding unit may be recursively divided using the split shape mode information obtained from the sample at a predetermined position included in each of the encoding units. Since the recursive division process of the encoding unit has been described above with reference to FIG. 5, a detailed description thereof will be omitted.
  • the image decoding device (100) can divide a current encoding unit to determine at least one encoding unit, and can determine the order in which the at least one encoding unit is decoded according to a predetermined block (e.g., the current encoding unit).
  • FIG. 7 illustrates the order in which multiple encoding units are processed when an image decoding device (100) divides a current encoding unit to determine multiple encoding units according to one embodiment.
  • the image decoding device (100) may determine second encoding units (710a, 710b) by vertically splitting the first encoding unit (700) according to the splitting shape mode information, determine second encoding units (730a, 730b) by horizontally splitting the first encoding unit (700), or determine second encoding units (750a, 750b, 750c, 750d) by vertically and horizontally splitting the first encoding unit (700).
  • the image decoding device (100) can determine the order in which the second encoding units (710a, 710b) determined by vertically dividing the first encoding unit (700) are processed in the horizontal direction (710c).
  • the image decoding device (100) can determine the order in which the second encoding units (730a, 730b) determined by horizontally dividing the first encoding unit (700) are processed in the vertical direction (730c).
  • the image decoding device (100) can determine the second encoding units (750a, 750b, 750c, 750d) determined by dividing the first encoding unit (700) in the vertical and horizontal directions according to a predetermined order (e.g., raster scan order (750e) or z scan order (z scan order)) in which encoding units located in one row are processed and then encoding units located in the next row are processed.
  • a predetermined order e.g., raster scan order (750e) or z scan order (z scan order)
  • the image decoding device (100) can recursively split the encoding units.
  • the image decoding device (100) can split the first encoding unit (700) to determine a plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d), and can recursively split each of the determined plurality of encoding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d).
  • a method for splitting a plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may be a method corresponding to a method for splitting the first coding unit (700). Accordingly, the plurality of coding units (710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) may each be independently split into a plurality of coding units. Referring to FIG. 7, the image decoding device (100) may split the first coding unit (700) in the vertical direction to determine the second coding units (710a, 710b), and further may determine to independently split or not split each of the second coding units (710a, 710b).
  • the image decoding device (100) may horizontally divide the second encoding unit (710a) on the left into third encoding units (720a, 720b), and may not divide the second encoding unit (710b) on the right.
  • the processing order of the coding units may be determined based on the splitting process of the coding units.
  • the processing order of the split coding units may be determined based on the processing order of the coding units immediately before splitting.
  • the image decoding device (100) may determine the processing order of the third coding units (720a, 720b) determined by splitting the second coding unit (710a) on the left, independently from the second coding unit (710b) on the right. Since the second coding unit (710a) on the left is split horizontally and the third coding units (720a, 720b) are determined, the third coding units (720a, 720b) may be processed in the vertical direction (720c).
  • the right encoding unit (710b) can be processed after the third encoding units (720a, 720b) included in the second encoding unit (710a) on the left are processed in the vertical direction (720c). Since the above-described content is intended to explain the process in which the processing order of the encoding units is determined according to the encoding units before splitting, it should not be interpreted as being limited to the above-described embodiment, but should be interpreted as being used in various ways in which encoding units that are split and determined in various forms can be independently processed according to a predetermined order.
  • FIG. 8 illustrates a process for determining that a current encoding unit is divided into an odd number of encoding units when the encoding units cannot be processed in a predetermined order, according to one embodiment of the present invention.
  • the image decoding device (100) can determine a plurality of third encoding units (820a, 820b) by horizontally dividing the left encoding unit (810a) among the second encoding units, and can divide the right encoding unit (810b) into an odd number of third encoding units (820c, 820d, 820e).
  • the image decoding device (100) can determine whether there is an odd number of split encoding units by determining whether the third encoding units (820a, 820b, 820c, 820d, 820e) can be processed in a predetermined order. Referring to FIG. 8, the image decoding device (100) can determine the third encoding units (820a, 820b, 820c, 820d, 820e) by recursively splitting the first encoding unit (800).
  • the image decoding device (100) can determine whether the first encoding unit (800), the second encoding unit (810a, 810b), or the third encoding unit (820a, 820b, 820c, 820d, 820e) is divided into an odd number of encoding units based on at least one of the block shape information and the split shape mode information. For example, the encoding unit located on the right side of the second encoding unit (810a, 810b) can be divided into an odd number of third encoding units (820c, 820d, 820e).
  • the order in which the plurality of encoding units included in the first encoding unit (800) are processed can be a predetermined order (e.g., z-scan order (830)), and the image decoding device (100) can determine whether the third encoding unit (820c, 820d, 820e) determined by dividing the second encoding unit (810b) on the right into odd numbers satisfies the condition that it can be processed according to the predetermined order.
  • a predetermined order e.g., z-scan order (830)
  • the image decoding device (100) may determine whether the third encoding units (820a, 820b, 820c, 820d, 820e) included in the first encoding unit (800) satisfy a condition that they can be processed in a predetermined order, and the condition is related to whether at least one of the width and height of the second encoding unit (810a, 810b) is split in half according to the boundary of the third encoding unit (820a, 820b, 820c, 820d, 820e).
  • the third encoding unit (820a, 820b) determined by splitting the height of the left second encoding unit (810a) of a non-square shape in half may satisfy the condition.
  • the image decoding device (100) may determine to split a first coding unit (1000) having a square shape into second coding units (1010a, 1010b, 1020a, 1020b) having a non-square shape based on the split shape mode information acquired through the bitstream acquisition unit (110).
  • the second coding units (1010a, 1010b, 1020a, 1020b) may be split independently. Accordingly, the image decoding device (100) may determine to split or not split into a plurality of coding units based on the split shape mode information related to each of the second coding units (1010a, 1010b, 1020a, 1020b).
  • the image decoding device (100) may determine third coding units (1022a, 1022b, 1024a, 1024b) by vertically dividing a second coding unit (1020a or 1020b) having a non-square shape determined by dividing a first coding unit (1000) in a horizontal direction.
  • the image decoding device (100) vertically divides one of the second coding units (e.g., the upper second coding unit (1020a))
  • the other second coding units e.g., the lower coding unit (1020b)
  • the image decoding device (100) may split the first encoding unit (1200) based on the split shape mode information. If the block shape is square and the split shape mode information indicates that the first encoding unit (1200) is split in at least one of the horizontal direction and the vertical direction, the image decoding device (100) may split the first encoding unit (1200) to determine second encoding units (e.g., 1210a, 1210b, 1220a, 1220b, etc.). Referring to FIG.
  • the second encoding units (1210a, 1210b, 1220a, 1220b) having a non-square shape determined by splitting the first encoding unit (1200) only in the horizontal direction or the vertical direction may be independently split based on the split shape mode information for each.
  • the image decoding device (100) can determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing second encoding units (1210a, 1210b) generated by vertically dividing the first encoding unit (1200), and can determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing second encoding units (1220a, 1220b) generated by horizontally dividing the first encoding unit (1200). Since the process of dividing the second encoding units (1210a, 1210b, 1220a, 1220b) has been described above with reference to FIG. 11, a detailed description thereof will be omitted.
  • the image decoding device (100) can process encoding units according to a predetermined order. Since the characteristics of processing encoding units according to a predetermined order have been described above with reference to FIG. 7, a detailed description thereof will be omitted. Referring to FIG. 12, the image decoding device (100) can divide a first encoding unit (1200) having a square shape and determine four third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the image decoding device (100) can determine the processing order of the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) depending on the form in which the first encoding unit (1200) is divided.
  • the image decoding device (100) may determine third encoding units (1216a, 1216b, 1216c, 1216d) by horizontally dividing the second encoding units (1210a, 1210b) generated by vertically dividing them, and the image decoding device (100) may process the third encoding units (1216a, 1216b, 1216c, 1216d) according to an order (1217) of first processing the third encoding units (1216a, 1216c) included in the left second encoding unit (1210a) in the vertical direction and then processing the third encoding units (1216b, 1216d) included in the right second encoding unit (1210b) in the vertical direction.
  • the image decoding device (100) may determine third encoding units (1226a, 1226b, 1226c, 1226d) by vertically dividing the second encoding units (1220a, 1220b) generated by being divided in the horizontal direction, and the image decoding device (100) may process the third encoding units (1226a, 1226b, 1226c, 1226d) according to an order (1227) of first processing the third encoding units (1226a, 1226b) included in the upper second encoding unit (1220a) in the horizontal direction and then processing the third encoding units (1226c, 1226d) included in the lower second encoding unit (1220b) in the horizontal direction.
  • the second encoding units (1210a, 1210b, 1220a, 1220b) can be divided into third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) having a square shape.
  • the second encoding units (1210a, 1210b) determined by being split in the vertical direction and the second encoding units (1220a, 1220b) determined by being split in the horizontal direction are split into different shapes, but according to the third encoding units (1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d) determined later, the first encoding unit (1200) is ultimately split into encoding units of the same shape.
  • the image decoding device (100) determines encoding units of the same shape as a result by recursively splitting the encoding units through different processes based on the split shape mode information, it can process a plurality of encoding units determined in the same shape in different orders.
  • FIG. 13 illustrates a process in which the depth of an encoding unit is determined as the shape and size of the encoding unit change when the encoding unit is recursively divided to determine a plurality of encoding units according to one embodiment.
  • the image decoding device (100) may determine the depth of an encoding unit according to a predetermined criterion.
  • the predetermined criterion may be the length of a long side of the encoding unit. If the length of the long side of the current encoding unit is split to be 2n (n>0) times the length of the long side of the encoding unit before splitting, the image decoding device (100) may determine that the depth of the current encoding unit is increased by n compared to the depth of the encoding unit before splitting.
  • an encoding unit with an increased depth is expressed as an encoding unit of a lower depth.
  • the image decoding device (100) may divide a first coding unit (1300) having a square shape to determine a second coding unit (1302), a third coding unit (1304), etc. of a lower depth. If the size of the first coding unit (1300) having a square shape is 2Nx2N, the second coding unit (1302) determined by dividing the width and height of the first coding unit (1300) by half may have a size of NxN.
  • the third coding unit (1304) determined by dividing the width and height of the second coding unit (1302) by half may have a size of N/2xN/2.
  • the width and height of the third encoding unit (1304) correspond to 1/4 of the width and height of the first encoding unit (1300).
  • the depth of the second encoding unit (1302), which is 1/2 of the width and height of the first encoding unit (1300) may be D+1
  • the depth of the third encoding unit (1304), which is 1/4 of the width and height of the first encoding unit (1300) may be D+2.
  • the image decoding device (100) may split a first coding unit (1310 or 1320) having a non-square shape to determine a second coding unit (1312 or 1322), a third coding unit (1314 or 1324) of a lower depth, etc.
  • the image decoding device (100) can determine a second encoding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and height of the first encoding unit (1310) having a size of Nx2N. That is, the image decoding device (100) can split the first encoding unit (1310) in the horizontal direction to determine a second encoding unit (1302) having a size of NxN or a second encoding unit (1322) having a size of NxN/2, and can also split the first encoding unit (1310) in the horizontal direction and the vertical direction to determine a second encoding unit (1312) having a size of N/2xN.
  • a second encoding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a second coding unit (e.g., 1302, 1312, 1322, etc.) by splitting at least one of the width and the height of the first coding unit (1320) having a size of 2NxN. That is, the image decoding device (100) may split the first coding unit (1320) in the vertical direction to determine a second coding unit (1302) having a size of NxN or a second coding unit (1312) having a size of N/2xN, and may also split the first coding unit (1320) in the horizontal direction and the vertical direction to determine a second coding unit (1322) having a size of NxN/2.
  • a second coding unit e.g., 1302, 1312, 1322, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1302) having a size of NxN. That is, the image decoding device (100) may split the second encoding unit (1302) in the vertical direction and the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2, a third encoding unit (1314) having a size of N/4xN/2, or a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1312) having a size of N/2xN. That is, the image decoding device (100) may split the second encoding unit (1312) in the horizontal direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1324) having a size of N/2xN/4, or split the second encoding unit (1312) in the vertical direction and the horizontal direction to determine a third encoding unit (1314) having a size of N/4xN/2.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may determine a third encoding unit (e.g., 1304, 1314, 1324, etc.) by splitting at least one of the width and the height of the second encoding unit (1322) having a size of NxN/2. That is, the image decoding device (100) may split the second encoding unit (1322) in the vertical direction to determine a third encoding unit (1304) having a size of N/2xN/2 or a third encoding unit (1314) having a size of N/4xN/2, or split the second encoding unit (1322) in the vertical direction and the horizontal direction to determine a third encoding unit (1324) having a size of N/2xN/4.
  • a third encoding unit e.g., 1304, 1314, 1324, etc.
  • the image decoding device (100) may split a square-shaped encoding unit (e.g., 1300, 1302, 1304) in a horizontal direction or a vertical direction.
  • a first encoding unit (1300) having a size of 2Nx2N may be split in the vertical direction to determine a first encoding unit (1310) having a size of Nx2N, or may be split in the horizontal direction to determine a first encoding unit (1320) having a size of 2NxN.
  • the width and height of the third coding unit may be 1/4 times that of the first coding unit (1310 or 1320).
  • the depth of the first coding unit (1310 or 1320) is D
  • the depth of the second coding unit (1312 or 1322), which is 1/2 times the width and height of the first coding unit (1310 or 1320) may be D+1
  • the depth of the third coding unit (1314 or 1324), which is 1/4 times the width and height of the first coding unit (1310 or 1320) may be D+2.
  • the depth of the first coding unit (1400) and the second coding units (1402a, 1402b, 1404a, 1404b) having a non-square shape may be considered to be the same as D.
  • the image decoding device (100) may split a first encoding unit (1410) having a height greater than its width into a plurality of second encoding units (1412a, 1412b, 1414a, 1414b, 1414c) in a horizontal direction according to the splitting shape mode information.
  • the image decoding device (100) may split a first encoding unit (1420) having a width greater than its height into a plurality of second encoding units (1422a, 1422b, 1424a, 1424b, 1424c) in a vertical direction according to the splitting shape mode information.
  • the depth of the second coding unit (1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c) determined based on the split shape mode information for the first coding unit (1410 or 1420) of a non-square shape may be determined based on the length of the long side.
  • the depth of the second encoding unit (1412a, 1412b) in the shape of a square is D+1, which is one depth lower than the depth D of the first encoding unit (1410) in the shape of a non-square.
  • the image decoding device (100) can split a non-square first encoding unit (1410) into an odd number of second encoding units (1414a, 1414b, 1414c) based on the split shape mode information.
  • the odd number of second encoding units (1414a, 1414b, 1414c) can include non-square second encoding units (1414a, 1414c) and square second encoding units (1414b).
  • the depth of the second encoding unit (1414a, 1414b, 1414c) may be a depth of D+1, which is one depth lower than D, which is the depth of the first encoding unit (1410).
  • the image decoding device (100) may determine the depth of the encoding units associated with the first encoding unit (1420) of a non-square shape, in which the width is longer than the height, in a manner corresponding to the above method of determining the depth of the encoding units associated with the first encoding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units divided into an odd number are not of the same size. Referring to FIG. 14, among the coding units (1414a, 1414b, 1414c) divided into an odd number, the coding unit (1414b) located in the middle may have the same width as the other coding units (1414a, 1414c) but may have a height that is twice the height of the coding units (1414a, 1414c) that are different in height.
  • the coding unit (1414b) located in the middle may include two of the other coding units (1414a, 1414c). Accordingly, if the index (PID) of the encoding unit (1414b) located in the middle according to the scanning order is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2. In other words, there may be a discontinuity in the index value. According to one embodiment, the image decoding device (100) may determine whether the encoding units divided into an odd number are not of the same size based on the presence or absence of discontinuity in the index for distinguishing between the divided encoding units.
  • the image decoding device (100) may determine whether the image is divided into a specific split shape based on the value of an index for distinguishing a plurality of coding units that are divided from the current coding unit.
  • the image decoding device (100) may divide a first coding unit (1410) having a rectangular shape in which the height is longer than the width, to determine an even number of coding units (1412a, 1412b) or an odd number of coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may use an index (PID) indicating each coding unit to distinguish each of the plurality of coding units.
  • the PID may be obtained from a sample (for example, an upper left sample) at a predetermined position of each coding unit.
  • the image decoding device (100) may determine an coding unit at a predetermined position among the coding units that are divided and determined using an index for distinguishing the coding units.
  • the image decoding device (100) may divide the first coding unit (1410) into three coding units (1414a, 1414b, 1414c). The image decoding device (100) may assign an index to each of the three coding units (1414a, 1414b, 1414c).
  • the image decoding device (100) may compare the indexes for each coding unit to determine the middle coding unit among the coding units divided into an odd number of coding units.
  • the image decoding device (100) may determine a coding unit (1414b) having an index corresponding to a middle value among the indices of the coding units as a coding unit at a middle position among the coding units determined by splitting the first coding unit (1410).
  • the image decoding device (100) may determine the index based on a size ratio between the coding units when the coding units do not have the same size. Referring to FIG.
  • the coding unit (1414b) generated by splitting the first coding unit (1410) may have the same width as other coding units (1414a, 1414c) but may be twice the height of the coding units (1414a, 1414c) that are different in height.
  • the index (PID) of the encoding unit (1414b) located in the middle is 1, the index of the encoding unit (1414c) located in the next order may be 3, which is an increase of 2.
  • the image decoding device (100) may determine that the current encoding unit is divided into a plurality of encoding units including encoding units having different sizes from other encoding units.
  • the image decoding device (100) may divide the current encoding unit into a form in which an encoding unit at a predetermined position among the odd number of encoding units (for example, a central encoding unit) has a different size from the other encoding units. In this case, the image decoding device (100) may determine a central encoding unit having a different size by using the index (PID) for the encoding unit.
  • PID index
  • the above-described index, the size or position of the encoding unit at the predetermined position to be determined are specific for explaining one embodiment and should not be interpreted as being limited thereto, and should be interpreted as being able to use various indexes, positions and sizes of encoding units.
  • the image decoding device (100) may utilize a predetermined data unit from which recursive division of the encoding unit begins.
  • FIG. 15 illustrates that a plurality of coding units are determined according to a plurality of predetermined data units included in a picture according to one embodiment.
  • a predetermined data unit may be defined as a data unit from which a coding unit begins to be recursively split using split shape mode information. That is, it may correspond to a coding unit of the highest depth used in the process of determining multiple coding units for splitting the current picture.
  • this predetermined data unit will be referred to as a reference data unit hereinafter.
  • the reference data unit may exhibit a predetermined size and shape.
  • the reference data unit may include MxN samples, where M and N may be the same and may be integers expressed as powers of 2. That is, the reference data unit may exhibit a square or non-square shape, and may be subsequently divided into an integer number of coding units.
  • the video decoding device (100) can divide the current picture into a plurality of reference data units. According to one embodiment, the video decoding device (100) can divide the plurality of reference data units into which the current picture is divided using division type mode information for each reference data unit. This division process of the reference data units can correspond to a division process using a quad-tree structure.
  • the image decoding device (100) may determine in advance the minimum size that a reference data unit included in the current picture may have. Accordingly, the image decoding device (100) may determine reference data units of various sizes having a size greater than or equal to the minimum size, and may determine at least one encoding unit using segmentation mode information based on the determined reference data unit.
  • the image decoding device (100) may use a reference coding unit (1500) having a square shape, or may use a reference coding unit (1502) having a non-square shape.
  • the shape and size of the reference coding unit may be determined according to various data units (e.g., sequence, picture, slice, slice segment, tile, tile group, maximum coding unit, etc.) that may include at least one reference coding unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire at least one of information on the shape of the reference coding unit and information on the size of the reference coding unit from the bitstream for each of the various data units.
  • the process of determining at least one coding unit included in the square-shaped reference coding unit (1500) has been described above through the process of splitting the current coding unit (300) of FIG. 3, and the process of determining at least one coding unit included in the non-square-shaped reference coding unit (1502) has been described above through the process of splitting the current coding unit (400 or 450) of FIG. 4, so a detailed description thereof will be omitted.
  • the image decoding device (100) may use an index for identifying the size and shape of the reference coding unit to determine the size and shape of the reference coding unit according to some data units that are predetermined based on a predetermined condition. That is, the bitstream acquisition unit (110) may acquire only an index for identifying the size and shape of the reference coding unit for each slice, slice segment, tile, tile group, maximum coding unit, etc., among the various data units (e.g., sequences, pictures, slices, slice segments, tiles, tile groups, maximum coding units, etc.) that satisfy a predetermined condition (e.g., data units having a size smaller than a slice) from the bitstream.
  • a predetermined condition e.g., data units having a size smaller than a slice
  • the image decoding device (100) may determine the size and shape of the reference data unit for each data unit that satisfies the predetermined condition by using the index.
  • the efficiency of the bitstream may not be good. Therefore, instead of directly obtaining information about the shape of the reference coding unit and information about the size of the reference coding unit, only the index may be obtained and used. In this case, at least one of the size and shape of the reference coding unit corresponding to the index indicating the size and shape of the reference coding unit may be determined in advance.
  • the image decoding device (100) can determine at least one of the size and shape of the reference coding unit included in the data unit that serves as the basis for obtaining the index by selecting at least one of the sizes and shapes of the predetermined reference coding units according to the index.
  • the image decoding device (100) may use at least one reference coding unit included in one maximum coding unit (1510). That is, a maximum coding unit for dividing an image may include at least one reference coding unit, and a coding unit may be determined through a recursive splitting process of each reference coding unit. According to one embodiment, at least one of the width and the height of the maximum coding unit may correspond to an integer multiple of at least one of the width and the height of the reference coding unit. According to one embodiment, the size of the reference coding unit may be a size obtained by splitting the maximum coding unit n times according to a quad tree structure.
  • the image decoding device (100) may split the maximum coding unit n times according to the quad tree structure to determine the reference coding unit, and may split the reference coding unit based on at least one of block shape information and split shape mode information according to various embodiments.
  • the video decoding device (100) may obtain and use block shape information indicating the shape of the current encoding unit or split shape mode information indicating a method of splitting the current encoding unit from the bitstream.
  • the split shape mode information may be included in a bitstream related to various data units.
  • the video decoding device (100) may use split shape mode information included in a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) may obtain and use a syntax element corresponding to block shape information or split shape mode information from the bitstream for each maximum encoding unit and each reference encoding unit.
  • the video decoding device (100) can determine a segmentation rule of the video.
  • the segmentation rule may be predetermined between the video decoding device (100) and the video encoding device (200).
  • the video decoding device (100) can determine the segmentation rule of the video based on information obtained from a bitstream.
  • the video decoding device (100) can determine the segmentation rule based on information obtained from at least one of a sequence parameter set, a picture parameter set, a video parameter set, a slice header, a slice segment header, a tile header, and a tile group header.
  • the video decoding device (100) can determine the segmentation rule differently according to a frame, a slice, a tile, a temporal layer, a maximum coding unit, or an coding unit.
  • the image decoding device (100) can determine a segmentation rule based on the block shape of the encoding unit.
  • the block shape can include the size, shape, width and height ratio, and direction of the encoding unit.
  • the image encoding device (200) and the image decoding device (100) can determine in advance that the segmentation rule will be determined based on the block shape of the encoding unit.
  • the present invention is not limited thereto.
  • the image decoding device (100) can determine the segmentation rule based on information obtained from the bitstream received from the image encoding device (200).
  • the shape of the encoding unit may include a square and a non-square shape. If the width and height of the encoding unit are equal, the image decoding device (100) may determine the shape of the encoding unit as a square. In addition, if the width and height of the encoding unit are not equal, the image decoding device (100) may determine the shape of the encoding unit as a non-square shape.
  • the ratio of the width to the height of the coding unit may include 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1, or 1:32, etc.
  • the direction of the coding unit may include a horizontal direction and a vertical direction.
  • the horizontal direction may indicate a case where the length of the width of the coding unit is longer than the length of the height.
  • the vertical direction may indicate a case where the length of the width of the coding unit is shorter than the length of the height.
  • the image decoding device (100) can adaptively determine a splitting rule based on the size of the encoding unit.
  • the image decoding device (100) can determine a different allowable splitting mode based on the size of the encoding unit. For example, the image decoding device (100) can determine whether splitting is allowed based on the size of the encoding unit.
  • the image decoding device (100) can determine a splitting direction based on the size of the encoding unit.
  • the image decoding device (100) can determine an allowable splitting type based on the size of the encoding unit.
  • Determining the splitting rule based on the size of the encoding unit may be a splitting rule predetermined between the image encoding device (200) and the image decoding device (100).
  • the image decoding device (100) may determine the splitting rule based on information obtained from the bitstream.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position of the encoding unit.
  • the image decoding device (100) can adaptively determine a segmentation rule based on the position that the encoding unit occupies in the image.
  • the image decoding device (100) can determine a splitting rule so that encoding units generated through different splitting paths do not have the same block shape. However, this is not limited thereto, and encoding units generated through different splitting paths may have the same block shape. Encoding units generated through different splitting paths may have different decoding processing orders. Since the decoding processing order has been described together with FIG. 12, a detailed description thereof will be omitted.
  • FIG. 16 illustrates encoding units that can be determined for each picture when the combination of forms into which encoding units can be divided is different for each picture according to one embodiment.
  • the image decoding device (100) can determine a different combination of partitioning shapes into which a coding unit can be partitioned for each picture. For example, the image decoding device (100) can decode an image using a picture (1600) that can be partitioned into four coding units, a picture (1610) that can be partitioned into two or four coding units, and a picture (1620) that can be partitioned into two, three, or four coding units, among at least one picture included in the image.
  • the image decoding device (100) can only use partitioning shape information indicating that the picture (1600) is partitioned into four square coding units to partition the picture (1600) into a plurality of coding units.
  • the image decoding device (100) can only use partitioning shape information indicating that the picture (1610) is partitioned into two or four coding units to partition the picture.
  • the video decoding device (100) can only use the segmentation type information indicating that the picture (1620) is segmented into two, three, or four encoding units.
  • the above-described combination of segmentation types is merely an example for explaining the operation of the video decoding device (100), and therefore the above-described combination of segmentation types should not be interpreted as being limited to the above-described example, but should be interpreted as being capable of using various combinations of segmentation types for each predetermined data unit.
  • the bitstream acquisition unit (110) of the image decoding device (100) can acquire a bitstream including an index indicating a combination of segmentation type information for each predetermined data unit (e.g., a sequence, a picture, a slice, a slice segment, a tile, a tile group, etc.).
  • the bitstream acquisition unit (110) can acquire an index indicating a combination of segmentation type information from a sequence parameter set, a picture parameter set, a slice header, a tile header, or a tile group header.
  • the image decoding device (100) can determine a combination of segmentation types into which an encoding unit can be segmented for each predetermined data unit using the acquired index, and thus can use different combinations of segmentation types for each predetermined data unit.
  • FIG. 17 illustrates various forms of encoding units that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split an encoding unit into various shapes using block shape information and split shape mode information acquired through the bitstream acquisition unit (110).
  • the shapes of the encoding unit that can be split may correspond to various shapes including the shapes described through the above-described embodiments.
  • the image decoding device (100) can split a square-shaped encoding unit in at least one of the horizontal direction and the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction.
  • the image decoding device (100) when the image decoding device (100) can divide a square-shaped encoding unit into four square encoding units by horizontally and vertically splitting the encoding unit, there may be four types of splitting modes that the splitting mode information for the square encoding unit can indicate.
  • the splitting mode information may be expressed as a two-digit binary code, and a binary code may be assigned to each splitting mode.
  • the splitting mode information when the encoding unit is not split, the splitting mode information may be expressed as (00)b, when the encoding unit is split in the horizontal direction and the vertical direction, the splitting mode information may be expressed as (01)b, when the encoding unit is split in the horizontal direction, the splitting mode information may be expressed as (10)b, and when the encoding unit is split in the vertical direction, the splitting mode information may be expressed as (11)b.
  • the type of split shape that the split shape mode information can indicate may be determined depending on the number of coding units into which the coding unit is split.
  • the image decoding device (100) may split a non-square coding unit into up to three according to one embodiment.
  • the image decoding device (100) may split the coding unit into two coding units, in which case the split shape mode information may be expressed as (10)b.
  • the image decoding device (100) may split the coding unit into three coding units, in which case the split shape mode information may be expressed as (11)b.
  • the image decoding device (100) may determine not to split the coding unit, in which case the split shape mode information may be expressed as (0)b. That is, the image decoding device (100) can use variable length coding (VLC) rather than fixed length coding (FLC) to use a binary code representing segmentation mode information.
  • VLC variable length coding
  • FLC fixed length coding
  • the binary code of the partition shape mode information indicating that the coding unit is not split may be expressed as (0)b. If the binary code of the partition shape mode information indicating that the coding unit is not split is set to (00)b, all binary codes of the 2-bit partition shape mode information must be used even if there is no partition shape mode information set to (01)b. However, as illustrated in FIG. 17, if three partition shapes for a non-square coding unit are used, the image decoding device (100) can determine that the coding unit is not split even if it uses a 1-bit binary code (0)b as the partition shape mode information, and thus can efficiently use the bitstream. However, the partition shapes of the non-square coding unit indicated by the partition shape mode information should not be interpreted as being limited to only the three shapes illustrated in FIG. 17, but should be interpreted as various shapes including the above-described embodiments.
  • FIG. 18 illustrates another form of a coding unit that can be determined based on segmentation mode information that can be expressed in binary code according to one embodiment.
  • the image decoding device (100) can split a square-shaped encoding unit in the horizontal direction or the vertical direction based on the split shape mode information, and can split a non-square-shaped encoding unit in the horizontal direction or the vertical direction. That is, the split shape mode information can indicate that a square-shaped encoding unit is split in one direction.
  • the binary code of the split shape mode information indicating that a square-shaped encoding unit is not split can be expressed as (0)b. If the binary code of the split shape mode information indicating that the encoding unit is not split is set to (00)b, all binary codes of the 2-bit split shape mode information must be used even though there is no split shape mode information set to (01)b. However, as illustrated in FIG.
  • the image decoding device (100) can determine that the encoding unit is not divided even if it uses a 1-bit binary code (0)b as the division form mode information, and thus can efficiently use the bitstream.
  • the division forms of the square-shaped encoding unit indicated by the division form mode information should not be interpreted as being limited to only the three types illustrated in FIG. 18, but should be interpreted as various types including the embodiments described above.
  • block shape information or segmentation shape mode information may be expressed using binary code, and such information may be directly generated as a bitstream.
  • block shape information or segmentation shape mode information that may be expressed using binary code may not be directly generated as a bitstream, but may instead be used as a binary code input into CABAC (context adaptive binary arithmetic coding).
  • the image decoding device (100) describes a process of obtaining syntax for block shape information or segmentation shape mode information through CABAC.
  • a bitstream including a binary code for the syntax can be obtained through a bitstream obtaining unit (110).
  • the image decoding device (100) can detect a syntax element indicating block shape information or segmentation shape mode information by de-binarizing a bin string included in the obtained bitstream.
  • the image decoding device (100) can obtain a set of binary bin strings corresponding to syntax elements to be decoded, and decode each bin using probability information, and the image decoding device (100) can repeat the process until a bin string composed of the decoded bins becomes equal to one of the previously obtained bin strings.
  • the image decoding device (100) can determine syntax elements by performing inverse binarization of an empty string.
  • the image decoding device (100) may perform a decoding process of adaptive binary arithmetic coding to determine a syntax for a bin string, and the image decoding device (100) may update a probability model for bins acquired through the bitstream acquisition unit (110).
  • the bitstream acquisition unit (110) of the image decoding device (100) may acquire a bitstream representing a binary code representing segmentation mode information according to one embodiment.
  • the image decoding device (100) may determine a syntax for the segmentation mode information.
  • the image decoding device (100) may update a probability for each bit of the 2-bit binary code. That is, the image decoding device (100) can update the probability of having a value of 0 or 1 when decoding the next bin, depending on whether the value of the first bin among the 2-bit binary codes is 0 or 1.
  • the image decoding device (100) may, in the process of determining the syntax, update the probability for the bins used in the process of decoding the bins of the empty string for the syntax, and the image decoding device (100) may determine that certain bits among the empty strings have the same probability without updating the probability.
  • the image decoding device (100) may determine the syntax for the split shape mode information using one bin having a value of 0 when the non-square coding unit is not split. That is, when the block shape information indicates that the current coding unit is a non-square shape, the first bin of the empty string for the split shape mode information may be 0 when the non-square coding unit is not split, and may be 1 when it is split into 2 or 3 coding units. Accordingly, the probability that the first bin of the empty string of the split shape mode information for the non-square coding unit is 0 may be 1/3, and the probability that it is 1 may be 2/3.
  • the image decoding device (100) can only express a 1-bit empty string having a value of 0 for the partition shape mode information indicating that a non-square-shaped encoding unit is not partitioned, so the image decoding device (100) can determine the syntax for the partition shape mode information by determining whether the second bin is 0 or 1 only when the first bin of the partition shape mode information is 1. According to one embodiment, the image decoding device (100) can decode the bin by considering that the probability that the second bin is 0 or 1 when the first bin for the partition shape mode information is 1 is the same probability.
  • the image decoding device (100) may use various probabilities for each bin in the process of determining a bin of a bin string for the partition shape mode information. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the direction of a non-square block. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on the area or the length of the long side of the current encoding unit. According to one embodiment, the image decoding device (100) may determine the probability of a bin for the partition shape mode information differently depending on at least one of the shape and the length of the long side of the current encoding unit.
  • the image decoding device (100) may determine that the bin probability for the segmentation shape mode information is the same for encoding units of a predetermined size or larger.
  • the bin probability for the segmentation shape mode information may be determined to be the same for encoding units of a size of 64 samples or larger based on the length of the long side of the encoding unit.
  • the image decoding device (100) may determine the initial probability for bins constituting the empty string of the segmentation shape mode information based on the slice type (e.g., I slice, P slice, or B slice).
  • the slice type e.g., I slice, P slice, or B slice.
  • Figure 19 is a block diagram of an image encoding and decoding system that performs loop filtering.
  • the encoding unit (1910) of the image encoding and decoding system (1900) transmits an encoded bitstream of an image, and the decoding unit (1950) receives the bitstream and decodes it to output a restored image.
  • the encoding unit (1910) may have a configuration similar to that of the image encoding device (200) described below, and the decoding unit (1950) may have a configuration similar to that of the image decoding device (100).
  • the prediction encoding unit (1915) outputs prediction data through inter prediction and intra prediction
  • the transformation and quantization unit (1920) outputs quantized transformation coefficients of residual data between the prediction data and the current input image.
  • the entropy encoding unit (1925) encodes and transforms the quantized transformation coefficients and outputs them as a bitstream.
  • the quantized transformation coefficients are restored to spatial domain data through the inverse quantization and inverse transformation unit (1930), and the restored spatial domain data are output as a restored image through the deblocking filtering unit (1935) and the loop filtering unit (1940).
  • the restored image can be used as a reference image of the next input image through the prediction encoding unit (1915).
  • the encoded image data among the bitstreams received by the decoding unit (1950) is restored to residual data in the spatial domain through the entropy decoding unit (1955) and the inverse quantization and inverse transformation unit (1960).
  • the prediction data and residual data output from the prediction decoding unit (1975) are combined to form image data in the spatial domain, and the deblocking filtering unit (1965) and the loop filtering unit (1970) can perform filtering on the image data in the spatial domain to output a restored image for the current original image.
  • the restored image can be used as a reference image for the next original image by the prediction decoding unit (1975).
  • the loop filtering unit (1940) of the encoding unit (1910) performs loop filtering using filter information input according to user input or system settings.
  • the filter information used by the loop filtering unit (1940) is output to the entropy encoding unit (1925) and transmitted to the decoding unit (1950) together with the encoded image data.
  • the loop filtering unit (1970) of the decoding unit (1950) can perform loop filtering based on the filter information input from the decoding unit (1950).
  • FIG. 2 illustrates a block diagram of an image encoding device (200) capable of encoding an image based on at least one of block shape information and segmentation shape mode information according to one embodiment.
  • the video encoding device (200) may include an encoding unit (220) and a bitstream generation unit (210).
  • the encoding unit (220) may receive an input image and encode the input image.
  • the encoding unit (220) may encode the input image to obtain at least one syntax element.
  • the syntax element may include at least one of a skip flag, a prediction mode, a motion vector difference, a motion vector prediction method (or index), a transform quantized coefficient, a coded block pattern, a coded block flag, an intra prediction mode, a direct flag, a merge flag, a delta QP, a reference index, a prediction direction, and a transform index.
  • the encoding unit (220) may determine a context model based on block shape information including at least one of a shape, a direction, a ratio of width and height, or a size of an encoding unit.
  • the bitstream generation unit (210) can generate a bitstream based on an encoded input image.
  • the bitstream generation unit (210) can generate a bitstream by entropy encoding syntax elements based on a context model.
  • the image encoding device (200) can transmit the bitstream to the image decoding device (100).
  • the encoding unit (220) of the image encoding device (200) can determine the shape of an encoding unit.
  • the encoding unit may be square or have a non-square shape, and information indicating such shape may be included in the block shape information.
  • the encoding unit (220) can determine the shape into which the encoding unit is to be split.
  • the encoding unit (220) can determine the shape of at least one encoding unit included in the encoding unit, and the bitstream generation unit (210) can generate a bitstream including split shape mode information including information about the shape of such encoding unit.
  • the encoder (220) may determine whether the encoding unit is split or not. If the encoder (220) determines that the encoding unit includes only one encoding unit or that the encoding unit is not split, the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is not split. In addition, the encoder (220) may split the encoding unit into a plurality of encoding units, and the bitstream generation unit (210) may generate a bitstream including split shape mode information indicating that the encoding unit is split into a plurality of encoding units.
  • the splitting mode information may indicate splitting in at least one of the vertical and horizontal directions, or may indicate no splitting.
  • the video encoding device (200) determines information about the segmentation shape mode based on the segmentation shape mode of the encoding unit.
  • the video encoding device (200) determines a context model based on at least one of the shape, direction, width, and height ratio or size of the encoding unit. Then, the video encoding device (200) generates information about the segmentation shape mode for segmenting the encoding unit based on the context model as a bitstream.
  • the video encoding device (200) may obtain an array for matching at least one of the shape, direction, width and height ratio or size of the encoding unit with an index for the context model.
  • the video encoding device (200) may obtain an index for the context model based on at least one of the shape, direction, width and height ratio or size of the encoding unit in the array.
  • the video encoding device (200) may determine the context model based on the index for the context model.
  • the video encoding device (200) may further determine the context model based on block shape information including at least one of the shape, direction, width, and height ratio or size of a neighboring encoding unit adjacent to the encoding unit, in order to determine the context model.
  • the neighboring encoding unit may include at least one of encoding units located on the lower left, left, upper left, upper right, right, or lower right of the encoding unit.
  • the video encoding device (200) may compare the length of the width of the upper peripheral encoding unit with the length of the width of the encoding unit to determine the context model. In addition, the video encoding device (200) may compare the length of the height of the left and right peripheral encoding units with the length of the height of the encoding unit. In addition, the video encoding device (200) may determine the context model based on the comparison results.
  • the operation of the video encoding device (200) includes similar contents to the operation of the video decoding device (100) described in FIGS. 3 to 19, a detailed description is omitted.
  • FIG. 20 is a block diagram illustrating the configuration of an image decoding device (2000) according to one embodiment.
  • the image decoding device (2000) may include a memory (2010) and a processor (2030).
  • the memory (2010) and the processor (2030) of the present disclosure may be implemented with at least one memory and at least one processor, respectively.
  • the operations of the bitstream acquisition unit (110), the decoding unit (120) illustrated in FIG. 1, and the entropy decoding unit (1955) and the prediction decoding unit (1975) illustrated in FIG. 19 may be implemented according to instructions called by at least one process.
  • the image decoding device (2000) may include a storage medium that stores input/output data of at least one of the bitstream acquisition unit (110), the decoding unit (120) illustrated in FIG. 1, and the entropy decoding unit (1955) and the prediction decoding unit (1975) illustrated in FIG. 19.
  • the storage medium may be included in the memory (2010) or may be a storage medium different from the memory (2010).
  • the image decoding device (2000) may include a storage medium control unit that controls data input/output of the storage medium.
  • the storage medium control unit may be included in the processor (2030), or may be a control unit different from the processor (2030).
  • an image decoding device (2000) can obtain a bitstream generated as a result of encoding an image.
  • the bitstream may include encoded data generated by encoding a current block.
  • the encoded data included in the bitstream may be used to reconstruct the current block.
  • the current block may be a maximum coding unit, coding unit, transformation unit, or prediction unit segmented from the current image to be decoded.
  • the video decoding device (2000) can determine a current block based on information associated with a block included in a bitstream corresponding to at least one level of a sequence parameter set, a picture parameter set, a video parameter set, a slice header, and a slice segment header, and/or information about a block segmentation mode.
  • the image decoding device (2000) can receive a bitstream from the image encoding device via a network.
  • the image decoding device (2000) can obtain a bitstream from a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • an image decoding device (2000) can obtain syntax elements for decoding an image from a bitstream. Values corresponding to the syntax elements can be included in the bitstream according to the hierarchical structure of the image.
  • an image decoding device (2000) can obtain bins of syntax elements by parsing bits included in a bitstream.
  • the parsing process can include at least one of entropy decoding and inverse binarization.
  • a bitstream may include motion information of a current block.
  • the motion information may include at least one of information about a prediction mode of a current block in a current image, information about a reference picture list used for inter prediction of the current block (e.g., information about an index indicating whether a first reference picture list (L0) is used, a second reference picture list (L1) is used, or bi-prediction (LO and L1) is used), information about a reference picture index, information about a motion vector predictor, and information about a motion vector difference.
  • the motion information may include all information for reconstructing the current block through inter prediction.
  • the bitstream may include information indicating the prediction mode of the current block within the current image.
  • the prediction mode of the current block may include an intra mode, an inter mode, etc.
  • Intra mode is an operation of predicting a block based on spatial similarity, and is a mode in which the current block is predicted or restored based on spatial similarity within the current image
  • inter mode is a mode in which the current block is predicted or restored based on a reference image to reduce temporal redundancy between images.
  • the image decoding device (2000) can perform intra prediction or inter prediction on the current block according to the prediction mode of the current block to generate a prediction block of the current block, and restore the current block using the prediction block.
  • the bitstream may include information about a reference picture list indicating which reference picture list among a plurality of reference picture lists to use for prediction of a current block.
  • the image decoding device (2000) when it reconstructs the current block based on the reference image, it may use one reference image (e.g., unidirectional prediction) or two reference images (e.g., bi-prediction). This may be determined through information about the reference picture list, which indicates which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block for inter prediction of the current block.
  • one reference image e.g., unidirectional prediction
  • two reference images e.g., bi-prediction
  • the video decoding device (2000) may determine one reference picture list used for inter prediction of the current block based on information about a reference picture list indicating which reference picture list among a plurality of reference picture lists is used for prediction of the current block for inter prediction of the current block. For example, the video decoding device (2000) may obtain information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or bi-prediction (LO and L1) is used for inter prediction of the current block.
  • L0 first reference picture list
  • L1 second reference picture list
  • LO and L1 bi-prediction
  • a bitstream may include a reference picture index indicating one of the reference pictures included in a reference picture list.
  • the image decoding device (2000) may obtain a reference picture index indicating which reference picture among at least one reference picture included in the reference picture list to use from the bitstream.
  • the image decoding device (2000) may obtain a first reference picture index indicating a reference picture included in a first reference picture list for the current block and a second reference picture index indicating a reference picture included in a second reference picture list, respectively.
  • a bitstream may include information for determining a motion vector.
  • the video decoding device (2000) may obtain, from the bitstream, a motion vector predictor index indicating one of the motion vector candidates included in a motion vector candidate list.
  • the video decoding device (2000) may obtain, from the bitstream, a first motion vector predictor index indicating a first motion vector candidate among at least one motion vector candidate included in a first motion vector candidate list.
  • the video decoding device (2000) may obtain, from the bitstream, a first index indicating a first motion vector candidate among at least one motion vector candidate included in the first motion vector candidate list, and a second index indicating a second motion vector candidate among at least one motion vector candidate included in a second motion vector candidate list.
  • the image decoding device (2000) can obtain or determine the motion vector of the current block by using the motion vectors of previously decoded blocks spatially adjacent to the current block or blocks included in a previously decoded image as the motion vector predictor of the current block.
  • the image decoding device (2000) can obtain or determine the motion vector of the current block by using information about the motion vector difference obtained from the bitstream.
  • the image decoding device (2000) may determine a reference block within a reference image using a motion vector of a current block.
  • the image decoding device (2000) may point to the reference image using a reference index of a block pointed to by the motion vector of the current block, and determine the reference block using a motion vector of a block pointed to by the motion vector of the current block.
  • the image decoding device (2000) may determine a motion vector predictor from a motion vector candidate list of the current block, and determine the motion vector of the current block using the determined motion vector predictor.
  • the image decoding device (2000) may also determine the reference block by performing template matching with the current block using the motion vector of the current block.
  • the image decoding device (2000) may determine a block pointed to by an initial motion vector of the current block as a first reference block, or may determine the first reference block by performing template matching with the current block based on a block pointed to by the initial motion vector of the current block.
  • the image decoding device (2000) can determine a first reference block within a first reference image using a motion vector of a current block. For example, the image decoding device (2000) can determine the first reference block using a motion vector of the current block, and can determine a second reference block by performing template matching with the current block for a block to which the motion vector of the first reference block points within a second reference image.
  • template matching with the current block may be an operation of determining a reference block of the current block by adjusting or correcting an initial motion vector by comparing the template of the current block with a template within a predetermined area including a block pointed to by a motion vector of the current block.
  • the template to be compared with the template of the current block may or may not be within a predetermined area including a block pointed to by the initial motion vector of the current block.
  • the template to be compared with the template of the current block may be a template within a predetermined area including a block pointed to by a motion vector of a first reference block.
  • the present disclosure is not limited to the disclosed example.
  • motion information may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • information on whether to perform template matching with a current block or information related to template matching with the current block may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • the present disclosure is not limited to the disclosed example, and information related to whether to perform template matching may not be included in the bitstream.
  • information related to template matching with the current block may include information on the number of times template matching is performed corresponding to the current block in the process of searching for and determining a reference block through template matching when an operation of using a motion vector of a block pointed to by a motion vector of the current block to determine a reference block of the current block and then using a motion vector of a block pointed to by the motion vector of the corresponding block is performed in a chain.
  • the image decoding device (2000) can reconstruct the current block using a reference block.
  • the image decoding device (2000) can generate a prediction block using the reference block, and reconstruct or generate the current block using the prediction block and residual data.
  • the reference block of the present disclosure may be a first reference block determined from a first reference image or a second reference block determined from a second reference image.
  • the first reference image may be a reference image used for predicting a current block
  • the first reference block may be a block within the first reference image.
  • the second reference image may be a reference image used for predicting a predetermined block (e.g., the first reference block) within the first reference image, or may be an image included in a reference picture list for the current block
  • the second reference block may be a block within the second reference image.
  • the video decoding device (2000) determines a motion vector and performs template matching using a template within a search range based on a block indicated by the motion vector, thereby reducing the amount of data required for signaling. By performing template matching to reduce the amount of residual data, the amount of data required for signaling can be reduced.
  • FIG. 21 is a diagram illustrating neighboring blocks temporally and/or spatially related to a current block according to one embodiment.
  • a temporal neighboring block may include a collocated block (Col) (hereinafter referred to as a "collocated block") in a collocated image located at a point corresponding to the current block (2115) in a reference image having a different POC (Picture Order Count) from the POC of the current block (2115).
  • the collocated block may be a block including a sample (Br) corresponding to a position of a sample diagonally adjacent to the lower right of the current block (2115) in the collocated image, or a block including a sample (Ctr) corresponding to a central position of the current block (2115).
  • the collocated block may be a block including a predetermined sample in the collocated image at a position corresponding to a predetermined sample included in a current block of the current image, and may be determined as any block in a block having a position and size corresponding to the current block in the collocated image, or a block adjacent to a block having a position and size corresponding to the current block.
  • a spatial neighboring block spatially adjacent to the current block (2115) may include at least one of blocks including a lower left outer sample (A0), a lower left sample (A1), an upper right outer sample (B0), an upper right sample (B1), and an upper left outer sample (B2).
  • the locations of the temporal neighboring blocks and spatial neighboring blocks illustrated in FIG. 21 are an example, and the locations and numbers of the temporal neighboring blocks and spatial neighboring blocks may vary depending on the implementation.
  • the video decoding device (2000) may determine each motion vector candidate included in the motion vector candidate list through template matching based on the motion vectors of temporal neighboring blocks and/or spatial neighboring blocks.
  • the motion vectors of the temporal neighboring blocks and/or spatial neighboring blocks may be adjusted through template matching based on the motion vectors of the temporal neighboring blocks and/or spatial neighboring blocks.
  • FIG. 22 is a diagram for explaining a template of a template matching prediction mode according to one embodiment.
  • the templates (2210, 2220, 2230, 2240, 2250) of the current block (2200) may have multiple shapes.
  • the shape of the template to be compared in the restored area may also be determined based on the template of the current block (2200).
  • a template having a shape similar to that of the templates (2210, 2230) may be referred to as an L-shape.
  • the image decoding device (2000) may determine a template of the current block (2200) to include at least one of a first template located on the left side of the current block, a second template located on the upper side of the current block, and a third template located on the upper left side of the current block.
  • the template (2210) may include the first template located on the left side of the current block, the second template located on the upper side of the current block, and the third template located on the upper left side of the current block
  • the template (2220) may include the first template and the second template excluding the third template.
  • the template may include a template located on the right side of the current block (2200).
  • the image decoding device (2000) can perform template matching prediction using a template (2230) including at least some of a right reference sample, an upper reference sample, and an upper-right reference sample.
  • the image decoding device (2000) can determine the template based on the coding order (or coding direction) of the block. For example, when coding of the block is performed from right to left, the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using the template (2230).
  • the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using a template (2240) including at least some of a right reference sample, an upper reference sample, a left reference sample, an upper-left reference sample, and an upper-right reference sample.
  • the image decoding device (2000) can determine a reference block of the current block (2200) or perform template matching prediction using a template (2240) including a referenceable sample.
  • the template of the current block (2200) may include one or more reference lines.
  • a first template may include m reference lines (wherein m is an integer greater than or equal to 1), and a second template may include n reference lines (wherein n is an integer greater than or equal to 1).
  • the image decoding device (2000) may determine unrestored samples when some samples of a template corresponding to a reference block are not restored. For example, when some of the first template is not restored, the image decoding device (2000) may determine the values of the unrestored samples and determine a template including the determined samples.
  • FIG. 22 is a drawing for explaining a template according to one embodiment of the present disclosure, and is not limited thereto, and various forms of templates may be determined.
  • the image decoding device (2000) performs template matching using a template (2210) including all of a left reference sample, an upper reference sample, and an upper-left reference sample
  • template matching prediction may be performed using templates of various shapes as described in FIG. 22.
  • FIG. 23 is a diagram for explaining an operation of determining a reference block based on template matching according to one embodiment.
  • the image decoding device (2000) may determine a reference block within a reference image (2330) to perform prediction for a current block (2315) within a current image (2310).
  • the image decoding device (2000) may determine a motion vector (2325) of the current block (2315) using motion information.
  • the image decoding device (2000) can determine a reference block of the current block (2315) by adjusting or correcting the initial motion vector (2325) by comparing the current template (2316) with a template within a predetermined area (2337) including a point indicated by the determined motion vector (2325). Meanwhile, the motion vector (2325) before being adjusted according to template matching may be referred to as the initial motion vector (2325).
  • the predetermined area (2337) may be referred to as a search area, a search area, etc.
  • the image decoding device (2000) can perform template matching using the initial motion vector (2325) of the current block (2315), thereby determining the reference block of the current block (2315) as a block pointed to by the motion vector corrected or adjusted according to the template matching.
  • the video decoding device (2000) may obtain a motion vector of a block spatially adjacent to the current block (2315) to construct a motion vector candidate list, and may also obtain a motion vector of a block spatially non-adjacent to the current block (2315) as a motion vector candidate.
  • the motion vector candidate list may obtain a motion vector of a block spatially adjacent to the current block (2315) or a motion vector of a block spatially non-adjacent to the current block (2315) as a motion vector candidate.
  • the image decoding device (2000) may obtain motion vectors of a call block and neighboring blocks of the call block within the collocated image of the current block (2315) as motion vector candidates to construct a motion vector candidate list.
  • the motion vector candidate list may include motion vectors of a call block and neighboring blocks of the call block within the collocated image of the current block (2315) as motion vector candidates.
  • the motion vector determined from the motion vector candidate list may be referred to as the initial motion vector (2325).
  • a reference image (2330) including a reference block is an image restored before the current image (2310) and may be an image included in a reference picture list.
  • a set of neighboring samples restored before the current block (2315) may be used as a template in template matching.
  • the current template (2316), which is the template of the current block (2315), may include at least some of the neighboring samples of the current block (2315).
  • the template of the current block (2315) may be referred to as the current template (2316)
  • the template of the reference block may be referred to as the reference template (2336).
  • the image decoding device (2000) may search for a template that is most similar to the current template (2316) within a reference image (2330) using the current template (2316), and determine a block adjacent to the reference template (2336), which is the most similar template as a result of the search, as a reference block.
  • a block located to the right and below the reference template (2336) that is most similar as a result of the search within the reference image (2330) may be determined as a reference block.
  • the operation of searching for a template most similar to the current template (2316) may be an operation of performing template matching with the current block (2315) by determining a candidate template with the smallest difference as a reference template by using a difference between a pixel value of at least one pixel included in the current template (2316) of the current block (2315) and a pixel value of at least one pixel included in a candidate template corresponding to a candidate location for template matching.
  • template matching can be performed using various search patterns and search sizes based on the initial motion vector (2325).
  • template matching can search a predetermined area (2337) using a diamond pattern or a cross pattern, and can search the predetermined area (2337) in units of 4 pixels, 1 pixel, 1/2 pixel, 1/4 pixel, or 1/8 pixel.
  • a candidate location for template matching can be a location for comparing a current template (2316) and a template determined according to the search pattern and search size within a predetermined range for template matching.
  • difference values of sample values may be used to search for and determine a template similar to the current template (2316). For example, a template including sample values most similar to the sample values included in the current template (2316) may be determined as a similar template within the reference image (2330).
  • the template having the minimum Sum of Absolute Difference (SAD) value may be determined as the most similar template using the difference values of the sample values, but this is only one example, and Sum of Absolute Transformed Difference (SATD), Sum of Squared Error (SSE), Mean Removed SAD (MR-SAD), Mean Removed SSE (MR-SSE), or Histogram of Oriented Gradient (HoG) may be used, and may be variously modified within a range apparent to those skilled in the art.
  • SAD Sum of Absolute Transformed Difference
  • SSE Sum of Squared Error
  • MR-SAD Mean Removed SAD
  • MR-SSE Mean Removed SSE
  • HoG Histogram of Oriented Gradient
  • the video decoding device (2000) may determine an initial motion vector (2325) for determining a reference block for searching for a similar template. For example, a predetermined motion vector (e.g., a zero vector, a vector obtained from information obtained from a bitstream) may be determined as the initial motion vector (2325).
  • the video decoding device (2000) may determine a motion vector candidate that indicates a template most similar to the current template (2316) among templates corresponding to a plurality of motion vector candidates included in a motion vector candidate list as a motion vector predictor of the current block (2315).
  • the video decoding device (2000) may determine the initial motion vector (2325) of the current block (2315) using the motion vector predictor of the current block (2315).
  • the video decoding device (2000) can obtain a motion vector predictor index indicating one motion vector candidate included in a motion vector candidate list, and determine a motion vector predictor of the current block (2315).
  • the video decoding device (2000) can determine the motion vector predictor of the current block (2315) itself as the initial motion vector (2325) of the current block (2315), or can determine the motion vector predictor as the initial motion vector (2325) of the current block (2315) by combining it with information about the motion vector difference of the current block (2315).
  • the image decoding device (2000) may search for and determine a template most similar to the current template (2316) within a predetermined range centered on the point indicated by the motion vector (2325).
  • a block adjacent to the reference template (2336) which is the template most similar to the current template (2316) within the reference image (2330), may be determined as a reference block.
  • the video decoding device (2000) can obtain or determine an initial motion vector (2325) for determining a first reference block of the current block (2315) from a motion vector candidate list.
  • the motion vector of the current block (2315) may be two or more (for example, two) when the current block (2315) is pair-predicted, but for the sake of convenience of explanation, a case where there is only one motion vector is described as an example, and even when the current block (2315) is pair-predicted, a block adjacent to a reference template determined as the template most similar to the current template (2316) within a predetermined range centered on the point indicated by each motion vector may be determined as the reference block corresponding to each motion vector.
  • FIG. 24 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • the image decoding device (2000) can determine or obtain a motion vector (2425) of a current block (2415) in a current image (2410).
  • the image decoding device (2000) can determine a reference block using the motion vector (2425) of the current block (2415) and the motion vector of the block pointed to by the motion vector (2425) of the current block (2415).
  • the operation of determining or obtaining the motion vector (2425) of the current block (2415) by the image decoding device (2000) is described in detail in FIGS. 21 to 23, and therefore, the same content is omitted.
  • the image decoding device (2000) can determine a first reference block (2435) within a first reference image (2430) using a motion vector (2425) of a current block (2415).
  • the image decoding device (2000) can determine a block indicated by the motion vector (2425) of the current block (2415) as the first reference block (2435).
  • the image decoding device (2000) can determine the first reference block (2435) by performing template matching with the current block (2415) within the first reference image (2430) using the motion vector (2425) of the current block (2415) as an initial motion vector.
  • the image decoding device (2000) may search for and determine a template most similar to the current template (2416) within a predetermined range centered on a point indicated by a motion vector (2425) of the current block (2415). In addition, the image decoding device (2000) may determine a block adjacent to a first reference template (2436), which is a template most similar to the current template (2416) within a first reference image (2430), as the first reference block (2435).
  • the image decoding device (2000) can determine or obtain a second reference block (2455) using motion information of a first reference block (2435).
  • the motion information of the first reference block (2435) can include information about a reference image used for decoding the first reference block (2435) and a motion vector (2445) of the first reference block (2435). Meanwhile, the motion information of the first reference block (2435) can be stored corresponding to the first reference image (2430) or the first reference block (2435).
  • the image decoding device (2000) can determine a second reference block (2455) using the motion vector (2445) of the first reference block (2435).
  • the image decoding device (2000) can determine a block pointed to by the motion vector (2445) of the first reference block (2435) as the second reference block (2455).
  • the image decoding device (2000) can determine the second reference block (2455) in the second reference image (2450) by performing template matching with a current block in the second reference image (2450) using the motion vector (2445) of the first reference block (2435).
  • the image decoding device (2000) can perform template matching in the second reference image (2450) that includes the block pointed to by the motion vector (2445) of the first reference block (2435).
  • the image decoding device (2000) can determine the second reference block (2455) in the second reference image (2450) by performing template matching in the second reference image (2450).
  • the video decoding device (2000) can determine the second reference block (2455) by correcting or adjusting the initial motion vector of the first reference block (2435) by performing template matching by searching the surroundings of the position indicated by the initial motion vector (2445) of the first reference block (2435).
  • the video decoding device (2000) can obtain or determine the final motion vector (2465) of the current block (2415) by comprehensively considering the motion vector (2425) of the current block (2415) and the motion vector (2445) of the first reference block (2435), and can determine the second reference block (2455) according to the final motion vector (2465).
  • the image decoding device (2000) can search for and determine a template most similar to the current template (2416) within a predetermined range centered on a point indicated by a motion vector (2445) of the first reference block (2435).
  • the image decoding device (2000) can determine a block adjacent to a second reference template (2456), which is a template most similar to the current template (2416) within a second reference image (2450), as the second reference block (2455).
  • the image decoding device (2000) can determine whether a second template matching cost representing a difference between the current template (2416) and the second reference template (2456) is less than a first template matching cost representing a difference between the current template (2416) and the first reference template (2436).
  • the image decoding device (2000) may identify that the template matching cost corresponding to the point indicated by the motion vector (2445) of the first reference block (2435) is less than the template matching cost of the first reference template (2436) corresponding to the first reference block (2435). In addition, if the image decoding device (2000) identifies that the template matching cost corresponding to the point indicated by the motion vector (2445) of the first reference block (2435) is less, the image decoding device (2000) may determine to restore or decode the current block (2415) using the second reference block (2455).
  • the template matching cost corresponding to the point pointed to by the motion vector (2445) of the first reference block (2435) is greater than the template matching cost according to the template matching performed on the first reference image (2430), the template matching according to the motion vector (2445) of the first reference block (2435) may be terminated without being additionally performed.
  • the template matching cost corresponding to the point pointed to by the motion vector (2445) of the first reference block (2435) may be the template matching cost for the template of the point pointed to by the motion vector (2445) of the first reference block (2435) or the template matching cost of the first template candidate position according to the point pointed to by the motion vector (2445) of the first reference block (2435).
  • the first template matching cost and the second template matching cost may be performed using at least one of the minimum Sum of Absolute Difference (SAD), Sum of Absolute Transformed Difference (SATD), Sum of Squared Error (SSE), Mean Removed SAD (MR-SAD), Mean Removed SSE (MR-SSE), or Histogram of Oriented Gradient (HoG) using difference values of each template, and may be variously changed within a range apparent to those skilled in the art without being limited to the disclosed examples.
  • SAD Sum of Absolute Transformed Difference
  • SSE Sum of Squared Error
  • MR-SAD Mean Removed SAD
  • MR-SSE Mean Removed SSE
  • HoG Histogram of Oriented Gradient
  • the image decoding device (2000) may apply a weight to at least one of temporal distance information between each reference image and a current image (2410), and a quantization parameter corresponding to each reference block, in order to calculate a template matching cost.
  • the image decoding device (2000) may perform template matching by calculating a template matching cost by applying weights according to the temporal distance information between the current image (2410) and the first reference image (2430) and the temporal distance information between the current image (2410) and the second reference image (2450).
  • the image decoding device (2000) may perform template matching by applying weights according to the quantization parameter of the first reference block (2435) and the quantization parameter of the second reference block (2455).
  • the image decoding device (2000) may also determine the first template matching cost and the second template matching cost using the temporal distance information and the quantization parameter.
  • the temporal distance information may include a POC difference, and without limitation to the disclosed example, the temporal distance information may also be expressed in a manner other than a POC difference.
  • the image decoding device (2000) can increase the probability of using an image having a relatively small POC difference by determining the first template matching cost and the second template matching cost by weighting the POC difference between the current image (2410) and the first reference image (2430) and the POC difference between the current image (2410) and the second reference image (2450).
  • the image decoding device (2000) can increase the probability of using a block having a relatively small quantization parameter value by weighting the quantization parameter of the first reference block (2435) and the quantization parameter of the second reference block (2455) to determine the first template matching cost and the second template matching cost.
  • the POC is a value associated with each image, such as the current image, the first reference image, and the second reference image, and can indicate the order of a given frame during the image encoding and decoding process.
  • the POC can indicate the temporal order of images output from the decoded picture buffer (DPB). Therefore, the POC difference can correspond to the temporal distance between any two images.
  • the operation of determining the second reference block (2455) using the motion vector (2445) of the first reference block (2435) may correspond to the operation of determining the reference block or the first reference block (2435) using the motion vector of the current block (2415) described in FIG. 23, and the same content is omitted.
  • the first reference block (2435) may be a block included in the first reference image (2430), and the second reference block (2455) may be a block included in the second reference image (2450).
  • the first reference image (2430) and the second reference image (2450) may be different.
  • the first reference image (2430) and the second reference image (2450) may be images included in the reference picture list of the current image (2410).
  • Lx represents a reference picture list
  • IdxM and IdxN may represent an image having an index value of M and an image having an index value of N, respectively.
  • M and N may each represent different positive integers greater than or equal to 0.
  • Each image corresponding to IdxM and IdxN may be included in the reference picture list of List 0 or the reference picture list of List 1.
  • the first reference block (2435) used for the current block (2415) may have been reconstructed or decoded through pair prediction. If the first reference block (2435) included in the first reference image (2430) has been decoded through pair prediction, the motion vector (2445) of the first reference block (2435) used for the current block (2415) may be determined as a motion vector pointing to a reference block in a reference image included in the same reference picture list as the motion vector (2425) of the current block (2415).
  • the second reference block (2455) may be determined using only a motion vector pointing to a predetermined block in a second reference image (2450) in the first reference picture list.
  • the second reference block (2455) can be determined using only the motion vectors corresponding to the reference images having the same POC 8 in the reference picture list of the motion vector (2425) of the current block (2415).
  • the motion vector (2445) of the first reference block (2435) used for the current block (2415) may be determined as a motion vector having a lower template matching cost among the two motion vectors used for prediction of the first reference block (2435).
  • the motion vector (2445) of the first reference block (2435) used for the current block (2415) can be determined as the motion vector with a lower template matching cost among the two motion vectors used for prediction of the first reference block (2435).
  • the video decoding device (2000) can identify whether the first reference image (2430) is an inter-image (e.g., P-Frame or B-Frame) and/or whether the first reference block (2435) has been decoded through inter prediction. For example, if the video decoding device (2000) identifies that the first reference image (2430) is an intra-image (I-Frame) or the first reference block (2435) has been decoded through intra prediction, the video decoding device (2000) may not determine the second reference block (2455). The video decoding device (2000) can determine or obtain the second reference block (2455) only when the first reference image (2430) is an inter-image and the first reference block (2435) has been decoded through inter prediction.
  • inter-image e.g., P-Frame or B-Frame
  • the image decoding device (2000) can decode the current block (2415) using a second reference block (2455) determined using a motion vector (2445) of a first reference block (2435) as a reference block for the current block (2415).
  • the compression performance of the image can be improved, the bit rate can be reduced, the performance of motion prediction can be improved, and the decoding quality of the image can be improved.
  • FIG. 25 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • the image decoding device (2000) can decode the current block (2515) in the current image (2510) using the second reference block (2555) determined using the motion vector (2545) of the first reference block (2535).
  • the image decoding device (2000) can determine the third reference block (2575) using the motion vector (2565) of the second reference block (2555). For example, the image decoding device (2000) can determine the block indicated by the initial motion vector (2565) of the second reference block (2555) as the third reference block (2575).
  • the image decoding device (2000) can perform template matching with a current block within a third reference image (2570) that includes a block pointed to by an initial motion vector (2565) of a second reference block (2555).
  • the image decoding device (2000) can determine a third reference block (2575) within the third reference image (2570) by performing template matching within the third reference image (2570).
  • the image decoding device (2000) can determine the third reference block (2575) by correcting or adjusting the initial motion vector of the second reference block (2555) by performing template matching by searching the vicinity of the position pointed to by the initial motion vector (2565) of the second reference block (2555).
  • the video decoding device (2000) can obtain or determine the final motion vector of the current block (2515) by comprehensively considering the motion vector of the current block (2515), the motion vector of the first reference block (2535), and the motion vector of the second reference block (2555), and can determine the third reference block (2575) to be used as the reference block of the current block (2515) according to the final motion vector (2585). Meanwhile, at least one of the motion vectors used to determine the final motion vector may be corrected or adjusted through template matching.
  • the third reference image (2570) is different from the first reference image (2530) and the second reference image (2550), and may be an image included in the reference picture list of the current block (2515).
  • Lx represents a reference picture list
  • IdxO, IdxM, and IdxN may represent an image having an index value of O, an image having an index value of M, and an image having an index value of N, respectively.
  • O, M, and N may each represent different positive integers greater than or equal to 0.
  • Each image corresponding to IdxO, IdxM, and IdxN may all be included in the reference picture list of List 0 or the reference picture list of List 1.
  • the image decoding device (2000) may search for and determine a template that is most similar to the current template (2516) within a predetermined range centered on a point indicated by the initial motion vector (2565) of the second reference block (2555).
  • the image decoding device (2000) may determine a block adjacent to a third reference template (2576), which is the template that is most similar to the current template (2516) within a third reference image (2570), as the third reference block (2575).
  • the video decoding device (2000) may determine whether a third template matching cost representing a difference between the current template (2516) and the third reference template (2576) is less than a second template matching cost representing a difference between the current template (2516) and the second reference template (2556). Meanwhile, previously, the second template matching cost may have been determined to be less than the first template matching cost representing a difference between the current template (2516) and the first reference template (2536).
  • the operation of determining the third reference block using the motion vector (2565) of the second reference block (2555) may correspond to the operation of determining the reference block or the first reference block (2535) using the motion vector (2525) of the current block (2515) described in FIGS. 23 and 24 or the operation of determining the second reference block (2555) using the motion vector (2545) of the first reference block (2535), and the same content is omitted.
  • template matching with the current block (2515) using the motion vector of the reference block has been described with reference to FIGS. 24 and 25, and FIG. 24 has described an example of using the motion vector of the reference block only once, and FIG. 25 has described an example of performing template matching using the motion vector of the reference block twice, but is not limited to the disclosed examples.
  • template matching with the current block (2515) may be performed for each motion vector using the motion vector of the reference block N times (N is a natural number greater than or equal to 3), and each template matching cost may be calculated each time, and may be performed only when the template matching cost is reduced.
  • FIG. 26 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • the image decoding device (2000) may determine a second reference block (2675) using a motion vector (2645) of a first reference block (2635).
  • the first reference block (2635) may have been determined using a motion vector (2625) of a current block (2615).
  • an image (2650) including a block (2655) pointed to by a motion vector (2645) of a first reference block (2635) may be an image that is not included in the reference picture list of the current block (2615).
  • the image decoding device (2000) may use the first reference block (2635) as a reference block of the current block (2615) without using the motion vector (2645) of the first reference block (2635).
  • the image decoding device (2000) can convert and use the motion information of the first reference block (2635) to correspond to an image included in the reference picture list of the current block (2615).
  • the image decoding device (2000) may perform scaling on a motion vector obtained using the motion vector of the current block (2615) and the motion vector (2645) of the first reference block (2635), based on a difference in POC (Picture Order Count) between the current image (2610) and an image (2650) including a block (2655) pointed to by the motion vector (2645) of the first reference block (2635), and a difference in POC between the current image (2610) and a second reference image (2670) included in the reference picture list of the current block (2615).
  • POC Picture Order Count
  • the POC of the current image (2610) may be 7.
  • the POC of the first reference image (2630) according to the motion information of the current block (2615) may be 7, and the motion vector may be (-16,-16).
  • the POC of the reference image (2650) of the first reference block (2635) according to the motion information of the first reference block (2635) may be 0, and the motion vector (2645) of the first reference block (2635) may be (-32,-32).
  • the reference image (2650) of the first reference block (2635) with a POC of 0 may not be used as the reference image of the current block (2615), so the image with a POC of 4 included in the reference picture list of the current block (2615) may be used instead of the reference image (2650) of the first reference block (2635).
  • the difference in POC (Picture Order Count) between the current image (2610) and the image (2650) including the block (2655) pointed to by the motion vector (2645) of the first reference block (2635) is 7, and the difference in POC between the current image (2610) and the image included in the reference picture list of the current block (2615) is 3.
  • the image decoding device (2000) performs scaling on the motion vector (2665) of (-48,-48) that points to the reference image (2650) of the first reference block (2635) having a POC of 0 in the current block (2615) obtained by using the motion vector of the current block (2615) and the motion vector (2645) of the first reference block (2635), and performs scaling with the POC of the image included in the reference picture list of the current block (2615) to obtain (-48*3/7, -48*3/7) that is the motion vector (2685) that points to a scaled predetermined position in the second reference image (2670). You can get (-21,-21).
  • an image including a block pointed to by a motion vector that is included in the reference picture list of the current block (2615) and used instead of the reference image (2650) of the first reference block (2635) may be an image different from the first reference image (2630).
  • a reference image included in the reference picture list of the current block (2615) and used instead of the reference image (2650) of the first reference block (2635) may be referred to as a second reference image (2670).
  • the image decoding device (2000) can obtain a motion vector (2685) pointing to a predetermined position in a second reference image (2670) by performing scaling on a motion vector (2665) obtained using a motion vector (2625) of a current block (2615) and a motion vector (2645) of a first reference block (2635), and can perform template matching based on the motion vector (2685).
  • the image decoding device (2000) can search for and determine a template that is most similar to the current template (2616) within a predetermined range centered on the point indicated by the motion vector.
  • the image decoding device (2000) can determine a block adjacent to the second reference template (2676), which is the template that is most similar to the current template (2616) within the second reference image (2670), as the second reference block (2675).
  • the image decoding device (2000) can determine whether a second template matching cost representing a difference between the current template (2616) and the second reference template (2676) is less than a first template matching cost representing a difference between the current template (2616) and the first reference template (2636).
  • FIG. 27 is a diagram for explaining an operation of determining a reference block by performing template matching according to one embodiment.
  • the image decoding device (2000) when pair prediction is performed on a current block (2715) in a current image (2710), the image decoding device (2000) can obtain a first motion vector (2725) and a second motion vector (2745) for use in pair prediction of the current block (2715) from a motion vector candidate list for the current block (2715).
  • the image decoding device (2000) can obtain a first reference block (2735) in a first reference image (2730) corresponding to the first motion vector (2725) and a first reference block (2755) in a first reference image (2750) corresponding to the second motion vector (2745) by using a first motion vector (2725) of a current block (2715) and a second motion vector (2745) of the current block (2715).
  • the video decoding device (2000) can determine the block pointed to by the first motion vector (2725) as the first reference block (2735) corresponding to the first motion vector (2725).
  • the video decoding device (2000) can determine the block adjacent to the first reference template (2736) corresponding to the first motion vector (2725), which is the template most similar to the current template (2716) within a predetermined range centered on the point pointed to by the first motion vector (2725), as the first reference block (2735) corresponding to the first motion vector (2725).
  • the video decoding device (2000) can determine the block pointed to by the second motion vector (2745) as the first reference block (2755) corresponding to the second motion vector (2745).
  • the video decoding device (2000) can determine the block adjacent to the first reference template (2756) corresponding to the second motion vector (2745), which is the template most similar to the current template (2716) within a predetermined range centered on the point pointed to by the second motion vector (2745), as the first reference block (2755) corresponding to the second motion vector (2745).
  • the first reference block (2735) corresponding to the first motion vector (2725) and the first reference block (2755) corresponding to the second motion vector (2745) may be different.
  • the first reference image (2730) corresponding to the first motion vector (2725) may be an image included in the first reference picture list (L0)
  • the first reference image (2750) corresponding to the second motion vector (2745) may be an image included in the second reference picture list (L1).
  • the first reference images corresponding to each motion vector may be included in the same reference picture list.
  • IdxM and IdxN may represent an image whose index value is M and an image whose index value is N, respectively.
  • M and N may each represent different positive integers greater than or equal to 0.
  • IdxO and IdxP may represent an image whose index value is O and an image whose index value is P, respectively.
  • O and P can each represent different positive integers greater than or equal to 0.
  • the image decoding device (2000) can determine second reference blocks (2775, 2795) corresponding to each other using the motion vector (2765) of the first reference block (2735) corresponding to the first motion vector (2725) and the motion vector (2785) of the first reference block (2755) corresponding to the second motion vector (2745).
  • the image decoding device (2000) can determine the second reference block (2775) in the second reference image (2770) corresponding to the first motion vector (2725) and the second reference block (2795) in the second reference image (2790) corresponding to the second motion vector (2745).
  • the video decoding device (2000) can determine a block pointed to by the motion vector (2765) of the first reference block (2735) corresponding to the first motion vector (2725) as the second reference block (2775) corresponding to the first motion vector (2725), and can determine a block adjacent to the second reference template (2776) corresponding to the first motion vector (2725), which is a template most similar to the current template (2716) within a predetermined range centered on the point pointed to by the motion vector of the first reference block (2735) corresponding to the first motion vector (2725), as the second reference block (2775) corresponding to the first motion vector (2725).
  • the video decoding device (2000) can determine a block pointed to by the motion vector (2785) of the first reference block (2755) corresponding to the second motion vector (2745) as the second reference block (2795) corresponding to the second motion vector (2745), and can determine a block adjacent to the second reference template (2796) corresponding to the second motion vector (2745), which is the most similar template to the current template (2716) within a predetermined range centered on the point pointed to by the motion vector of the first reference block (2755) corresponding to the second motion vector (2745), as the second reference block (2795) corresponding to the second motion vector (2745).
  • the image decoding device (2000) can perform pair prediction for the current image using a second reference block (2775) corresponding to a first motion vector (2725) and a second reference block (2795) corresponding to a second motion vector (2745).
  • pair prediction may be performed using a first reference block (2735) corresponding to the first motion vector (2725) and a second reference block (2795) corresponding to the second motion vector (2745), or pair prediction may be performed using a second reference block (2775) corresponding to the first motion vector (2725) and a first reference block (2755) corresponding to the second motion vector (2745), and the operation of performing pair prediction for the current image (2710) is not limited to the disclosed example.
  • Figure 28 is a flowchart of an image decoding method according to one embodiment.
  • step S2810 the image decoding device (2000) can determine a motion vector of the current block from a motion vector candidate list for the current block included in the current image.
  • the video decoding device (2000) may obtain a motion vector of a block spatially adjacent to the current block as a motion vector candidate to construct a motion vector candidate list, and may also obtain a motion vector of a block spatially non-adjacent to the current block as a motion vector candidate.
  • the motion vector candidate list may obtain a motion vector of a block spatially adjacent to the current block or a motion vector of a block spatially non-adjacent to the current block as a motion vector candidate.
  • the image decoding device (2000) may obtain motion vectors of a collocated block of a current block and neighboring blocks of the collocated block as motion vector candidates to construct a motion vector candidate list.
  • the motion vector candidate list may include motion vectors of a collocated block of a current block and neighboring blocks of the collocated block as motion vector candidates.
  • the video decoding device (2000) can obtain motion information of a current block to determine a motion vector. For example, the video decoding device (2000) can obtain a motion vector predictor index that points to one of the motion vector candidates included in a motion vector candidate list for the current block, and determine a motion vector predictor for the current block. The video decoding device (2000) can obtain or determine a motion vector for the current block using the motion vector predictor.
  • the motion vector obtained or determined using the motion vector predictor may be an initial motion vector before performing template matching.
  • step S2820 the image decoding device (2000) can determine a first reference block within a first reference image using a motion vector of the current block.
  • the image decoding device (2000) may determine a first reference block using a motion vector of a current block.
  • the image decoding device (2000) may determine a block pointed to by the motion vector of the current block as the first reference block.
  • the image decoding device (2000) may determine the first reference block by performing template matching within a first reference image using the motion vector of the current block as an initial motion vector.
  • the image decoding device (2000) may determine the first reference block by performing template matching with the current block within the first reference image.
  • Performing template matching with the current block may mean performing template matching with a current template, which is a template of the current block.
  • the image decoding device (2000) may search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by the motion vector of the current block. In addition, the image decoding device (2000) may determine a block adjacent to the first reference template, which is the template most similar to the current template within the first reference image, as the first reference block.
  • the image decoding device (2000) can determine a second reference block within the second reference image by performing template matching with the current block within the second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the image decoding device (2000) can determine or obtain a second reference block using motion information of a first reference block.
  • the motion information of the first reference block may include information about a reference image used for decoding the first reference block and a motion vector of the first reference block. Meanwhile, the motion information of the first reference block may be stored corresponding to the first reference image or the first reference block.
  • the image decoding device (2000) can determine a second reference block using a motion vector of a first reference block.
  • the image decoding device (2000) can determine a block pointed to by the motion vector of the first reference block as the second reference block.
  • the image decoding device (2000) can determine the second reference block in the second reference image by performing template matching with a current block in the second reference image around a predetermined point in the second reference image pointed to by the motion vector of the first reference block.
  • the image decoding device (2000) can perform template matching within a second reference image including a block pointed to by the motion vector of the first reference block.
  • the image decoding device (2000) can determine a second reference block within the second reference image by performing template matching within the second reference image.
  • the image decoding device (2000) can determine the second reference block by correcting or adjusting the initial motion vector of the first reference block by searching the vicinity of the position pointed to by the motion vector of the first reference block and performing template matching.
  • the image decoding device (2000) can obtain or determine the final motion vector of the current block by comprehensively considering the motion vector of the current block and the motion vector of the first reference block, and can determine the second reference block according to the final motion vector.
  • the image decoding device (2000) may search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by a motion vector of a first reference block.
  • the image decoding device (2000) may determine a block adjacent to a second reference template, which is the template most similar to the current template within a second reference image, as the second reference block.
  • step S2840 the image decoding device (2000) can restore the current block using the second reference block.
  • the image decoding device (2000) can generate a prediction block of the current block by using the second reference block as a reference block for unidirectional prediction of the current block.
  • the image decoding device (2000) can reconstruct or decode the current block by combining the prediction block of the current block and residual data of the current block.
  • the image decoding device (2000) can generate a reconstructed current block by combining the residual data obtained from the bitstream and the prediction block.
  • the image decoding device (2000) can decode the current block using a second reference block determined using the motion vector of the first reference block.
  • the image decoding device (2000) can determine a third reference block using the motion vector of the second reference block.
  • the image decoding device (2000) can determine a block indicated by the motion vector of the second reference block as the third reference block.
  • the image decoding device (2000) can perform template matching within a third reference image including a block pointed to by the motion vector of the second reference block.
  • the image decoding device (2000) can determine a third reference block within the third reference image by performing template matching within the third reference image.
  • the image decoding device (2000) can determine the third reference block by correcting or adjusting an initial motion vector of the second reference block by performing template matching by searching the vicinity of a position pointed to by the motion vector of the second reference block.
  • the image decoding device (2000) can generate a prediction block of the current block by using the third reference block as a reference block for unidirectional prediction of the current block.
  • the image decoding device (2000) can restore or decode the current block by combining the prediction block of the current block and residual data of the current block.
  • Fig. 29 is a block diagram illustrating a configuration of an image encoding device according to one embodiment.
  • the image encoding device (2900) may include a memory (2910) and a processor (2930).
  • the memory (2910) and the processor (2930) may be implemented as at least one memory and at least one processor.
  • the operations of the prediction encoding unit (1915) and the entropy encoding unit (1925) illustrated in FIG. 19 may be implemented according to instructions called by at least one process.
  • the video encoding device (2900) may include a storage medium that stores input/output data of at least one of the prediction encoding unit (1915) and the entropy encoding unit (1925) illustrated in FIG. 19.
  • the storage medium may be included in the memory (2910) or may be a different storage medium separate from the memory (2910).
  • the image encoding device (2900) may include a storage medium control unit that controls data input/output of the storage medium.
  • the storage medium control unit may be included in the processor (2930), or may be a control unit different from the processor (2930).
  • the image encoding device (2900) can determine a prediction mode of a current block within a current image.
  • the prediction mode of the current block can include an inter mode.
  • the inter mode is a mode that predicts or reconstructs the current block based on a reference image to reduce temporal redundancy between images.
  • the current block can be a maximum coding unit, coding unit, transformation unit, or prediction unit split from a current image to be encoded.
  • the prediction mode of the current block may be determined as an inter mode.
  • the image encoding device (2900) may perform inter prediction on the current block according to the prediction mode of the current block, and may encode the current block using the prediction block generated as a result of performing the inter prediction.
  • the bitstream may include information regarding the prediction mode of the current block.
  • the image encoding device (2900) may use one reference image (e.g., unidirectional prediction) or two reference images (e.g., bidirectional prediction). Whether the current block is unidirectionally predicted or bidirectionally predicted may be determined based on a flag or index indicating which reference picture list among a plurality of reference picture lists in the bitstream is to be used.
  • one reference image e.g., unidirectional prediction
  • two reference images e.g., bidirectional prediction
  • the video encoding device (2900) may determine an index indicating a reference picture list indicating which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block. For example, the video encoding device (2900) may determine an index indicating a reference picture list including a reference picture used for prediction of the current block among the plurality of reference picture lists. When encoding the current block through pair prediction, the video encoding device (2900) may determine an index indicating that two reference picture lists are to be used.
  • the bitstream may include information about a reference picture list indicating which reference picture list among a plurality of reference picture lists is to be used for prediction of the current block.
  • the information about the reference picture list may include an index indicating a reference picture list among the plurality of reference picture lists that includes a reference image used for prediction of the current block.
  • the video encoding device (2900) may identify or determine motion information used to determine a reference block of the current block when the current block is inter-predicted.
  • the motion information of the current block may be included in a bitstream.
  • the motion information of the current block may include at least one of information about a prediction mode of the current block in the current image, information about a reference picture list (for example, information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or a bi-prediction (L0 and L1) is used for inter-prediction of the current block), information about a reference picture index, information about a motion vector predictor, and information about a motion vector difference, and may include all information for determining a motion vector of the current block without being limited to the disclosed examples.
  • a reference picture list for example, information about an index indicating whether a first reference picture list (L0), a second reference picture list (L1), or a bi-prediction (L0 and L1) is used for inter-pre
  • the video encoding device (2900) can encode the current block by obtaining or determining a motion vector predictor of the current block from a motion vector candidate list consisting of motion vectors of previously encoded blocks adjacent to the current block, previously encoded blocks not adjacent to the current block, blocks included in a collocated image, or neighboring blocks of the collocated image.
  • the video encoding device (2900) can determine or obtain a motion vector predictor index indicating the determined motion vector candidate of the current block and store it in a bitstream.
  • the image encoding device (2900) can determine a reference block within a reference image of the current block when the current block is inter-predicted. For example, the image encoding device (2900) can determine a reference block of the current block by performing template matching using a motion vector predictor of the current block.
  • the video encoding device (2900) can determine a reference block of the current block by adjusting or correcting the initial motion vector of the current block by comparing the current template with a template within a predetermined area including the block indicated by the determined motion vector. Meanwhile, the motion vector before being adjusted by template matching may be referred to as an initial motion vector.
  • motion information may be included in a sequence parameter set, a picture parameter set, a slice header, or slice data of a bitstream.
  • encoding of a current block may refer to a process of generating information that enables an image decoding device (2000) to restore the current block.
  • the information generated through encoding may be included in a bitstream after undergoing additional processing.
  • the image encoding device (2900) when a prediction block is generated through inter prediction or intra prediction for the current block, the image encoding device (2900) can encode the current block using the prediction block.
  • the video encoding device (2900) may generate residual data corresponding to the difference between the predicted block and the current block. If the predicted block is determined to be the current block, residual data may not be generated.
  • an image encoding device may generate a bitstream including information generated according to the encoding of an image.
  • the bitstream may include data generated as a result of encoding the current block.
  • the bitstream may include motion information of the current block.
  • the image encoding device (2900) can transmit a bitstream to the image decoding device (2000) via a network.
  • the image encoding device (2900) can store a bitstream in a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • a data storage medium including a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and the like.
  • an image encoding device (2900) may generate a bitstream including syntax elements generated through encoding of an image. Values corresponding to the syntax elements may be included in the bitstream according to the hierarchical structure of the image.
  • a video encoding device (2900) can encode bins of syntax elements and include them in a bitstream.
  • the encoding operation may include at least one of binarization and entropy encoding operations.
  • a step of determining a second reference block within a second reference image by performing template matching with a current block within a second reference image different from a first reference image including a block pointed to by a motion vector of the current block will be described.
  • the video encoding device (2900) can determine a first reference block using a motion vector of a current block.
  • the video encoding device (2900) can determine a block pointed to by the motion vector of the current block as the first reference block.
  • the video encoding device (2900) can determine the first reference block by performing template matching with the current block within the first reference image using the motion vector of the current block as an initial motion vector.
  • a set of surrounding samples encoded before the current block can be used as a template.
  • the video encoding device (2900) may search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by the motion vector of the current block. In addition, the video encoding device (2900) may determine a block adjacent to the first reference template, which is the template most similar to the current template within the first reference image, as the first reference block.
  • the video encoding device (2900) can determine or obtain a second reference block using motion information of a first reference block.
  • the motion information of the first reference block may include information about a reference image used for encoding/decoding the first reference block and information about a motion vector of the first reference block. Meanwhile, the motion information of the first reference block may be stored corresponding to the first reference image or the first reference block.
  • the video encoding device (2900) can determine a second reference block using the motion vector of the first reference block.
  • the video encoding device (2900) can determine a block indicated by the motion vector of the first reference block as the second reference block.
  • the video encoding device (2900) can perform template matching within a second reference image including a block pointed to by a motion vector of a first reference block.
  • the video encoding device (2900) can determine a second reference block within the second reference image by performing template matching within the second reference image.
  • the video encoding device (2900) can determine the second reference block by correcting or adjusting an initial motion vector of the first reference block by performing template matching by searching the vicinity of a position pointed to by the motion vector of the first reference block.
  • the video encoding device (2900) can search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by a motion vector of a first reference block.
  • the video encoding device (2900) can determine a block adjacent to a second reference template, which is the template most similar to the current template within a second reference image, as the second reference block.
  • the video encoding device (2900) can determine whether a second template matching cost indicating a difference between the current template and the second reference template is less than a first template matching cost indicating a difference between the current template and the first reference template.
  • the video encoding device (2900) may identify that the template matching cost corresponding to the point indicated by the motion vector of the first reference block is less than the template matching cost of the first reference template corresponding to the first reference block. In addition, if the video encoding device (2900) identifies that the template matching cost corresponding to the point indicated by the motion vector of the first reference block is less than the template matching cost of the first reference template, the video encoding device (2900) may determine to reconstruct or decode/decode the current block using the second reference block.
  • the template matching cost corresponding to the point indicated by the motion vector of the first reference block is greater than the template matching cost according to the template matching performed on the first reference image, the template matching according to the motion vector of the first reference block may be terminated without being additionally performed.
  • the template matching cost corresponding to the point pointed to by the motion vector of the first reference block may be the template matching cost for the template of the point pointed to by the motion vector of the first reference block or the template matching cost of the first template candidate position according to the point pointed to by the motion vector of the first reference block.
  • the first template matching cost and the second template matching cost may be performed using at least one of the minimum Sum of Absolute Difference (SAD), Sum of Absolute Transformed Difference (SATD), Sum of Squared Error (SSE), Mean Removed SAD (MR-SAD), Mean Removed SSE (MR-SSE), or Histogram of Oriented Gradient (HoG) using difference values of each template, and may be variously changed within a range apparent to those skilled in the art without being limited to the disclosed examples.
  • SAD Sum of Absolute Transformed Difference
  • SSE Sum of Squared Error
  • MR-SAD Mean Removed SAD
  • MR-SSE Mean Removed SSE
  • HoG Histogram of Oriented Gradient
  • the image encoding device (2900) may apply weights to the POC distance between each reference image and the current image, the quantization parameter corresponding to each reference block, etc., to calculate the template matching cost.
  • the image encoding device (2900) may perform template matching using weights according to the POC difference between the current image and the first reference image and the POC difference between the current image and the second reference image.
  • the image encoding device (2900) may perform template matching using weights according to the quantization parameter of the first reference block and the quantization parameter of the second reference block.
  • the video encoding device (2900) can increase the probability of using an image having a relatively small POC difference by determining the first template matching cost and the second template matching cost by weighting the POC difference between the current image and the first reference image and the POC difference between the current image and the second reference image.
  • the video encoding device (2900) can increase the probability of using a block having a relatively small quantization parameter value by determining the first template matching cost and the second template matching cost by weighting the quantization parameter of the first reference block and the quantization parameter of the second reference block.
  • a first reference block used for a current block may have been encoded through pair prediction. If the first reference block included in the first reference picture is encoded through pair prediction, the motion vector of the first reference block used for the current block may be determined as a motion vector pointing to a reference block in a reference picture included in the same reference picture list as the motion vector of the current block. For example, if the first reference picture is included in the first reference picture list of the current block and the first reference block is pair predicted, the second reference block may be determined using only a motion vector pointing to a predetermined block in a second reference picture included in the first reference picture list.
  • the motion vector of the first reference block used for the current block may be determined as a motion vector having a lower template matching cost among the two motion vectors used for prediction of the first reference block.
  • the motion vector of the first reference block used for the current block may be determined as a motion vector having a lower template matching cost among the two motion vectors used for prediction of the first reference block.
  • the video encoding device (2900) can identify whether the first reference image is an inter-image (e.g., P-Frame or B-Frame) and/or whether the first reference block is encoded through inter prediction. For example, if the video encoding device (2900) identifies that the first reference image is an intra-image (I-Frame) or the first reference block is encoded through intra prediction, the video encoding device (2900) may not determine or obtain the second reference block. The video encoding device (2900) can determine or obtain the second reference block only when the first reference image is an inter-image and the first reference block is encoded through inter prediction.
  • inter-image e.g., P-Frame or B-Frame
  • the video encoding device (2900) can encode the current block using a second reference block determined using a motion vector of a first reference block as a reference block for the current block.
  • the operation of the image encoding device (2900) may be the same as the operation of the image decoding device (2000), and therefore, the same content is omitted.
  • Figure 30 is a flowchart of an image encoding method according to one embodiment.
  • step S3010 the image encoding device (2900) can determine a motion vector of the current block from a motion vector candidate list for the current block included in the current image.
  • the video encoding device (2900) may obtain motion vectors of blocks spatially adjacent to the current block to construct a motion vector candidate list, and may also obtain motion vectors of blocks that are not spatially adjacent to the current block.
  • the motion vector candidate list may obtain motion vectors of blocks spatially adjacent to the current block or motion vectors of blocks that are not spatially adjacent to the current block as motion vector candidates.
  • the video encoding device (2900) may obtain motion vectors of a collocated block of a current block and neighboring blocks of the collocated block in order to construct a motion vector candidate list.
  • the motion vector candidate list may include motion vectors of a collocated block of a current block and neighboring blocks of the collocated block in the collocated image of the current block as motion vector candidates.
  • the video encoding device (2900) may determine a motion vector of a current block. For example, the video encoding device (2900) may determine a motion vector predictor index that points to a motion vector candidate that points to a block similar to the current block among motion vector candidates included in a motion vector candidate list for the current block.
  • the video encoding device (2900) can obtain or determine a motion vector for a current block using a motion vector candidate indicated by a motion vector predictor index.
  • the motion vector obtained or determined using the motion vector predictor may be an initial motion vector before performing template matching.
  • step S3020 the image encoding device (2900) can determine a first reference block in a first reference image using a motion vector of the current block.
  • the video encoding device (2900) may determine a first reference block using a motion vector of a current block.
  • the video encoding device (2900) may determine a block pointed to by the motion vector of the current block as the first reference block.
  • the video encoding device (2900) may determine the first reference block by performing template matching within a first reference image using the motion vector of the current block as an initial motion vector.
  • the video encoding device (2900) may determine the first reference block by performing template matching with the current block within the first reference image.
  • Performing template matching with the current block may mean performing template matching with a current template, which is a template of the current block.
  • the video encoding device (2900) may search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by the motion vector of the current block. In addition, the video encoding device (2900) may determine a block adjacent to the first reference template, which is the template most similar to the current template within the first reference image, as the first reference block.
  • step S3030 the image encoding device (2900) can determine a second reference block within the second reference image by performing template matching with the current block within the second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the image encoding device (2900) can determine or obtain a second reference block using motion information of a first reference block.
  • the motion information of the first reference block can include information about a reference image used for encoding the first reference block and a motion vector of the first reference block. Meanwhile, the motion information of the first reference block can be stored corresponding to the first reference image or the first reference block.
  • the video encoding device (2900) can determine a second reference block using a motion vector of a first reference block.
  • the video encoding device (2900) can determine a block pointed to by the motion vector of the first reference block as the second reference block.
  • the video encoding device (2900) can determine the second reference block in the second reference image by performing template matching with a current block in the second reference image around a predetermined point in the second reference image pointed to by the motion vector of the first reference block.
  • the video encoding device (2900) can perform template matching within a second reference image including a block pointed to by the motion vector of the first reference block.
  • the video encoding device (2900) can determine a second reference block within the second reference image by performing template matching within the second reference image.
  • the video encoding device (2900) can determine the second reference block by correcting or adjusting the initial motion vector of the first reference block by searching the vicinity of the position pointed to by the motion vector of the first reference block and performing template matching.
  • the video encoding device (2900) can obtain or determine the final motion vector of the current block by comprehensively considering the motion vector of the current block and the motion vector of the first reference block, and can determine the second reference block according to the final motion vector.
  • the video encoding device (2900) may search for and determine a template most similar to the current template within a predetermined range centered on a point indicated by a motion vector of a first reference block.
  • the video encoding device (2900) may determine a block adjacent to a second reference template, which is the template most similar to the current template within a second reference image, as the second reference block.
  • the operation of the image decoding device (2000) to determine the second reference block is described in detail in FIGS. 21 to 28, and since the operation of the image decoding device (2000) can correspond to the operation of the image encoding device (2900), the same content is omitted.
  • step S3040 the image encoding device (2900) can encode the current block using the second reference block.
  • the video encoding device (2900) may generate a prediction block of the current block by using the second reference block as a reference block for unidirectional prediction of the current block.
  • the video encoding device (2900) may obtain or determine the difference between the original block of the current block and the prediction block generated using the second reference block as residual data of the current block.
  • the video encoding device (2900) may include the obtained residual data in the bitstream.
  • the video encoding device (2900) can encode the current block using a second reference block determined using the motion vector of the first reference block.
  • the video encoding device (2900) can determine a third reference block using the motion vector of the second reference block.
  • the video encoding device (2900) can determine a block indicated by the motion vector of the second reference block as the third reference block.
  • the video encoding device (2900) can perform template matching with a current block within a third reference image including a block pointed to by a motion vector of a second reference block.
  • the video encoding device (2900) can determine a third reference block within the third reference image by performing template matching with the current block within the third reference image.
  • the video encoding device (2900) can determine the third reference block by correcting or adjusting an initial motion vector of the second reference block by performing template matching by searching the vicinity of a position pointed to by the motion vector of the second reference block within the third reference image.
  • the video encoding device (2900) may use the third reference block as a reference block for unidirectional prediction of the current block to generate a prediction block of the current block.
  • the video encoding device (2900) may obtain or determine the difference between the original block of the current block and the prediction block obtained using the third reference block as residual data of the current block.
  • a video decoding method may include a step of determining a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the video decoding method may include a step of determining a first reference block in a first reference image using the motion vector of the current block.
  • the video decoding method may determine a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the video decoding method may include a step of reconstructing the current block using the second reference block.
  • the video decoding method may include a step of determining the first reference block using the motion vector of the current block.
  • the image decoding method may include a step of determining a first reference block by performing template matching with a current block within a first reference image.
  • the image decoding method may include, when the motion vector of the first reference block points to a block in an image that is not included in a reference picture list of a current image, performing scaling on a motion vector obtained using the motion vector of the first reference block based on a difference in Picture Order Count (POC) between the current image and an image including the block pointed to by the motion vector of the first reference block and a difference in POC between the current image and a first reference image included in the reference picture list of the current block.
  • POC Picture Order Count
  • the image decoding method may include performing template matching with the current block within a third reference image including a block pointed to by a motion vector of the second reference block.
  • a method for decoding an image may include a step of obtaining a first motion vector and a second motion vector for use in pairwise prediction of a current block from a list of motion vector candidates for the current block.
  • the motion vector of the first reference block can be determined as a motion vector in the same direction as the motion vector of the current block when the first reference block is decoded through pair prediction.
  • the motion vector of the first reference block may be determined as a motion vector having a lower template matching cost among two motion vectors used for prediction of the first reference block, when a motion vector in the same direction as the motion vector of the current block is not used for pair prediction for the first reference block.
  • the image decoding method may include a step of performing template matching with the current block by using a difference between a pixel value of at least one pixel included in a current template of the current block and a pixel value of at least one pixel included in a candidate template corresponding to a candidate location for template matching.
  • template matching can be performed by applying weights to temporal distance information POC differences between a current image including a current block and a first reference image and temporal distance information POC differences between the current image and a second reference image, or quantization parameters of the first reference block and quantization parameters of the second reference block.
  • a method for decoding an image may include a step of identifying whether a first reference image is an inter image and whether the first reference block has been reconstructed through inter prediction.
  • a video decoding method may include a step of identifying that a template matching cost corresponding to a point pointed to by a motion vector of a first reference block is less than a template matching cost of a first reference template corresponding to the first reference block.
  • the motion vector candidate list for the current block may include at least one of motion vectors pointing to blocks adjacent to the current block, motion vectors pointing to non-adjacent blocks surrounding the current block, and motion vectors pointing to call blocks of the current block and neighboring blocks of the call block.
  • an image decoding apparatus (2000) may be provided, including at least one memory storing at least one instruction and at least one processor operating according to the at least one instruction.
  • the at least one processor may determine a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the at least one processor may determine a first reference block in a first reference image using the motion vector of the current block.
  • the at least one processor may determine a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the at least one processor may reconstruct the current block using the second reference block.
  • a video encoding method may be provided.
  • the video encoding method may include a step of determining a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the video encoding method may include a step of determining a first reference block in a first reference image using the motion vector of the current block.
  • the video encoding method may include a step of determining a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the video encoding method may include a step of encoding a current block using the reference block.
  • the system may include at least one memory storing at least one instruction and at least one processor operating according to the at least one instruction.
  • the at least one processor may determine a motion vector of a current block from a motion vector candidate list for a current block included in a current image.
  • the at least one processor may determine a first reference block in a first reference image using the motion vector of the current block.
  • the at least one processor may determine a second reference block in a second reference image by performing template matching with the current block in a second reference image using the motion vector of the first reference block.
  • the second reference image may be a different image from the first reference image.
  • the at least one processor may encode the current block using the second reference block.
  • a computer-readable recording medium storing a bitstream generated by a method for encoding an image.
  • the bitstream may include motion information for determining a motion vector from a motion vector candidate list for a current block included in a current image.
  • the motion vector is used to determine a first reference block in a first reference image, and a second reference block in a second reference image is determined by performing template matching with the current block in a second reference image using the motion vector of the first reference block, and the second reference image may be an image different from the first reference image.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory storage medium simply means a tangible device that does not contain signals (e.g., electromagnetic waves). This term does not distinguish between cases where data is permanently stored in the storage medium and cases where data is temporarily stored.
  • a “non-transitory storage medium” may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store or directly between two user devices (e.g., smartphones).
  • a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or an intermediary server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시의 일 실시예에 따른 영상 복호화 방법은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭(Template Matching)을 수행함으로써 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상일 수 있다. 영상 복호화 방법은, 제2 참조 블록을 이용하여, 현재 블록을 복원하는 단계를 포함할 수 있다.

Description

템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법
본 개시는 영상의 부호화 및 복호화 분야에 관한 것으로서, 구체적으로, 현재 블록을 템플릿 매칭을 이용하여 부호화 또는 복호화 함으로써, 영상을 부호화 또는 복호화하는 장치 및 방법에 관한 것이다.
영상의 부호화 및 복호화에서는 영상을 블록으로 분할하고, 인터 예측(inter prediction)을 통해 각각의 블록을 예측 부호화 및 예측 복호화한다.
인터 예측은 영상들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 기술이다. 인터 예측에서는 참조 영상을 이용해 현재 영상의 블록들을 예측한다. 현재 블록과 가장 유사한 참조 블록을 참조 영상 내 소정의 검색 범위에서 검색할 수 있다. 현재 블록을 참조 블록에 기초하여 예측하고, 예측 결과 생성된 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성한다.
H.264 AVC(Advanced Video Coding) 및 HEVC(High Efficiency Video Coding)와 같은 코덱에서는 현재 블록의 움직임 벡터를 예측하기 위해 현재 블록에 인접한 이전에 부호화된 블록들 또는 이전에 부호화된 영상에 포함된 블록들의 움직임 벡터를 현재 블록의 움직임 벡터 예측자(Motion Vector Predictor)로 이용한다. 현재 블록의 움직임 벡터와 움직임 벡터 예측자 사이의 차이인 움직임 벡터 차분(Motion Vector Difference)은 소정의 방식을 통해 디코더 측으로 시그널링된다.
인터 예측을 통해 생성된 잔차 블록은 변환 및 양자화를 거쳐 디코더로 전달된다. 디코더는 잔차 블록을 역양자화 및 역변환하고, 현재 블록의 예측 블록과 잔차 블록을 결합하여 현재 블록을 복원한다. 디코더는 일정한 경우 복원된 현재 블록을 필터링하여 복원된 현재 블록 내 아티팩트를 제거할 수 있다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 현재 블록에 대한 예측 부호화 및 예측 복호화의 성능을 향상시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 인터 예측 모드의 시그널링에 필요한 데이터의 양을 감소시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 비트스트림의 비트레이트를 감소시키는 것을 과제로 한다.
일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는, 복호화된 영상을 원본 영상과 더욱 근접하게 되도록 하여, 화질을 향상시키는 것을 과제로 한다.
본 개시를 통해 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에서, 영상 복호화 방법이 제공된다. 영상 복호화 방법은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭(Template Matching)을 수행함으로써 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상일 수 있다. 영상 복호화 방법은, 제2 참조 블록을 이용하여, 현재 블록을 복원하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 복호화 장치가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다. 적어도 하나의 프로세서는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다. 적어도 하나의 프로세서는, 제2 참조 블록을 이용하여, 현재 블록을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 방법이 제공될 수 있다. 영상 부호화 방법은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 상기 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 상기 제2 참조 영상 내 제2 참조 블록을 결정하는 단계를 포함할 수 있다. 상기 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상일 수 있다. 영상 부호화 방법은, 참조 블록을 이용하여 현재 블록을 부호화하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다. 적어도 하나의 프로세서는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다. 적어도 하나의 프로세서는, 제2 참조 블록을 이용하여, 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상의 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다. 비트스트림은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 움직임 벡터를 결정하기 위한 움직임 정보를 포함할 수 있다. 움직임 벡터는, 움직임 벡터가 가리키는 블록을 포함하는 제1 참조 영상과는 상이한 제2 참조 영상 내에서 템플릿 매칭을 수행하여 제2 참조 영상 내 제2 참조 블록을 결정하기 위해 이용될 수 있다. 제2 참조 영상은, 제1 참조 영상 내의 소정의 블록의 움직임 벡터를 이용하여 결정될 수 있다. 제2 참조 블록은, 현재 블록을 복원하기 위해 이용될 수 있다.
도 1은 일 실시예에 따른 영상 복호화 장치의 블록도이다.
도 2는 일 실시예에 따른 영상 부호화 장치의 블록도이다.
도 3은 일 실시예에 따라 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 4는 일 실시예에 따라 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 5는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
도 6은 일 실시예에 따라 홀수 개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 7은 일 실시예에 따라 현재 부호화 단위를 분할하여 복수 개의 부호화 단위들을 결정하는 경우, 복수 개의 부호화 단위들이 처리되는 순서를 도시한다.
도 8은 일 실시예에 따라 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수 개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
도 9는 일 실시예에 따라 제 1 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
도 10은 일 실시예에 따라 제 1 부호화 단위가 분할되어 결정된 비-정사각형 형태의 제 2 부호화 단위가 소정의 조건을 만족하는 경우 분할될 수 있는 형태가 제한됨을 도시한다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로의 분할을 나타낼 수 없는 경우, 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
도 12는 일 실시예에 따라 복수 개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수 개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
도 15는 일 실시예에 따라 픽처에 포함되는 복수 개의 소정의 데이터 단위에 따라 복수 개의 부호화 단위들이 결정된 것을 도시한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽처마다 서로 다른 경우, 각각의 픽처마다 결정될 수 있는 부호화 단위들을 도시한다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현되는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 19는 일 실시예에 따른 루프 필터링을 수행하는 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
도 20은 일 실시예에 따른 영상 복호화 장치의 구성을 도시하는 블록도이다.
도 21는 일 실시예에 따른 현재 블록과 관련된 이웃 블록들의 위치를 나타내는 도면이다.
도 22은 일 실시예에 따른 템플릿 매칭 예측 모드의 템플릿을 설명하기 위한 도면이다.
도 23는 일 실시예에 따른 템플릿 매칭에 기반하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 26는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 27는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 영상 복호화 방법의 순서도이다.
도 29은 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.
도 30는 일 실시예에 따른 영상 부호화 방법의 순서도이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 실시예를 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명한다. 그러나, 이는 본 개시의 실시 형태에 대해 한정하려는 것이 아니며, 본 개시는 여러 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함할 수 있다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 해당할 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나"의 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다.
본 개시에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 2개 이상의 구성요소로 나뉘어질 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주 기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수 있으며, 구성요소 각각이 담당하는 주 기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있다.
본 개시에서, '영상(image)'은 영상(picture), 정지영상, 프레임, 복수의 연속된 정지영상으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
본 개시에서, '샘플'은 영상의 샘플링 위치에 할당된 데이터로서 처리 대상이 되는 데이터를 의미할 수 있다. 예를 들어, 공간 영역의 프레임 내 픽셀이 샘플에 해당할 수 있다. 복수의 샘플들을 포함하는 단위를 블록이라고 정의할 수 있다.
이하에서는, 도 1 내지 도 19를 참조하여, 일 실시예에 따른 트리 구조의 부호화 단위 및 변환 단위에 기초한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치가 개시된다.
도 1은 일 실시예에 따른 영상 복호화 장치(100)의 블록도를 도시한다.
영상 복호화 장치(100)는 비트스트림 획득부(110) 및 복호화부(120)를 포함할 수 있다. 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서를 포함할 수 있다. 또한 비트스트림 획득부(110) 및 복호화부(120)는 적어도 하나의 프로세서가 수행할 명령어들을 저장하는 메모리를 포함할 수 있다.
비트스트림 획득부(110)는 비트스트림을 수신할 수 있다. 비트스트림은 후술되는 영상 부호화 장치(200)가 영상을 부호화한 정보를 포함한다. 또한 비트스트림은 영상 부호화 장치(200)로부터 송신될 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 유선 또는 무선으로 연결될 수 있으며, 비트스트림 획득부(110)는 유선 또는 무선을 통하여 비트스트림을 수신할 수 있다. 비트스트림 획득부(110)는 광학미디어, 하드디스크 등과 같은 저장매체로부터 비트스트림을 수신할 수 있다. 복호화부(120)는 수신된 비트스트림으로부터 획득된 정보에 기초하여 영상을 복원할 수 있다. 복호화부(120)는 영상을 복원하기 위한 신택스 엘리먼트를 비트스트림으로부터 획득할 수 있다. 복호화부(120)는 신택스 엘리먼트에 기초하여 영상을 복원할 수 있다.
영상 복호화 장치(100)의 동작에 대해 상세히 설명하면, 비트스트림 획득부(110)는 비트스트림을 수신할 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 부호화 단위의 분할 형태 모드에 대응하는 빈스트링을 획득하는 동작을 수행할 수 있다. 그리고, 영상 복호화 장치(100)는 부호화 단위의 분할 규칙을 결정하는 동작을 수행할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드에 대응하는 빈스트링 및 상기 분할 규칙 중 적어도 하나에 기초하여, 부호화 단위를 복수의 부호화 단위들로 분할하는 동작을 수행할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 너비 및 높이의 비율에 따른, 상기 부호화 단위의 크기의 허용 가능한 제 1 범위를 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 결정하기 위하여, 부호화 단위의 분할 형태 모드에 따른, 부호화 단위의 크기의 허용 가능한 제 2 범위를 결정할 수 있다.
이하에서는 본 개시의 일 실시예에 따라 부호화 단위의 분할에 대하여 자세히 설명한다.
먼저 하나의 픽처 (Picture)는 하나 이상의 슬라이스 혹은 하나 이상의 타일로 분할될 수 있다. 하나의 슬라이스 혹은 하나의 타일은 하나 이상의 최대 부호화 단위(Coding Tree Unit; CTU)의 시퀀스일 수 있다. 구현예에 따라, 하나의 슬라이스는 하나 이상의 타일을 포함하고, 하나의 슬라이스는 하나 이상의 최대 부호화 단위를 포함할 수도 있다. 하나 또는 복수의 타일을 포함하는 슬라이스가 픽처 내에서 결정될 수 있다.
최대 부호화 단위 (CTU)와 대비되는 개념으로 최대 부호화 블록 (Coding Tree Block; CTB)이 있다. 최대 부호화 블록(CTB)은 NxN개의 샘플들을 포함하는 NxN 블록을 의미한다(N은 정수). 각 컬러 성분은 하나 이상의 최대 부호화 블록으로 분할될 수 있다.
픽처가 3개의 샘플 어레이(Y, Cr, Cb 성분별 샘플 어레이)를 가지는 경우에 최대 부호화 단위(CTU)란, 루마 샘플의 최대 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 최대 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 최대 부호화 단위란, 모노크롬 샘플의 최대 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 최대 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
하나의 최대 부호화 블록(CTB)은 MxN개의 샘플들을 포함하는 MxN 부호화 블록(coding block)으로 분할될 수 있다 (M, N은 정수).
픽처가 Y, Cr, Cb 성분별 샘플 어레이를 가지는 경우에 부호화 단위(Coding Unit; CU)란, 루마 샘플의 부호화 블록 및 그에 대응되는 크로마 샘플들의 2개의 부호화 블록과, 루마 샘플, 크로마 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 모노크롬 픽처인 경우에 부호화 단위란, 모노크롬 샘플의 부호화 블록과 모노크롬 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다. 픽처가 컬러 성분별로 분리되는 컬러 플레인으로 부호화되는 픽처인 경우에 부호화 단위란, 해당 픽처와 픽처의 샘플들을 부호화하는데 이용되는 신택스 구조들을 포함하는 단위이다.
위에서 설명한 바와 같이, 최대 부호화 블록과 최대 부호화 단위는 서로 구별되는 개념이며, 부호화 블록과 부호화 단위는 서로 구별되는 개념이다. 즉, (최대) 부호화 단위는 해당 샘플을 포함하는 (최대) 부호화 블록과 그에 대응하는 신택스 구조를 포함하는 데이터 구조를 의미한다. 하지만 당업자가 (최대) 부호화 단위 또는 (최대) 부호화 블록가 소정 개수의 샘플들을 포함하는 소정 크기의 블록을 지칭한다는 것을 이해할 수 있으므로, 이하 명세서에서는 최대 부호화 블록과 최대 부호화 단위, 또는 부호화 블록과 부호화 단위를 특별한 사정이 없는 한 구별하지 않고 언급한다.
영상은 최대 부호화 단위(Coding Tree Unit; CTU)로 분할될 수 있다. 최대 부호화 단위의 크기는 비트스트림으로부터 획득된 정보에 기초하여 결정될 수 있다. 최대 부호화 단위의 모양은 동일 크기의 정사각형을 가질 수 있다. 하지만 이에 한정되는 것은 아니다.
예를 들어, 비트스트림으로부터 루마 부호화 블록의 최대 크기에 대한 정보가 획득될 수 있다. 예를 들어, 루마 부호화 블록의 최대 크기에 대한 정보가 나타내는 루마 부호화 블록의 최대 크기는 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, 256x256 중 하나일 수 있다.
예를 들어, 비트스트림으로부터 2분할이 가능한 루마 부호화 블록의 최대 크기와 루마 블록 크기 차이에 대한 정보가 획득될 수 있다. 루마 블록 크기 차이에 대한 정보는 루마 최대 부호화 단위와 2분할이 가능한 최대 루마 부호화 블록 간의 크기 차이를 나타낼 수 있다. 따라서, 비트스트림으로부터 획득된 2분할이 가능한 루마 부호화 블록의 최대 크기에 대한 정보와 루마 블록 크기 차이에 대한 정보를 결합하면, 루마 최대 부호화 단위의 크기가 결정될 수 있다. 루마 최대 부호화 단위의 크기를 이용하면 크로마 최대 부호화 단위의 크기도 결정될 수 있다. 예를 들어, 컬러 포맷에 따라 Y: Cb : Cr 비율이 4:2:0 이라면, 크로마 블록의 크기는 루마 블록의 크기의 절반일 수 있고, 마찬가지로 크로마 최대 부호화 단위의 크기는 루마 최대 부호화 단위의 크기의 절반일 수 있다.
일 실시예에 따르면, 바이너리 분할(binary split)이 가능한 루마 부호화 블록의 최대 크기에 대한 정보는 비트스트림으로부터 획득하므로, 바이너리 분할이 가능한 루마 부호화 블록의 최대 크기는 가변적으로 결정될 수 있다. 이와 달리, 터너리 분할(ternary split)이 가능한 루마 부호화 블록의 최대 크기는 고정될 수 있다. 예를 들어, I 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 32x32이고, P 픽처 또는 B 픽처에서 터너리 분할이 가능한 루마 부호화 블록의 최대 크기는 64x64일 수 있다.
또한 최대 부호화 단위는 비트스트림으로부터 획득된 분할 형태 모드 정보에 기초하여 부호화 단위로 계층적으로 분할될 수 있다. 분할 형태 모드 정보로서, 쿼드분할(quad split) 여부를 나타내는 정보, 다분할 여부를 나타내는 정보, 분할 방향 정보 및 분할 타입 정보 중 적어도 하나가 비트스트림으로부터 획득될 수 있다.
예를 들어, 쿼드분할(quad split) 여부를 나타내는 정보는 현재 부호화 단위가 쿼드분할(QUAD_SPLIT)될지 또는 쿼드분할되지 않을지를 나타낼 수 있다.
현재 부호화 단위가 쿼드분할지되 않으면, 다분할 여부를 나타내는 정보는 현재 부호화 단위가 더 이상 분할되지 않을지(NO_SPLIT) 아니면 바이너리/터너리 분할될지 여부를 나타낼 수 있다.
현재 부호화 단위가 바이너리 분할되거나 터너리 분할되면, 분할 방향 정보는 현재 부호화 단위가 수평 방향 또는 수직 방향 중 하나로 분할됨을 나타낸다.
현재 부호화 단위가 수평 또는 수직 방향으로 분할되면 분할 타입 정보는 현재 부호화 단위를 바이너리 분할 또는 터너리 분할로 분할함을 나타낸다.
분할 방향 정보 및 분할 타입 정보에 따라, 현재 부호화 단위의 분할 모드가 결정될 수 있다. 현재 부호화 단위가 수평 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수평 분할(SPLIT_BT_HOR), 수평 방향으로 터너리 분할되는 경우의 터너리 수평 분할(SPLIT_TT_HOR), 수직 방향으로 바이너리 분할되는 경우의 분할 모드는 바이너리 수직 분할 (SPLIT_BT_VER) 및 수직 방향으로 터너리 분할되는 경우의 분할 모드는 터너리 수직 분할 (SPLIT_TT_VER)로 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 하나의 빈스트링으로부터 획득할 수 있다. 영상 복호화 장치(100)가 수신한 비트스트림의 형태는 Fixed length binary code, Unary code, Truncated unary code, 미리 결정된 바이너리 코드 등을 포함할 수 있다. 빈스트링은 정보를 2진수의 나열로 나타낸 것이다. 빈스트링은 적어도 하나의 비트로 구성될 수 있다. 영상 복호화 장치(100)는 분할 규칙에 기초하여 빈스트링에 대응하는 분할 형태 모드 정보를 획득할 수 있다. 영상 복호화 장치(100)는 하나의 빈스트링에 기초하여, 부호화 단위를 쿼드분할할지 여부, 분할하지 않을지 또는 분할 방향 및 분할 타입을 결정할 수 있다.
부호화 단위는 최대 부호화 단위보다 작거나 같을 수 있다. 예를 들어 최대 부호화 단위도 최대 크기를 가지는 부호화 단위이므로 부호화 단위의 하나이다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할되지 않음을 나타내는 경우, 최대 부호화 단위에서 결정되는 부호화 단위는 최대 부호화 단위와 같은 크기를 가진다. 최대 부호화 단위에 대한 분할 형태 모드 정보가 분할됨을 나타내는 경우 최대 부호화 단위는 부호화 단위들로 분할 될 수 있다. 또한 부호화 단위에 대한 분할 형태 모드 정보가 분할을 나타내는 경우 부호화 단위들은 더 작은 크기의 부호화 단위들로 분할될 수 있다. 다만, 영상의 분할은 이에 한정되는 것은 아니며 최대 부호화 단위 및 부호화 단위는 구별되지 않을 수 있다. 부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다.
또한 부호화 단위로부터 예측을 위한 하나 이상의 예측 블록이 결정될 수 있다. 예측 블록은 부호화 단위와 같거나 작을 수 있다. 또한 부호화 단위로부터 변환을 위한 하나 이상의 변환 블록이 결정될 수 있다. 변환 블록은 부호화 단위와 같거나 작을 수 있다.
변환 블록과 예측 블록의 모양 및 크기는 서로 관련 없을 수 있다.
다른 실시예로, 부호화 단위가 예측 블록으로서 부호화 단위를 이용하여 예측이 수행될 수 있다. 또한 부호화 단위가 변환 블록으로서 부호화 단위를 이용하여 변환이 수행될 수 있다.
부호화 단위의 분할에 대해서는 도 3 내지 도 16에서 보다 자세히 설명한다. 본 개시의 현재 블록 및 주변 블록은 최대 부호화 단위, 부호화 단위, 예측 블록 및 변환 블록 중 하나를 나타낼 수 있다. 또한, 현재 블록 또는 현재 부호화 단위는 현재 복호화 또는 부호화가 진행되는 블록 또는 현재 분할이 진행되고 있는 블록이다. 주변 블록은 현재 블록 이전에 복원된 블록일 수 있다. 주변 블록은 현재 블록으로부터 공간적 또는 시간적으로 인접할 수 있다. 주변 블록은 현재 블록의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측, 우하측 중 하나에 위치할 수 있다.
도 3은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
블록 형태는 4Nx4N, 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N을 포함할 수 있다. 여기서 N은 양의 정수일 수 있다. 블록 형태 정보는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 나타내는 정보이다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우(즉, 부호화 단위의 블록 형태가 4Nx4N 인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 정사각형으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 너비 및 높이의 길이가 다른 경우(즉, 부호화 단위의 블록 형태가 4Nx2N, 2Nx4N, 4NxN, Nx4N, 32NxN, Nx32N, 16NxN, Nx16N, 8NxN 또는 Nx8N인 경우), 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보를 비-정사각형으로 결정할 수 있다. 부호화 단위의 모양이 비-정사각형인 경우, 영상 복호화 장치(100)는 부호화 단위의 블록 형태 정보 중 너비 및 높이의 비율을 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 1:32, 32:1 중 적어도 하나로 결정할 수 있다. 또한, 부호화 단위의 너비의 길이 및 높이의 길이에 기초하여, 영상 복호화 장치(100)는 부호화 단위가 수평 방향인지 수직 방향인지 결정할 수 있다. 또한, 부호화 단위의 너비의 길이, 높이의 길이 또는 넓이 중 적어도 하나에 기초하여, 영상 복호화 장치(100)는 부호화 단위의 크기를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보를 이용하여 부호화 단위의 형태를 결정할 수 있고, 분할 형태 모드 정보를 이용하여 부호화 단위가 어떤 형태로 분할되는지를 결정할 수 있다. 즉, 영상 복호화 장치(100)가 이용하는 블록 형태 정보가 어떤 블록 형태를 나타내는지에 따라 분할 형태 모드 정보가 나타내는 부호화 단위의 분할 방법이 결정될 수 있다.
영상 복호화 장치(100)는 비트스트림으로부터 분할 형태 모드 정보를 획득할 수 있다. 하지만 이에 한정되는 것은 아니며, 영상 복호화 장치(100) 및 영상 부호화 장치(200)는 블록 형태 정보에 기초하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 영상 복호화 장치(100)는 최대 부호화 단위 또는 최소 부호화 단위에 대하여 미리 약속된 분할 형태 모드 정보를 결정할 수 있다. 예를 들어 영상 복호화 장치(100)는 최대 부호화 단위에 대하여 분할 형태 모드 정보를 쿼드 분할(quad split)로 결정할 수 있다. 또한, 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 분할 형태 모드 정보를 "분할하지 않음"으로 결정할 수 있다. 구체적으로 영상 복호화 장치(100)는 최대 부호화 단위의 크기를 256x256으로 결정할 수 있다. 영상 복호화 장치(100)는 미리 약속된 분할 형태 모드 정보를 쿼드 분할로 결정할 수 있다. 쿼드 분할은 부호화 단위의 너비 및 높이를 모두 이등분하는 분할 형태 모드이다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 256x256 크기의 최대 부호화 단위로부터 128x128 크기의 부호화 단위를 획득할 수 있다. 또한 영상 복호화 장치(100)는 최소 부호화 단위의 크기를 4x4로 결정할 수 있다. 영상 복호화 장치(100)는 최소 부호화 단위에 대하여 "분할하지 않음"을 나타내는 분할 형태 모드 정보를 획득할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 현재 부호화 단위가 정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 예를 들어 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 정사각형의 부호화 단위를 분할하지 않을지, 수직으로 분할할지, 수평으로 분할할지, 4개의 부호화 단위로 분할할지 등을 결정할 수 있다. 도 3을 참조하면, 현재 부호화 단위(300)의 블록 형태 정보가 정사각형의 형태를 나타내는 경우, 복호화부(120)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(300)와 동일한 크기를 가지는 부호화 단위(310a)를 분할하지 않거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 기초하여 분할된 부호화 단위(310b, 310c, 310d, 310e, 310f 등)를 결정할 수 있다.
도 3을 참조하면 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 두 개의 부호화 단위(310b)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 두 개의 부호화 단위(310c)를 결정할 수 있다. 영상 복호화 장치(100)는 수직방향 및 수평방향으로 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향 및 수평방향으로 분할한 네 개의 부호화 단위(310d)를 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 수직방향으로 터너리(ternary) 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수직방향으로 분할한 세 개의 부호화 단위(310e)를 결정할 수 있다. 영상 복호화 장치(100)는 수평방향으로 터너리 분할됨을 나타내는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(300)를 수평방향으로 분할한 세 개의 부호화 단위(310f)를 결정할 수 있다. 다만 정사각형의 부호화 단위가 분할될 수 있는 분할 형태는 상술한 형태로 한정하여 해석되어서는 안되고, 분할 형태 모드 정보가 나타낼 수 있는 다양한 형태가 포함될 수 있다. 정사각형의 부호화 단위가 분할되는 소정의 분할 형태들은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
도 4는 일 실시예에 따라 영상 복호화 장치(100)가 비-정사각형의 형태인 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 비-정사각형 형태임을 나타내는 블록 형태 정보를 이용할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 비-정사각형의 현재 부호화 단위를 분할하지 않을지 소정의 방법으로 분할할지 여부를 결정할 수 있다. 도 4를 참조하면, 현재 부호화 단위(400 또는 450)의 블록 형태 정보가 비-정사각형의 형태를 나타내는 경우, 영상 복호화 장치(100)는 분할되지 않음을 나타내는 분할 형태 모드 정보에 따라 현재 부호화 단위(400 또는 450)와 동일한 크기를 가지는 부호화 단위(410 또는 460)를 결정하거나, 소정의 분할방법을 나타내는 분할 형태 모드 정보에 따라 기초하여 분할된 부호화 단위(420a, 420b, 430a, 430b, 430c, 470a, 470b, 480a, 480b, 480c)를 결정할 수 있다. 비-정사각형의 부호화 단위가 분할되는 소정의 분할 방법은 이하에서 다양한 실시예를 통해 구체적으로 설명하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 이용하여 부호화 단위가 분할되는 형태를 결정할 수 있고, 이 경우 분할 형태 모드 정보는 부호화 단위가 분할되어 생성되는 적어도 하나의 부호화 단위의 개수를 나타낼 수 있다. 도 4를 참조하면 분할 형태 모드 정보가 두 개의 부호화 단위로 현재 부호화 단위(400 또는 450)가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(400 또는 450)를 분할하여 현재 부호화 단위에 포함되는 두 개의 부호화 단위(420a, 420b, 또는 470a, 470b)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형의 형태의 현재 부호화 단위(400 또는 450)를 분할하는 경우, 영상 복호화 장치(100)는 비-정사각형의 현재 부호화 단위(400 또는 450)의 긴 변의 위치를 고려하여 현재 부호화 단위를 분할할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 형태를 고려하여 현재 부호화 단위(400 또는 450)의 긴 변을 분할하는 방향으로 현재 부호화 단위(400 또는 450)를 분할하여 복수개의 부호화 단위를 결정할 수 있다.
일 실시예에 따라, 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위를 분할(터너리 분할)하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있다. 예를 들면, 분할 형태 모드 정보가 3개의 부호화 단위로 현재 부호화 단위(400 또는 450)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)를 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)로 분할할 수 있다.
일 실시예에 따라, 현재 부호화 단위(400 또는 450)의 너비 및 높이의 비율이 4:1 또는 1:4 일 수 있다. 너비 및 높이의 비율이 4:1 인 경우, 너비의 길이가 높이의 길이보다 길므로 블록 형태 정보는 수평 방향일 수 있다. 너비 및 높이의 비율이 1:4 인 경우, 너비의 길이가 높이의 길이보다 짧으므로 블록 형태 정보는 수직 방향일 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위를 홀수개의 블록으로 분할할 것을 결정할 수 있다. 또한 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)의 블록 형태 정보에 기초하여 현재 부호화 단위(400 또는 450)의 분할 방향을 결정할 수 있다. 예를 들어 현재 부호화 단위(400)가 수직 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400)를 수평 방향으로 분할 하여 부호화 단위(430a, 430b, 430c)를 결정할 수 있다. 또한 현재 부호화 단위(450)가 수평 방향인 경우, 영상 복호화 장치(100)는 현재 부호화 단위(450)를 수직 방향으로 분할 하여 부호화 단위(480a, 480b, 480c)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있으며, 결정된 부호화 단위들의 크기 모두가 동일하지는 않을 수 있다. 예를 들면, 결정된 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c) 중 소정의 부호화 단위(430b 또는 480b)의 크기는 다른 부호화 단위(430a, 430c, 480a, 480c)들과는 다른 크기를 가질 수도 있다. 즉, 현재 부호화 단위(400 또는 450)가 분할되어 결정될 수 있는 부호화 단위는 복수의 종류의 크기를 가질 수 있고, 경우에 따라서는 홀수개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)가 각각 서로 다른 크기를 가질 수도 있다.
일 실시예에 따라 분할 형태 모드 정보가 홀수개의 블록으로 부호화 단위가 분할되는 것을 나타내는 경우, 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)에 포함되는 홀수개의 부호화 단위를 결정할 수 있고, 나아가 영상 복호화 장치(100)는 분할하여 생성되는 홀수개의 부호화 단위들 중 적어도 하나의 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 도 4를 참조하면 영상 복호화 장치(100)는 현재 부호화 단위(400 또는 450)가 분할되어 생성된 3개의 부호화 단위(430a, 430b, 430c, 480a, 480b, 480c)들 중 중앙에 위치하는 부호화 단위(430b, 480b)에 대한 복호화 과정을 다른 부호화 단위(430a, 430c, 480a, 480c)와 다르게 할 수 있다. 예를 들면, 영상 복호화 장치(100)는 중앙에 위치하는 부호화 단위(430b, 480b)에 대하여는 다른 부호화 단위(430a, 430c, 480a, 480c)와 달리 더 이상 분할되지 않도록 제한하거나, 소정의 횟수만큼만 분할되도록 제한할 수 있다.
도 5는 일 실시예에 따라 영상 복호화 장치(100)가 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 정사각형 형태의 제1 부호화 단위(500)를 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 일 실시예에 따라 분할 형태 모드 정보가 수평 방향으로 제1 부호화 단위(500)를 분할하는 것을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(500)를 수평 방향으로 분할하여 제2 부호화 단위(510)를 결정할 수 있다. 일 실시예에 따라 이용되는 제1 부호화 단위, 제2 부호화 단위, 제3 부호화 단위는 부호화 단위 간의 분할 전후 관계를 이해하기 위해 이용된 용어이다. 예를 들면, 제1 부호화 단위를 분할하면 제2 부호화 단위가 결정될 수 있고, 제2 부호화 단위가 분할되면 제3 부호화 단위가 결정될 수 있다. 이하에서는 이용되는 제1 부호화 단위, 제2 부호화 단위 및 제3 부호화 단위의 관계는 상술한 특징에 따르는 것으로 이해될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 결정된 제2 부호화 단위(510)를 분할 형태 모드 정보에 기초하여 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다. 도 5를 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 결정된 비-정사각형의 형태의 제2 부호화 단위(510)를 적어도 하나의 제3 부호화 단위(520a, 520b, 520c, 520d 등)로 분할하거나 제2 부호화 단위(510)를 분할하지 않을 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보를 획득할 수 있고 영상 복호화 장치(100)는 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)를 분할하여 다양한 형태의 복수개의 제2 부호화 단위(예를 들면, 510)를 분할할 수 있으며, 제2 부호화 단위(510)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(500)가 분할된 방식에 따라 분할될 수 있다. 일 실시예에 따라, 제1 부호화 단위(500)가 제1 부호화 단위(500)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)로 분할된 경우, 제2 부호화 단위(510) 역시 제2 부호화 단위(510)에 대한 분할 형태 모드 정보에 기초하여 제3 부호화 단위(예를 들면, 520a, 520b, 520c, 520d 등)으로 분할될 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 관련된 분할 형태 모드 정보에 기초하여 재귀적으로 분할될 수 있다. 따라서 비-정사각형 형태의 부호화 단위에서 정사각형의 부호화 단위가 결정될 수 있고, 이러한 정사각형 형태의 부호화 단위가 재귀적으로 분할되어 비-정사각형 형태의 부호화 단위가 결정될 수도 있다.
도 5를 참조하면, 비-정사각형 형태의 제2 부호화 단위(510)가 분할되어 결정되는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 부호화 단위(예를 들면, 가운데에 위치하는 부호화 단위 또는 정사각형 형태의 부호화 단위)는 재귀적으로 분할될 수 있다. 일 실시예에 따라 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 하나인 비-정사각형 형태의 제3 부호화 단위(520b)는 수평 방향으로 분할되어 복수개의 제4 부호화 단위로 분할될 수 있다. 복수개의 제4 부호화 단위(530a, 530b, 530c, 530d) 중 하나인 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 다시 복수개의 부호화 단위들로 분할될 수 있다. 예를 들면, 비-정사각형 형태의 제4 부호화 단위(530b 또는 530d)는 홀수개의 부호화 단위로 다시 분할될 수도 있다. 부호화 단위의 재귀적 분할에 이용될 수 있는 방법에 대하여는 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제3 부호화 단위(520a, 520b, 520c, 520d 등) 각각을 부호화 단위들로 분할할 수 있다. 또한 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제2 부호화 단위(510)를 분할하지 않는 것으로 결정할 수 있다. 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 제2 부호화 단위(510)를 홀수개의 제3 부호화 단위(520b, 520c, 520d)로 분할할 수 있다. 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 소정의 제3 부호화 단위에 대하여 소정의 제한을 둘 수 있다. 예를 들면 영상 복호화 장치(100)는 홀수개의 제3 부호화 단위(520b, 520c, 520d) 중 가운데에 위치하는 부호화 단위(520c)에 대하여는 더 이상 분할되지 않는 것으로 제한하거나 또는 설정 가능한 횟수로 분할되어야 하는 것으로 제한할 수 있다.
도 5를 참조하면, 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(510)에 포함되는 홀수개의 제3 부호화 단위(520b, 520c, 520d)들 중 가운데에 위치하는 부호화 단위(520c)는 더 이상 분할되지 않거나, 소정의 분할 형태로 분할(예를 들면 4개의 부호화 단위로만 분할하거나 제2 부호화 단위(510)가 분할된 형태에 대응하는 형태로 분할)되는 것으로 제한하거나, 소정의 횟수로만 분할(예를 들면 n회만 분할, n>0)하는 것으로 제한할 수 있다. 다만 가운데에 위치한 부호화 단위(520c)에 대한 상기 제한은 단순한 실시예들에 불과하므로 상술한 실시예들로 제한되어 해석되어서는 안되고, 가운데에 위치한 부호화 단위(520c)가 다른 부호화 단위(520b, 520d)와 다르게 복호화 될 수 있는 다양한 제한들을 포함하는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하기 위해 이용되는 분할 형태 모드 정보를 현재 부호화 단위 내의 소정의 위치에서 획득할 수 있다.
도 6은 일 실시예에 따라 영상 복호화 장치(100)가 홀수개의 부호화 단위들 중 소정의 부호화 단위를 결정하기 위한 방법을 도시한다.
도 6을 참조하면, 현재 부호화 단위(600, 650)의 분할 형태 모드 정보는 현재 부호화 단위(600, 650)에 포함되는 복수개의 샘플 중 소정 위치의 샘플(예를 들면, 가운데에 위치하는 샘플(640, 690))에서 획득될 수 있다. 다만 이러한 분할 형태 모드 정보 중 적어도 하나가 획득될 수 있는 현재 부호화 단위(600) 내의 소정 위치가 도 6에서 도시하는 가운데 위치로 한정하여 해석되어서는 안되고, 소정 위치에는 현재 부호화 단위(600)내에 포함될 수 있는 다양한 위치(예를 들면, 최상단, 최하단, 좌측, 우측, 좌측상단, 좌측하단, 우측상단 또는 우측하단 등)가 포함될 수 있는 것으로 해석되어야 한다. 영상 복호화 장치(100)는 소정 위치로부터 획득되는 분할 형태 모드 정보를 획득하여 현재 부호화 단위를 다양한 형태 및 크기의 부호화 단위들로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위가 소정의 개수의 부호화 단위들로 분할된 경우 그 중 하나의 부호화 단위를 선택할 수 있다. 복수개의 부호화 단위들 중 하나를 선택하기 위한 방법은 다양할 수 있으며, 이러한 방법들에 대한 설명은 이하의 다양한 실시예를 통해 후술하도록 한다.
일 실시예에 따라 영상 복호화 장치(100) 는 현재 부호화 단위를 복수개의 부호화 단위들로 분할하고, 소정 위치의 부호화 단위를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 홀수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600) 또는 현재 부호화 단위(650)를 분할하여 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)을 결정할 수 있다. 영상 복호화 장치(100)는 홀수개의 부호화 단위들(620a, 620b, 620c) 또는 홀수개의 부호화 단위들(660a, 660b, 660c)의 위치에 대한 정보를 이용하여 가운데 부호화 단위(620b)또는 가운데 부호화 단위(660b)를 결정할 수 있다. 예를 들면 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 포함되는 소정의 샘플의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 구체적으로, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보에 기초하여 부호화 단위들(620a, 620b, 620c)의 위치를 결정함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 위치 또는 좌표에 대한 정보를 포함할 수 있다. 일 실시예에 따라 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 정보는 현재 부호화 단위(600)에 포함되는 부호화 단위들(620a, 620b, 620c)의 너비 또는 높이를 나타내는 정보를 포함할 수 있고, 이러한 너비 또는 높이는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 좌표 간의 차이를 나타내는 정보에 해당할 수 있다. 즉, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 픽처 내에서의 위치 또는 좌표에 대한 정보를 직접 이용하거나 좌표간의 차이값에 대응하는 부호화 단위의 너비 또는 높이에 대한 정보를 이용함으로써 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다.
일 실시예에 따라, 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보는 (xa, ya) 좌표를 나타낼 수 있고, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(530b)의 위치를 나타내는 정보는 (xb, yb) 좌표를 나타낼 수 있고, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보는 (xc, yc) 좌표를 나타낼 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)에 각각 포함되는 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 이용하여 가운데 부호화 단위(620b)를 결정할 수 있다. 예를 들면, 좌측 상단의 샘플(630a, 630b, 630c)의 좌표를 오름차순 또는 내림차순으로 정렬하였을 때, 가운데에 위치하는 샘플(630b)의 좌표인 (xb, yb)를 포함하는 부호화 단위(620b)를 현재 부호화 단위(600)가 분할되어 결정된 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 좌측 상단의 샘플(630a, 630b, 630c)의 위치를 나타내는 좌표는 픽처 내에서의 절대적인 위치를 나타내는 좌표를 나타낼 수 있고, 나아가 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 기준으로, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 상대적 위치를 나타내는 정보인 (dxb, dyb)좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 상대적 위치를 나타내는 정보인 (dxc, dyc)좌표를 이용할 수도 있다. 또한 부호화 단위에 포함되는 샘플의 위치를 나타내는 정보로서 해당 샘플의 좌표를 이용함으로써 소정 위치의 부호화 단위를 결정하는 방법이 상술한 방법으로 한정하여 해석되어서는 안되고, 샘플의 좌표를 이용할 수 있는 다양한 산술적 방법으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있고, 부호화 단위들(620a, 620b, 620c) 중 소정의 기준에 따라 부호화 단위를 선택할 수 있다. 예를 들면, 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c) 중 크기가 다른 부호화 단위(620b)를 선택할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 좌측 상단의 샘플(630a)의 위치를 나타내는 정보인 (xa, ya) 좌표, 가운데 부호화 단위(620b)의 좌측 상단의 샘플(630b)의 위치를 나타내는 정보인 (xb, yb) 좌표, 하단 부호화 단위(620c)의 좌측 상단의 샘플(630c)의 위치를 나타내는 정보인 (xc, yc) 좌표를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(620a, 620b, 620c)의 위치를 나타내는 좌표인 (xa, ya), (xb, yb), (xc, yc)를 이용하여 부호화 단위들(620a, 620b, 620c) 각각의 크기를 결정할 수 있다. 일 실시예에 따라, 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 상단 부호화 단위(620a)의 높이를 yb-ya로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 너비를 현재 부호화 단위(600)의 너비로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(620b)의 높이를 yc-yb로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 하단 부호화 단위의 너비 또는 높이는 현재 부호화 단위의 너비 또는 높이와 상단 부호화 단위(620a) 및 가운데 부호화 단위(620b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(620a, 620b, 620c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 상단 부호화 단위(620a) 및 하단 부호화 단위(620c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(620b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 좌측 상단의 샘플(670a)의 위치를 나타내는 정보인 (xd, yd) 좌표, 가운데 부호화 단위(660b)의 좌측 상단의 샘플(670b)의 위치를 나타내는 정보인 (xe, ye) 좌표, 우측 부호화 단위(660c)의 좌측 상단의 샘플(670c)의 위치를 나타내는 정보인 (xf, yf) 좌표를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 너비 또는 높이를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위들(660a, 660b, 660c)의 위치를 나타내는 좌표인 (xd, yd), (xe, ye), (xf, yf)를 이용하여 부호화 단위들(660a, 660b, 660c) 각각의 크기를 결정할 수 있다.
일 실시예에 따라, 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 너비를 xe-xd로 결정할 수 있다. 영상 복호화 장치(100)는 좌측 부호화 단위(660a)의 높이를 현재 부호화 단위(650)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 너비를 xf-xe로 결정할 수 있다. 영상 복호화 장치(100)는 가운데 부호화 단위(660b)의 높이를 현재 부호화 단위(600)의 높이로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 우측 부호화 단위(660c)의 너비 또는 높이는 현재 부호화 단위(650)의 너비 또는 높이와 좌측 부호화 단위(660a) 및 가운데 부호화 단위(660b)의 너비 및 높이를 이용하여 결정할 수 있다. 영상 복호화 장치(100)는 결정된 부호화 단위들(660a, 660b, 660c)의 너비 및 높이에 기초하여 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정할 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 좌측 부호화 단위(660a) 및 우측 부호화 단위(660c)의 크기와 다른 크기를 가지는 가운데 부호화 단위(660b)를 소정 위치의 부호화 단위로 결정할 수 있다. 다만 상술한 영상 복호화 장치(100)가 다른 부호화 단위와 다른 크기를 갖는 부호화 단위를 결정하는 과정은 샘플 좌표에 기초하여 결정되는 부호화 단위의 크기를 이용하여 소정 위치의 부호화 단위를 결정하는 일 실시예에 불과하므로, 소정의 샘플 좌표에 따라 결정되는 부호화 단위의 크기를 비교하여 소정 위치의 부호화 단위를 결정하는 다양한 과정이 이용될 수 있다.
다만 부호화 단위의 위치를 결정하기 위하여 고려하는 샘플의 위치는 상술한 좌측 상단으로 한정하여 해석되어서는 안되고 부호화 단위에 포함되는 임의의 샘플의 위치에 대한 정보가 이용될 수 있는 것으로 해석될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 고려하여, 현재 부호화 단위가 분할되어 결정되는 홀수개의 부호화 단위들 중 소정 위치의 부호화 단위를 선택할 수 있다. 예를 들면, 현재 부호화 단위가 너비가 높이보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수평 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수평 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다. 현재 부호화 단위가 높이가 너비보다 긴 비-정사각형 형태라면 영상 복호화 장치(100)는 수직 방향에 따라 소정 위치의 부호화 단위를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 수직 방향으로 위치를 달리 하는 부호화 단위들 중 하나를 결정하여 해당 부호화 단위에 대한 제한을 둘 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 짝수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 짝수개의 부호화 단위들 각각의 위치를 나타내는 정보를 이용할 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위를 분할(바이너리 분할)하여 짝수개의 부호화 단위들을 결정할 수 있고 짝수개의 부호화 단위들의 위치에 대한 정보를 이용하여 소정 위치의 부호화 단위를 결정할 수 있다. 이에 대한 구체적인 과정은 도 6에서 상술한 홀수개의 부호화 단위들 중 소정 위치(예를 들면, 가운데 위치)의 부호화 단위를 결정하는 과정에 대응하는 과정일 수 있으므로 생략하도록 한다.
일 실시예에 따라, 비-정사각형 형태의 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여 분할 과정에서 소정 위치의 부호화 단위에 대한 소정의 정보를 이용할 수 있다. 예를 들면 영상 복호화 장치(100)는 현재 부호화 단위가 복수개로 분할된 부호화 단위들 중 가운데에 위치하는 부호화 단위를 결정하기 위하여 분할 과정에서 가운데 부호화 단위에 포함된 샘플에 저장된 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나를 이용할 수 있다.
도 6을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)를 복수개의 부호화 단위들(620a, 620b, 620c)로 분할할 수 있으며, 복수개의 부호화 단위들(620a, 620b, 620c) 중 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 분할 형태 모드 정보가 획득되는 위치를 고려하여, 가운데에 위치하는 부호화 단위(620b)를 결정할 수 있다. 즉, 현재 부호화 단위(600)의 분할 형태 모드 정보는 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)에서 획득될 수 있으며, 상기 분할 형태 모드 정보에 기초하여 현재 부호화 단위(600)가 복수개의 부호화 단위들(620a, 620b, 620c)로 분할된 경우 상기 샘플(640)을 포함하는 부호화 단위(620b)를 가운데에 위치하는 부호화 단위로 결정할 수 있다. 다만 가운데에 위치하는 부호화 단위로 결정하기 위해 이용되는 정보가 분할 형태 모드 정보로 한정하여 해석되어서는 안되고, 다양한 종류의 정보가 가운데에 위치하는 부호화 단위를 결정하는 과정에서 이용될 수 있다.
일 실시예에 따라 소정 위치의 부호화 단위를 식별하기 위한 소정의 정보는, 결정하려는 부호화 단위에 포함되는 소정의 샘플에서 획득될 수 있다. 도 6을 참조하면, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정된 복수개의 부호화 단위들(620a, 620b, 620c) 중 소정 위치의 부호화 단위(예를 들면, 복수개로 분할된 부호화 단위 중 가운데에 위치하는 부호화 단위)를 결정하기 위하여 현재 부호화 단위(600) 내의 소정 위치의 샘플(예를 들면, 현재 부호화 단위(600)의 가운데에 위치하는 샘플)에서 획득되는 분할 형태 모드 정보를 이용할 수 있다. 즉, 영상 복호화 장치(100)는 현재 부호화 단위(600)의 블록 형태를 고려하여 상기 소정 위치의 샘플을 결정할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위(600)가 분할되어 결정되는 복수개의 부호화 단위들(620a, 620b, 620c) 중, 소정의 정보(예를 들면, 분할 형태 모드 정보)가 획득될 수 있는 샘플이 포함된 부호화 단위(620b)를 결정하여 소정의 제한을 둘 수 있다. 도 6을 참조하면 일 실시예에 따라 영상 복호화 장치(100)는 소정의 정보가 획득될 수 있는 샘플로서 현재 부호화 단위(600)의 가운데에 위치하는 샘플(640)을 결정할 수 있고, 영상 복호화 장치(100)는 이러한 샘플(640)이 포함되는 부호화 단위(620b)를 복호화 과정에서의 소정의 제한을 둘 수 있다. 다만 소정의 정보가 획득될 수 있는 샘플의 위치는 상술한 위치로 한정하여 해석되어서는 안되고, 제한을 두기 위해 결정하려는 부호화 단위(620b)에 포함되는 임의의 위치의 샘플들로 해석될 수 있다.
일 실시예에 따라 소정의 정보가 획득될 수 있는 샘플의 위치는 현재 부호화 단위(600)의 형태에 따라 결정될 수 있다. 일 실시예에 따라 블록 형태 정보는 현재 부호화 단위의 형태가 정사각형인지 또는 비-정사각형인지 여부를 결정할 수 있고, 형태에 따라 소정의 정보가 획득될 수 있는 샘플의 위치를 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위의 너비에 대한 정보 및 높이에 대한 정보 중 적어도 하나를 이용하여 현재 부호화 단위의 너비 및 높이 중 적어도 하나를 반으로 분할하는 경계 상에 위치하는 샘플을 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다. 또다른 예를 들면, 영상 복호화 장치(100)는 현재 부호화 단위에 관련된 블록 형태 정보가 비-정사각형 형태임을 나타내는 경우, 현재 부호화 단위의 긴 변을 반으로 분할하는 경계에 인접하는 샘플 중 하나를 소정의 정보가 획득될 수 있는 샘플로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 복수개의 부호화 단위로 분할한 경우, 복수개의 부호화 단위들 중 소정 위치의 부호화 단위를 결정하기 위하여, 분할 형태 모드 정보를 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보를 부호화 단위에 포함된 소정 위치의 샘플에서 획득할 수 있고, 영상 복호화 장치(100)는 현재 부호화 단위가 분할되어 생성된 복수개의 부호화 단위들을 복수개의 부호화 단위 각각에 포함된 소정 위치의 샘플로부터 획득되는 분할 형태 모드 정보를 이용하여 분할할 수 있다. 즉, 부호화 단위는 부호화 단위 각각에 포함된 소정 위치의 샘플에서 획득되는 분할 형태 모드 정보를 이용하여 재귀적으로 분할될 수 있다. 부호화 단위의 재귀적 분할 과정에 대하여는 도 5를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위를 분할하여 적어도 하나의 부호화 단위를 결정할 수 있고, 이러한 적어도 하나의 부호화 단위가 복호화되는 순서를 소정의 블록(예를 들면, 현재 부호화 단위)에 따라 결정할 수 있다.
도 7은 일 실시예에 따라 영상 복호화 장치(100)가 현재 부호화 단위를 분할하여 복수개의 부호화 단위들을 결정하는 경우, 복수개의 부호화 단위들이 처리되는 순서를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정하거나 제1 부호화 단위(700)를 수평 방향으로 분할하여 제2 부호화 단위(730a, 730b)를 결정하거나 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 제2 부호화 단위(750a, 750b, 750c, 750d)를 결정할 수 있다.
도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 결정된 제2 부호화 단위(710a, 710b)를 수평 방향(710c)으로 처리되도록 순서를 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수평 방향으로 분할하여 결정된 제2 부호화 단위(730a, 730b)의 처리 순서를 수직 방향(730c)으로 결정할 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향 및 수평 방향으로 분할하여 결정된 제2 부호화 단위(750a, 750b, 750c, 750d)를 하나의 행에 위치하는 부호화 단위들이 처리된 후 다음 행에 위치하는 부호화 단위들이 처리되는 소정의 순서(예를 들면, 래스터 스캔 순서((raster scan order) 또는 z 스캔 순서(z scan order)(750e) 등)에 따라 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위들을 재귀적으로 분할할 수 있다. 도 7을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(700)를 분할하여 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 결정할 수 있고, 결정된 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d) 각각을 재귀적으로 분할할 수 있다. 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)을 분할하는 방법은 제1 부호화 단위(700)를 분할하는 방법에 대응하는 방법이 될 수 있다. 이에 따라 복수개의 부호화 단위들(710a, 710b, 730a, 730b, 750a, 750b, 750c, 750d)은 각각 독립적으로 복수개의 부호화 단위들로 분할될 수 있다. 도 7을 참조하면 영상 복호화 장치(100)는 제1 부호화 단위(700)를 수직 방향으로 분할하여 제2 부호화 단위(710a, 710b)를 결정할 수 있고, 나아가 제2 부호화 단위(710a, 710b) 각각을 독립적으로 분할하거나 분할하지 않는 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)를 수평 방향으로 분할하여 제3 부호화 단위(720a, 720b)로 분할할 수 있고, 우측의 제2 부호화 단위(710b)는 분할하지 않을 수 있다.
일 실시예에 따라 부호화 단위들의 처리 순서는 부호화 단위의 분할 과정에 기초하여 결정될 수 있다. 다시 말해, 분할된 부호화 단위들의 처리 순서는 분할되기 직전의 부호화 단위들의 처리 순서에 기초하여 결정될 수 있다. 영상 복호화 장치(100)는 좌측의 제2 부호화 단위(710a)가 분할되어 결정된 제3 부호화 단위(720a, 720b)가 처리되는 순서를 우측의 제2 부호화 단위(710b)와 독립적으로 결정할 수 있다. 좌측의 제2 부호화 단위(710a)가 수평 방향으로 분할되어 제3 부호화 단위(720a, 720b)가 결정되었으므로 제3 부호화 단위(720a, 720b)는 수직 방향(720c)으로 처리될 수 있다. 또한 좌측의 제2 부호화 단위(710a) 및 우측의 제2 부호화 단위(710b)가 처리되는 순서는 수평 방향(710c)에 해당하므로, 좌측의 제2 부호화 단위(710a)에 포함되는 제3 부호화 단위(720a, 720b)가 수직 방향(720c)으로 처리된 후에 우측 부호화 단위(710b)가 처리될 수 있다. 상술한 내용은 부호화 단위들이 각각 분할 전의 부호화 단위에 따라 처리 순서가 결정되는 과정을 설명하기 위한 것이므로, 상술한 실시예에 한정하여 해석되어서는 안되고, 다양한 형태로 분할되어 결정되는 부호화 단위들이 소정의 순서에 따라 독립적으로 처리될 수 있는 다양한 방법으로 이용되는 것으로 해석되어야 한다.
도 8은 일 실시예에 따라 영상 복호화 장치(100)가 소정의 순서로 부호화 단위가 처리될 수 없는 경우, 현재 부호화 단위가 홀수개의 부호화 단위로 분할되는 것임을 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 획득된 분할 형태 모드 정보에 기초하여 현재 부호화 단위가 홀수개의 부호화 단위들로 분할되는 것을 결정할 수 있다. 도 8을 참조하면 정사각형 형태의 제1 부호화 단위(800)가 비-정사각형 형태의 제2 부호화 단위(810a, 810b)로 분할될 수 있고, 제2 부호화 단위(810a, 810b)는 각각 독립적으로 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)로 분할될 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제2 부호화 단위 중 좌측 부호화 단위(810a)는 수평 방향으로 분할하여 복수개의 제3 부호화 단위(820a, 820b)를 결정할 수 있고, 우측 부호화 단위(810b)는 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제3 부호화 단위들(820a, 820b, 820c, 820d, 820e)이 소정의 순서로 처리될 수 있는지 여부를 판단하여 홀수개로 분할된 부호화 단위가 존재하는지를 결정할 수 있다. 도 8을 참조하면, 영상 복호화 장치(100)는 제1 부호화 단위(800)를 재귀적으로 분할하여 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)를 결정할 수 있다. 영상 복호화 장치(100)는 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여, 제1 부호화 단위(800), 제2 부호화 단위(810a, 810b) 또는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 분할되는 형태 중 홀수개의 부호화 단위로 분할되는지 여부를 결정할 수 있다. 예를 들면, 제2 부호화 단위(810a, 810b) 중 우측에 위치하는 부호화 단위가 홀수개의 제3 부호화 단위(820c, 820d, 820e)로 분할될 수 있다. 제1 부호화 단위(800)에 포함되는 복수개의 부호화 단위들이 처리되는 순서는 소정의 순서(예를 들면, z-스캔 순서(z-scan order)(830))가 될 수 있고, 영상 복호화 장치(100)는 우측 제2 부호화 단위(810b)가 홀수개로 분할되어 결정된 제3 부호화 단위(820c, 820d, 820e)가 상기 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 판단할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(800)에 포함되는 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제3 부호화 단위(820a, 820b, 820c, 820d, 820e)의 경계에 따라 제2 부호화 단위(810a, 810b)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 예를 들면 비-정사각형 형태의 좌측 제2 부호화 단위(810a)의 높이를 반으로 분할하여 결정되는 제3 부호화 단위(820a, 820b)는 조건을 만족할 수 있다. 우측 제2 부호화 단위(810b)를 3개의 부호화 단위로 분할하여 결정되는 제3 부호화 단위(820c, 820d, 820e)들의 경계가 우측 제2 부호화 단위(810b)의 너비 또는 높이를 반으로 분할하지 못하므로 제3 부호화 단위(820c, 820d, 820e)는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 우측 제2 부호화 단위(810b)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
도 9는 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(900)를 분할하여 적어도 하나의 부호화 단위를 결정하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 제1 부호화 단위(900)를 분할할 수 있다. 정사각형 형태의 제1 부호화 단위(900)는 4개의 정사각형 형태를 가지는 부호화 단위로 분할되거나 또는 비-정사각형 형태의 복수개의 부호화 단위로 분할할 수 있다. 예를 들면 도 9를 참조하면, 제1 부호화 단위(900)는 정사각형이고 분할 형태 모드 정보가 비-정사각형의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(900)를 복수개의 비-정사각형의 부호화 단위들로 분할할 수 있다. 구체적으로, 분할 형태 모드 정보가 제1 부호화 단위(900)를 수평 방향 또는 수직 방향으로 분할하여 홀수개의 부호화 단위를 결정하는 것을 나타내는 경우, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900)를 홀수개의 부호화 단위들로서 수직 방향으로 분할되어 결정된 제2 부호화 단위(910a, 910b, 910c) 또는 수평 방향으로 분할되어 결정된 제2 부호화 단위(920a, 920b, 920c)로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(900)에 포함되는 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)가 소정의 순서에 따라 처리될 수 있는 조건을 만족하는지를 결정할 수 있으며, 상기 조건은 제2 부호화 단위(910a, 910b, 910c, 920a, 920b, 920c)의 경계에 따라 제1 부호화 단위(900)의 너비 및 높이 중 적어도 하나를 반으로 분할되는지 여부와 관련된다. 도 9를 참조하면 정사각형 형태의 제1 부호화 단위(900)를 수직 방향으로 분할하여 결정되는 제2 부호화 단위(910a, 910b, 910c)들의 경계가 제1 부호화 단위(900)의 너비를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 또한 정사각형 형태의 제1 부호화 단위(900)를 수평 방향으로 분할하여 결정되는 제2 부호화 단위(920a, 920b, 920c)들의 경계가 제1 부호화 단위(900)의 높이를 반으로 분할하지 못하므로 제1 부호화 단위(900)는 소정의 순서에 따라 처리될 수 있는 조건을 만족하지 못하는 것으로 결정될 수 있다. 영상 복호화 장치(100)는 이러한 조건 불만족의 경우 스캔 순서의 단절(disconnection)로 판단하고, 판단 결과에 기초하여 제1 부호화 단위(900)는 홀수개의 부호화 단위로 분할되는 것으로 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 홀수개의 부호화 단위로 분할되는 경우 분할된 부호화 단위들 중 소정 위치의 부호화 단위에 대하여 소정의 제한을 둘 수 있으며, 이러한 제한 내용 또는 소정 위치 등에 대하여는 다양한 실시예를 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라, 영상 복호화 장치(100)는 제1 부호화 단위를 분할하여 다양한 형태의 부호화 단위들을 결정할 수 있다.
도 9를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(900), 비-정사각형 형태의 제1 부호화 단위(930 또는 950)를 다양한 형태의 부호화 단위들로 분할할 수 있다.
도 10은 일 실시예에 따라 영상 복호화 장치(100)가 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위가 소정의 조건을 만족하는 경우 제2 부호화 단위가 분할될 수 있는 형태가 제한되는 것을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 분할 형태 모드 정보에 기초하여 정사각형 형태의 제1 부호화 단위(1000)를 비-정사각형 형태의 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)로 분할하는 것으로 결정할 수 있다. 제2 부호화 단위(1010a, 1010b, 1020a, 1020b)는 독립적으로 분할될 수 있다. 이에 따라 영상 복호화 장치(100)는 제2 부호화 단위(1010a, 1010b, 1020a, 1020b) 각각에 관련된 분할 형태 모드 정보에 기초하여 복수개의 부호화 단위로 분할하거나 분할하지 않는 것을 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할하여 제3 부호화 단위(1012a, 1012b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1010a)를 수평 방향으로 분할한 경우, 우측 제2 부호화 단위(1010b)는 좌측 제2 부호화 단위(1010a)가 분할된 방향과 동일하게 수평 방향으로 분할될 수 없도록 제한할 수 있다. 만일 우측 제2 부호화 단위(1010b)가 동일한 방향으로 분할되어 제3 부호화 단위(1014a, 1014b)가 결정된 경우, 좌측 제2 부호화 단위(1010a) 및 우측 제2 부호화 단위(1010b)가 수평 방향으로 각각 독립적으로 분할됨으로써 제3 부호화 단위(1012a, 1012b, 1014a, 1014b)가 결정될 수 있다. 하지만 이는 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1000)를 4개의 정사각형 형태의 제2 부호화 단위(1030a, 1030b, 1030c, 1030d)로 분할한 것과 동일한 결과이며 이는 영상 복호화 측면에서 비효율적일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 제1 부호화 단위(1000)가 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1020a 또는 1020b)를 수직 방향으로 분할하여 제3 부호화 단위(1022a, 1022b, 1024a, 1024b)를 결정할 수 있다. 다만 영상 복호화 장치(100)는 제2 부호화 단위 중 하나(예를 들면 상단 제2 부호화 단위(1020a))를 수직 방향으로 분할한 경우, 상술한 이유에 따라 다른 제2 부호화 단위(예를 들면 하단 부호화 단위(1020b))는 상단 제2 부호화 단위(1020a)가 분할된 방향과 동일하게 수직 방향으로 분할될 수 없도록 제한할 수 있다.
도 11은 일 실시예에 따라 분할 형태 모드 정보가 4개의 정사각형 형태의 부호화 단위로 분할하는 것을 나타낼 수 없는 경우, 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 분할하는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)를 분할하여 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다. 분할 형태 모드 정보에는 부호화 단위가 분할될 수 있는 다양한 형태에 대한 정보가 포함될 수 있으나, 다양한 형태에 대한 정보에는 정사각형 형태의 4개의 부호화 단위로 분할하기 위한 정보가 포함될 수 없는 경우가 있다. 이러한 분할 형태 모드 정보에 따르면, 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1100)를 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할하지 못한다. 분할 형태 모드 정보에 기초하여 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등)를 각각 독립적으로 분할할 수 있다. 재귀적인 방법을 통해 제2 부호화 단위(1110a, 1110b, 1120a, 1120b 등) 각각이 소정의 순서대로 분할될 수 있으며, 이는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1100)가 분할되는 방법에 대응하는 분할 방법일 수 있다.
예를 들면 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1112a, 1112b)를 결정할 수 있고, 우측 제2 부호화 단위(1110b)가 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1114a, 1114b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1110a) 및 우측 제2 부호화 단위(1110b) 모두 수평 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1116a, 1116b, 1116c, 1116d)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
또 다른 예를 들면 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1122a, 1122b)를 결정할 수 있고, 하단 제2 부호화 단위(1120b)가 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1124a, 1124b)를 결정할 수 있다. 나아가 영상 복호화 장치(100)는 상단 제2 부호화 단위(1120a) 및 하단 제2 부호화 단위(1120b) 모두 수직 방향으로 분할되어 정사각형 형태의 제3 부호화 단위(1126a, 1126b, 1126a, 1126b)를 결정할 수도 있다. 이러한 경우 제1 부호화 단위(1100)가 4개의 정사각형 형태의 제2 부호화 단위(1130a, 1130b, 1130c, 1130d)로 분할된 것과 동일한 형태로 부호화 단위가 결정될 수 있다.
도 12는 일 실시예에 따라 복수개의 부호화 단위들 간의 처리 순서가 부호화 단위의 분할 과정에 따라 달라질 수 있음을 도시한 것이다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1200)를 분할할 수 있다. 블록 형태가 정사각형이고, 분할 형태 모드 정보가 제1 부호화 단위(1200)가 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 제1 부호화 단위(1200)를 분할하여 제2 부호화 단위(예를 들면, 1210a, 1210b, 1220a, 1220b 등)를 결정할 수 있다. 도 12를 참조하면 제1 부호화 단위(1200)가 수평 방향 또는 수직 방향만으로 분할되어 결정된 비-정사각형 형태의 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)는 각각에 대한 분할 형태 모드 정보에 기초하여 독립적으로 분할될 수 있다. 예를 들면 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 제1 부호화 단위(1200)가 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 이러한 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)의 분할 과정은 도 11과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 순서에 따라 부호화 단위를 처리할 수 있다. 소정의 순서에 따른 부호화 단위의 처리에 대한 특징은 도 7과 관련하여 상술하였으므로 자세한 설명은 생략하도록 한다. 도 12를 참조하면 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1200)를 분할하여 4개의 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 제1 부호화 단위(1200)가 분할되는 형태에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)의 처리 순서를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수직 방향으로 분할되어 생성된 제2 부호화 단위(1210a, 1210b)를 수평 방향으로 각각 분할하여 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 결정할 수 있고, 영상 복호화 장치(100)는 좌측 제2 부호화 단위(1210a)에 포함되는 제3 부호화 단위(1216a, 1216c)를 수직 방향으로 먼저 처리한 후, 우측 제2 부호화 단위(1210b)에 포함되는 제3 부호화 단위(1216b, 1216d)를 수직 방향으로 처리하는 순서(1217)에 따라 제3 부호화 단위(1216a, 1216b, 1216c, 1216d)를 처리할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 수평 방향으로 분할되어 생성된 제2 부호화 단위(1220a, 1220b)를 수직 방향으로 각각 분할하여 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 결정할 수 있고, 영상 복호화 장치(100)는 상단 제2 부호화 단위(1220a)에 포함되는 제3 부호화 단위(1226a, 1226b)를 수평 방향으로 먼저 처리한 후, 하단 제2 부호화 단위(1220b)에 포함되는 제3 부호화 단위(1226c, 1226d)를 수평 방향으로 처리하는 순서(1227)에 따라 제3 부호화 단위(1226a, 1226b, 1226c, 1226d)를 처리할 수 있다.
도 12를 참조하면, 제2 부호화 단위(1210a, 1210b, 1220a, 1220b)가 각각 분할되어 정사각형 형태의 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)가 결정될 수 있다. 수직 방향으로 분할되어 결정된 제2 부호화 단위(1210a, 1210b) 및 수평 방향으로 분할되어 결정된 제2 부호화 단위(1220a, 1220b)는 서로 다른 형태로 분할된 것이지만, 이후에 결정되는 제3 부호화 단위(1216a, 1216b, 1216c, 1216d, 1226a, 1226b, 1226c, 1226d)에 따르면 결국 동일한 형태의 부호화 단위들로 제1 부호화 단위(1200)가 분할된 결과가 된다. 이에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 상이한 과정을 통해 재귀적으로 부호화 단위를 분할함으로써 결과적으로 동일한 형태의 부호화 단위들을 결정하더라도, 동일한 형태로 결정된 복수개의 부호화 단위들을 서로 다른 순서로 처리할 수 있다.
도 13은 일 실시예에 따라 부호화 단위가 재귀적으로 분할되어 복수개의 부호화 단위가 결정되는 경우, 부호화 단위의 형태 및 크기가 변함에 따라 부호화 단위의 심도가 결정되는 과정을 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 심도를 소정의 기준에 따라 결정할 수 있다. 예를 들면 소정의 기준은 부호화 단위의 긴 변의 길이가 될 수 있다. 영상 복호화 장치(100)는 현재 부호화 단위의 긴 변의 길이가 분할되기 전의 부호화 단위의 긴 변의 길이보다 2n (n>0) 배로 분할된 경우, 현재 부호화 단위의 심도는 분할되기 전의 부호화 단위의 심도보다 n만큼 심도가 증가된 것으로 결정할 수 있다. 이하에서는 심도가 증가된 부호화 단위를 하위 심도의 부호화 단위로 표현하도록 한다.
도 13을 참조하면, 일 실시예에 따라 정사각형 형태임을 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는 '0: SQUARE'를 나타낼 수 있음)에 기초하여 영상 복호화 장치(100)는 정사각형 형태인 제1 부호화 단위(1300)를 분할하여 하위 심도의 제2 부호화 단위(1302), 제3 부호화 단위(1304) 등을 결정할 수 있다. 정사각형 형태의 제1 부호화 단위(1300)의 크기를 2Nx2N이라고 한다면, 제1 부호화 단위(1300)의 너비 및 높이를 1/2배로 분할하여 결정된 제2 부호화 단위(1302)는 NxN의 크기를 가질 수 있다. 나아가 제2 부호화 단위(1302)의 너비 및 높이를 1/2크기로 분할하여 결정된 제3 부호화 단위(1304)는 N/2xN/2의 크기를 가질 수 있다. 이 경우 제3 부호화 단위(1304)의 너비 및 높이는 제1 부호화 단위(1300)의 1/4배에 해당한다. 제1 부호화 단위(1300)의 심도가 D인 경우 제1 부호화 단위(1300)의 너비 및 높이의 1/2배인 제2 부호화 단위(1302)의 심도는 D+1일 수 있고, 제1 부호화 단위(1300)의 너비 및 높이의 1/4배인 제3 부호화 단위(1304)의 심도는 D+2일 수 있다.
일 실시예에 따라 비-정사각형 형태를 나타내는 블록 형태 정보(예를 들면 블록 형태 정보는, 높이가 너비보다 긴 비-정사각형임을 나타내는 '1: NS_VER' 또는 너비가 높이보다 긴 비-정사각형임을 나타내는 '2: NS_HOR'를 나타낼 수 있음)에 기초하여, 영상 복호화 장치(100)는 비-정사각형 형태인 제1 부호화 단위(1310 또는 1320)를 분할하여 하위 심도의 제2 부호화 단위(1312 또는 1322), 제3 부호화 단위(1314 또는 1324) 등을 결정할 수 있다.
영상 복호화 장치(100)는 Nx2N 크기의 제1 부호화 단위(1310)의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1310)를 수평 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 2NxN 크기의 제1 부호화 단위(1320) 의 너비 및 높이 중 적어도 하나를 분할하여 제2 부호화 단위(예를 들면, 1302, 1312, 1322 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1320)를 수직 방향으로 분할하여 NxN 크기의 제2 부호화 단위(1302) 또는 N/2xN 크기의 제2 부호화 단위(1312)를 결정할 수 있고, 수평 방향 및 수직 방향으로 분할하여 NxN/2 크기의 제2 부호화 단위(1322)를 결정할 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN 크기의 제2 부호화 단위(1302) 의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1302)를 수직 방향 및 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304)를 결정하거나 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 N/2xN 크기의 제2 부호화 단위(1312)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1312)를 수평 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/2xN/4 크기의 제3 부호화 단위(1324)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 NxN/2 크기의 제2 부호화 단위(1322)의 너비 및 높이 중 적어도 하나를 분할하여 제3 부호화 단위(예를 들면, 1304, 1314, 1324 등)를 결정할 수도 있다. 즉, 영상 복호화 장치(100)는 제2 부호화 단위(1322)를 수직 방향으로 분할하여 N/2xN/2 크기의 제3 부호화 단위(1304) 또는 N/4xN/2 크기의 제3 부호화 단위(1314)를 결정하거나 수직 방향 및 수평 방향으로 분할하여 N/2xN/4크기의 제3 부호화 단위(1324)를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 부호화 단위(예를 들면, 1300, 1302, 1304)를 수평 방향 또는 수직 방향으로 분할할 수 있다. 예를 들면, 2Nx2N 크기의 제1 부호화 단위(1300)를 수직 방향으로 분할하여 Nx2N 크기의 제1 부호화 단위(1310)를 결정하거나 수평 방향으로 분할하여 2NxN 크기의 제1 부호화 단위(1320)를 결정할 수 있다. 일 실시예에 따라 심도가 부호화 단위의 가장 긴 변의 길이에 기초하여 결정되는 경우, 2Nx2N 크기의 제1 부호화 단위(1300)가 수평 방향 또는 수직 방향으로 분할되어 결정되는 부호화 단위의 심도는 제1 부호화 단위(1300)의 심도와 동일할 수 있다.
일 실시예에 따라 제3 부호화 단위(1314 또는 1324)의 너비 및 높이는 제1 부호화 단위(1310 또는 1320)의 1/4배에 해당할 수 있다. 제1 부호화 단위(1310 또는 1320)의 심도가 D인 경우 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/2배인 제2 부호화 단위(1312 또는 1322)의 심도는 D+1일 수 있고, 제1 부호화 단위(1310 또는 1320)의 너비 및 높이의 1/4배인 제3 부호화 단위(1314 또는 1324)의 심도는 D+2일 수 있다.
도 14는 일 실시예에 따라 부호화 단위들의 형태 및 크기에 따라 결정될 수 있는 심도 및 부호화 단위 구분을 위한 인덱스(part index, 이하 PID)를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 정사각형 형태의 제1 부호화 단위(1400)를 분할하여 다양한 형태의 제2 부호화 단위를 결정할 수 있다. 도 14를 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 따라 제1 부호화 단위(1400)를 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다. 즉, 영상 복호화 장치(100)는 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 기초하여 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)를 결정할 수 있다.
일 실시예에 따라 정사각형 형태의 제1 부호화 단위(1400)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1402a, 1402b, 1404a, 1404b, 1406a, 1406b, 1406c, 1406d)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제1 부호화 단위(1400)의 한 변의 길이와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 긴 변의 길이가 동일하므로, 제1 부호화 단위(1400)와 비-정사각형 형태의 제2 부호화 단위(1402a, 1402b, 1404a, 1404b)의 심도는 D로 동일하다고 볼 수 있다. 이에 반해 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 제1 부호화 단위(1400)를 4개의 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)로 분할한 경우, 정사각형 형태의 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 한 변의 길이는 제1 부호화 단위(1400)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1406a, 1406b, 1406c, 1406d)의 심도는 제1 부호화 단위(1400)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 높이가 너비보다 긴 형태의 제1 부호화 단위(1410)를 분할 형태 모드 정보에 따라 수평 방향으로 분할하여 복수개의 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c)로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 너비가 높이보다 긴 형태의 제1 부호화 단위(1420)를 분할 형태 모드 정보에 따라 수직 방향으로 분할하여 복수개의 제2 부호화 단위(1422a, 1422b, 1424a, 1424b, 1424c)로 분할할 수 있다.
일 실시예에 따라 비-정사각형 형태의 제1 부호화 단위(1410 또는 1420)에 대한 분할 형태 모드 정보에 따라 결정되는 제2 부호화 단위(1412a, 1412b, 1414a, 1414b, 1414c. 1422a, 1422b, 1424a, 1424b, 1424c)는 긴 변의 길이에 기초하여 심도가 결정될 수 있다. 예를 들면, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 한 변의 길이는 높이가 너비보다 긴 비-정사각형 형태의 제1 부호화 단위(1410)의 한 변의 길이의 1/2배이므로, 정사각형 형태의 제2 부호화 단위(1412a, 1412b)의 심도는 비-정사각형 형태의 제1 부호화 단위(1410)의 심도 D보다 한 심도 하위의 심도인 D+1이다.
나아가 영상 복호화 장치(100)가 분할 형태 모드 정보에 기초하여 비-정사각형 형태의 제1 부호화 단위(1410)를 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 홀수개의 제2 부호화 단위(1414a, 1414b, 1414c)는 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c) 및 정사각형 형태의 제2 부호화 단위(1414b)를 포함할 수 있다. 이 경우 비-정사각형 형태의 제2 부호화 단위(1414a, 1414c)의 긴 변의 길이 및 정사각형 형태의 제2 부호화 단위(1414b)의 한 변의 길이는 제1 부호화 단위(1410)의 한 변의 길이의 1/2배 이므로, 제2 부호화 단위(1414a, 1414b, 1414c)의 심도는 제1 부호화 단위(1410)의 심도인 D보다 한 심도 하위인 D+1의 심도일 수 있다. 영상 복호화 장치(100)는 제1 부호화 단위(1410)와 관련된 부호화 단위들의 심도를 결정하는 상기 방식에 대응하는 방식으로, 너비가 높이보다 긴 비-정사각형 형태의 제1 부호화 단위(1420)와 관련된 부호화 단위들의 심도를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스(PID)를 결정함에 있어서, 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 홀수개로 분할된 부호화 단위들(1414a, 1414b, 1414c) 중 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 즉, 이 경우 가운데에 위치하는 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)의 두 개를 포함할 수 있다. 따라서, 스캔 순서에 따라 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 즉 인덱스의 값의 불연속성이 존재할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 이러한 분할된 부호화 단위들 간의 구분을 위한 인덱스의 불연속성의 존재 여부에 기초하여 홀수개로 분할된 부호화 단위들이 서로 동일한 크기가 아닌지 여부를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위로부터 분할되어 결정된 복수개의 부호화 단위들을 구분하기 위한 인덱스의 값에 기초하여 특정 분할 형태로 분할된 것인지를 결정할 수 있다. 도 14를 참조하면 영상 복호화 장치(100)는 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)를 분할하여 짝수개의 부호화 단위(1412a, 1412b)를 결정하거나 홀수개의 부호화 단위(1414a, 1414b, 1414c)를 결정할 수 있다. 영상 복호화 장치(100)는 복수개의 부호화 단위 각각을 구분하기 위하여 각 부호화 단위를 나타내는 인덱스(PID)를 이용할 수 있다. 일 실시예에 따라 PID는 각각의 부호화 단위의 소정 위치의 샘플(예를 들면, 좌측 상단 샘플)에서 획득될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 구분을 위한 인덱스를 이용하여 분할되어 결정된 부호화 단위들 중 소정 위치의 부호화 단위를 결정할 수 있다. 일 실시예에 따라 높이가 너비보다 긴 직사각형 형태의 제1 부호화 단위(1410)에 대한 분할 형태 모드 정보가 3개의 부호화 단위로 분할됨을 나타내는 경우 영상 복호화 장치(100)는 제1 부호화 단위(1410)를 3개의 부호화 단위(1414a, 1414b, 1414c)로 분할할 수 있다. 영상 복호화 장치(100)는 3개의 부호화 단위(1414a, 1414b, 1414c) 각각에 대한 인덱스를 할당할 수 있다. 영상 복호화 장치(100)는 홀수개로 분할된 부호화 단위 중 가운데 부호화 단위를 결정하기 위하여 각 부호화 단위에 대한 인덱스를 비교할 수 있다. 영상 복호화 장치(100)는 부호화 단위들의 인덱스에 기초하여 인덱스들 중 가운데 값에 해당하는 인덱스를 갖는 부호화 단위(1414b)를, 제1 부호화 단위(1410)가 분할되어 결정된 부호화 단위 중 가운데 위치의 부호화 단위로서 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할된 부호화 단위들의 구분을 위한 인덱스를 결정함에 있어서, 부호화 단위들이 서로 동일한 크기가 아닌 경우, 부호화 단위들 간의 크기 비율에 기초하여 인덱스를 결정할 수 있다. 도 14를 참조하면, 제1 부호화 단위(1410)가 분할되어 생성된 부호화 단위(1414b)는 다른 부호화 단위들(1414a, 1414c)와 너비는 동일하지만 높이가 다른 부호화 단위들(1414a, 1414c)의 높이의 두 배일 수 있다. 이 경우 가운데에 위치하는 부호화 단위(1414b)의 인덱스(PID)가 1이라면 그 다음 순서에 위치하는 부호화 단위(1414c)는 인덱스가 2가 증가한 3일수 있다. 이러한 경우처럼 균일하게 인덱스가 증가하다가 증가폭이 달라지는 경우, 영상 복호화 장치(100)는 다른 부호화 단위들과 다른 크기를 가지는 부호화 단위를 포함하는 복수개의 부호화 단위로 분할된 것으로 결정할 수 있다, 일 실시예에 따라 분할 형태 모드 정보가 홀수개의 부호화 단위로 분할됨을 나타내는 경우, 영상 복호화 장치(100)는 홀수개의 부호화 단위 중 소정 위치의 부호화 단위(예를 들면 가운데 부호화 단위)가 다른 부호화 단위와 크기가 다른 형태로 현재 부호화 단위를 분할할 수 있다. 이 경우 영상 복호화 장치(100)는 부호화 단위에 대한 인덱스(PID)를 이용하여 다른 크기를 가지는 가운데 부호화 단위를 결정할 수 있다. 다만 상술한 인덱스, 결정하고자 하는 소정 위치의 부호화 단위의 크기 또는 위치는 일 실시예를 설명하기 위해 특정한 것이므로 이에 한정하여 해석되어서는 안되며, 다양한 인덱스, 부호화 단위의 위치 및 크기가 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)는 부호화 단위의 재귀적인 분할이 시작되는 소정의 데이터 단위를 이용할 수 있다.
도 15는 일 실시예에 따라 픽처에 포함되는 복수개의 소정의 데이터 단위에 따라 복수개의 부호화 단위들이 결정된 것을 도시한다.
일 실시예에 따라 소정의 데이터 단위는 부호화 단위가 분할 형태 모드 정보를 이용하여 재귀적으로 분할되기 시작하는 데이터 단위로 정의될 수 있다. 즉, 현재 픽처를 분할하는 복수개의 부호화 단위들이 결정되는 과정에서 이용되는 최상위 심도의 부호화 단위에 해당할 수 있다. 이하에서는 설명 상 편의를 위해 이러한 소정의 데이터 단위를 기준 데이터 단위라고 지칭하도록 한다.
일 실시예에 따라 기준 데이터 단위는 소정의 크기 및 형태를 나타낼 수 있다. 일 실시예에 따라, 기준 데이터 단위는 MxN의 샘플들을 포함할 수 있다. 여기서 M 및 N은 서로 동일할 수도 있으며, 2의 승수로 표현되는 정수일 수 있다. 즉, 기준 데이터 단위는 정사각형 또는 비-정사각형의 형태를 나타낼 수 있으며, 이후에 정수개의 부호화 단위로 분할될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처를 복수개의 기준 데이터 단위로 분할할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처를 분할하는 복수개의 기준 데이터 단위를 각각의 기준 데이터 단위에 대한 분할 형태 모드 정보를 이용하여 분할할 수 있다. 이러한 기준 데이터 단위의 분할 과정은 쿼드 트리(quad-tree)구조를 이용한 분할 과정에 대응될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 픽처에 포함되는 기준 데이터 단위가 가질 수 있는 최소 크기를 미리 결정할 수 있다. 이에 따라, 영상 복호화 장치(100)는 최소 크기 이상의 크기를 갖는 다양한 크기의 기준 데이터 단위를 결정할 수 있고, 결정된 기준 데이터 단위를 기준으로 분할 형태 모드 정보를 이용하여 적어도 하나의 부호화 단위를 결정할 수 있다.
도 15를 참조하면, 영상 복호화 장치(100)는 정사각형 형태의 기준 부호화 단위(1500)를 이용할 수 있고, 또는 비-정사각형 형태의 기준 부호화 단위(1502)를 이용할 수도 있다. 일 실시예에 따라 기준 부호화 단위의 형태 및 크기는 적어도 하나의 기준 부호화 단위를 포함할 수 있는 다양한 데이터 단위(예를 들면, 시퀀스(sequence), 픽처(picture), 슬라이스(slice), 슬라이스 세그먼트(slice segment), 타일(tile), 타일 그룹(tile group), 최대부호화단위 등)에 따라 결정될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보 중 적어도 하나를 상기 다양한 데이터 단위마다 비트스트림으로부터 획득할 수 있다. 정사각형 형태의 기준 부호화 단위(1500)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 3의 현재 부호화 단위(300)가 분할되는 과정을 통해 상술하였고, 비-정사각형 형태의 기준 부호화 단위(1502)에 포함되는 적어도 하나의 부호화 단위가 결정되는 과정은 도 4의 현재 부호화 단위(400 또는 450)가 분할되는 과정을 통해 상술하였으므로 자세한 설명은 생략하도록 한다.
일 실시예에 따라 영상 복호화 장치(100)는 소정의 조건에 기초하여 미리 결정되는 일부 데이터 단위에 따라 기준 부호화 단위의 크기 및 형태를 결정하기 위하여, 기준 부호화 단위의 크기 및 형태를 식별하기 위한 인덱스를 이용할 수 있다. 즉, 비트스트림 획득부(110)는 비트스트림으로부터 상기 다양한 데이터 단위(예를 들면, 시퀀스, 픽처, 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화단위 등) 중 소정의 조건(예를 들면 슬라이스 이하의 크기를 갖는 데이터 단위)을 만족하는 데이터 단위로서 슬라이스, 슬라이스 세그먼트, 타일, 타일 그룹, 최대부호화 단위 등 마다, 기준 부호화 단위의 크기 및 형태의 식별을 위한 인덱스만을 획득할 수 있다. 영상 복호화 장치(100)는 인덱스를 이용함으로써 상기 소정의 조건을 만족하는 데이터 단위마다 기준 데이터 단위의 크기 및 형태를 결정할 수 있다. 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 상대적으로 작은 크기의 데이터 단위마다 비트스트림으로부터 획득하여 이용하는 경우, 비트스트림의 이용 효율이 좋지 않을 수 있으므로, 기준 부호화 단위의 형태에 대한 정보 및 기준 부호화 단위의 크기에 대한 정보를 직접 획득하는 대신 상기 인덱스만을 획득하여 이용할 수 있다. 이 경우 기준 부호화 단위의 크기 및 형태를 나타내는 인덱스에 대응하는 기준 부호화 단위의 크기 및 형태 중 적어도 하나는 미리 결정되어 있을 수 있다. 즉, 영상 복호화 장치(100)는 미리 결정된 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 인덱스에 따라 선택함으로써, 인덱스 획득의 기준이 되는 데이터 단위에 포함되는 기준 부호화 단위의 크기 및 형태 중 적어도 하나를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 하나의 최대 부호화 단위(1510)에 포함하는 적어도 하나의 기준 부호화 단위를 이용할 수 있다. 즉, 영상을 분할하는 최대 부호화 단위에는 적어도 하나의 기준 부호화 단위가 포함될 수 있고, 각각의 기준 부호화 단위의 재귀적인 분할 과정을 통해 부호화 단위가 결정될 수 있다. 일 실시예에 따라 최대 부호화 단위의 너비 및 높이 중 적어도 하나는 기준 부호화 단위의 너비 및 높이 중 적어도 하나의 정수 배에 해당할 수 있다. 일 실시예에 따라 기준 부호화 단위의 크기는 최대 부호화 단위를 쿼드 트리 구조에 따라 n번 분할한 크기일 수 있다. 즉, 영상 복호화 장치(100)는 최대 부호화 단위를 쿼드 트리 구조에 따라 n 번 분할하여 기준 부호화 단위를 결정할 수 있고, 다양한 실시예들에 따라 기준 부호화 단위를 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태를 나타내는 블록 형태 정보 또는 현재 부호화 단위를 분할하는 방법을 나타내는 분할 형태 모드 정보를 비트스트림으로부터 획득하여 이용할 수 있다. 분할 형태 모드 정보는 다양한 데이터 단위와 관련된 비트스트림에 포함될 수 있다. 예를 들면, 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header)에 포함된 분할 형태 모드 정보를 이용할 수 있다. 나아가, 영상 복호화 장치(100)는 최대 부호화 단위, 기준 부호화 단위마다 비트스트림으로부터 블록 형태 정보 또는 분할 형태 모드 정보에 대응하는 신택스 엘리먼트를 비트스트림으로부터 획득하여 이용할 수 있다.
이하 본 개시의 일 실시예에 따른 분할 규칙을 결정하는 방법에 대하여 자세히 설명한다.
영상 복호화 장치(100)는 영상의 분할 규칙을 결정할 수 있다. 분할 규칙은 영상 복호화 장치(100) 및 영상 부호화 장치(200) 사이에 미리 결정되어 있을 수 있다. 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여 영상의 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header), 슬라이스 세그먼트 헤더(slice segment header), 타일 헤더(tile header), 타일 그룹 헤더(tile group header) 중 적어도 하나로부터 획득된 정보에 기초하여 분할 규칙을 결정할 수 있다. 영상 복호화 장치(100)는 분할 규칙을 프레임, 슬라이스, 타일, 템포럴 레이어(Temporal layer), 최대 부호화 단위 또는 부호화 단위에 따라 다르게 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 수 있다. 블록 형태는 부호화 단위의 크기, 모양, 너비 및 높이의 비율, 방향을 포함할 수 있다. 영상 부호화 장치(200) 및 영상 복호화 장치(100)는 부호화 단위의 블록 형태에 기초하여 분할 규칙을 결정할 것을 미리 결정할 수 있다. 하지만 이에 한정되는 것은 아니다. 영상 복호화 장치(100)는 영상 부호화 장치(200)로부터 수신된 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
부호화 단위의 모양은 정사각형(square) 및 비-정사각형(non-square)을 포함할 수 있다. 부호화 단위의 너비 및 높이의 길이가 같은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 정사각형으로 결정할 수 있다. 또한, 부호화 단위의 너비 및 높이의 길이가 같지 않은 경우, 영상 복호화 장치(100)는 부호화 단위의 모양을 비-정사각형으로 결정할 수 있다.
부호화 단위의 크기는 4x4, 8x4, 4x8, 8x8, 16x4, 16x8, ... , 256x256의 다양한 크기를 포함할 수 있다. 부호화 단위의 크기는 부호화 단위의 긴변의 길이, 짧은 변의 길이 또는 넓이에 따라 분류될 수 있다. 영상 복호화 장치(100)는 동일한 그룹으로 분류된 부호화 단위에 동일한 분할 규칙을 적용할 수 있다. 예를 들어 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위를 동일한 크기로 분류할 수 있다. 또한 영상 복호화 장치(100)는 동일한 긴변의 길이를 가지는 부호화 단위에 대하여 동일한 분할 규칙을 적용할 수 있다.
부호화 단위의 너비 및 높이의 비율은 1:2, 2:1, 1:4, 4:1, 1:8, 8:1, 1:16, 16:1, 32:1 또는 1:32 등을 포함할 수 있다. 또한, 부호화 단위의 방향은 수평 방향 및 수직 방향을 포함할 수 있다. 수평 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 긴 경우를 나타낼 수 있다. 수직 방향은 부호화 단위의 너비의 길이가 높이의 길이보다 짧은 경우를 나타낼 수 있다.
영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 허용가능한 분할 형태 모드를 다르게 결정할 수 있다. 예를 들어, 영상 복호화 장치(100)는 부호화 단위의 크기에 기초하여 분할이 허용되는지 여부를 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 분할 방향을 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위의 크기에 따라 허용가능한 분할 타입을 결정할 수 있다.
부호화 단위의 크기에 기초하여 분할 규칙을 결정하는 것은 영상 부호화 장치(200) 및 영상 복호화 장치(100) 사이에 미리 결정된 분할 규칙일 수 있다. 또한, 영상 복호화 장치(100)는 비트스트림으로부터 획득된 정보에 기초하여, 분할 규칙을 결정할 수 있다.
영상 복호화 장치(100)는 부호화 단위의 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다. 영상 복호화 장치(100)는 부호화 단위가 영상에서 차지하는 위치에 기초하여 분할 규칙을 적응적으로 결정할 수 있다.
또한, 영상 복호화 장치(100)는 서로 다른 분할 경로로 생성된 부호화 단위가 동일한 블록 형태를 가지지 않도록 분할 규칙을 결정할 수 있다. 다만 이에 한정되는 것은 아니며 서로 다른 분할 경로로 생성된 부호화 단위는 동일한 블록 형태를 가질 수 있다. 서로 다른 분할 경로로 생성된 부호화 단위들은 서로 다른 복호화 처리 순서를 가질 수 있다. 복호화 처리 순서에 대해서는 도 12와 함께 설명하였으므로 자세한 설명은 생략한다.
도 16은 일 실시예에 따라 부호화 단위가 분할될 수 있는 형태의 조합이 픽처마다 서로 다른 경우, 각각의 픽처마다 결정될 수 있는 부호화 단위들을 도시한다.
도 16을 참조하면, 영상 복호화 장치(100)는 픽처마다 부호화 단위가 분할될 수 있는 분할 형태들의 조합을 다르게 결정할 수 있다. 예를 들면, 영상 복호화 장치(100)는 영상에 포함되는 적어도 하나의 픽처들 중 4개의 부호화 단위로 분할될 수 있는 픽처(1600), 2개 또는 4개의 부호화 단위로 분할될 수 있는 픽처(1610) 및 2개, 3개 또는 4개의 부호화 단위로 분할될 수 있는 픽처(1620)를 이용하여 영상을 복호화 할 수 있다. 영상 복호화 장치(100)는 픽처(1600)를 복수개의 부호화 단위로 분할하기 위하여, 4개의 정사각형의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽처(1610)를 분할하기 위하여, 2개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 영상 복호화 장치(100)는 픽처(1620)를 분할하기 위하여, 2개, 3개 또는 4개의 부호화 단위로 분할됨을 나타내는 분할 형태 정보만을 이용할 수 있다. 상술한 분할 형태의 조합은 영상 복호화 장치(100)의 동작을 설명하기 위한 실시예에 불과하므로 상술한 분할 형태의 조합은 상기 실시예에 한정하여 해석되어서는 안되며 소정의 데이터 단위마다 다양한 형태의 분할 형태의 조합이 이용될 수 있는 것으로 해석되어야 한다.
일 실시예에 따라 영상 복호화 장치(100)의 비트스트림 획득부(110)는 분할 형태 정보의 조합을 나타내는 인덱스를 포함하는 비트스트림을 소정의 데이터 단위 단위(예를 들면, 시퀀스, 픽처, 슬라이스, 슬라이스 세그먼트, 타일 또는 타일 그룹 등)마다 획득할 수 있다. 예를 들면, 비트스트림 획득부(110)는 시퀀스 파라미터 세트(Sequence Parameter Set), 픽처 파라미터 세트(Picture Parameter Set), 슬라이스 헤더(Slice Header), 타일 헤더(tile header) 또는 타일 그룹 헤더(tile group header)에서 분할 형태 정보의 조합을 나타내는 인덱스를 획득할 수 있다. 영상 복호화 장치(100)는 획득한 인덱스를 이용하여 소정의 데이터 단위마다 부호화 단위가 분할될 수 있는 분할 형태의 조합을 결정할 수 있으며, 이에 따라 소정의 데이터 단위마다 서로 다른 분할 형태의 조합을 이용할 수 있다.
도 17은 일 실시예에 따라 바이너리(binary)코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 다양한 형태를 도시한다.
일 실시예에 따라 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 블록 형태 정보 및 분할 형태 모드 정보를 이용하여 부호화 단위를 다양한 형태로 분할할 수 있다. 분할될 수 있는 부호화 단위의 형태는 상술한 실시예들을 통해 설명한 형태들을 포함하는 다양한 형태에 해당할 수 있다.
도 17을 참조하면, 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향 중 적어도 하나의 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)가 정사각형 형태의 부호화 단위를 수평 방향 및 수직 방향으로 분할하여 4개의 정사각형의 부호화 단위로 분할할 수 있는 경우, 정사각형의 부호화 단위에 대한 분할 형태 모드 정보가 나타낼 수 있는 분할 형태는 4가지일 수 있다. 일 실시예에 따라 분할 형태 모드 정보는 2자리의 바이너리 코드로써 표현될 수 있으며, 각각의 분할 형태마다 바이너리 코드가 할당될 수 있다. 예를 들면 부호화 단위가 분할되지 않는 경우 분할 형태 모드 정보는 (00)b로 표현될 수 있고, 부호화 단위가 수평 방향 및 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (01)b로 표현될 수 있고, 부호화 단위가 수평 방향으로 분할되는 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있고 부호화 단위가 수직 방향으로 분할되는 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할하는 경우 분할 형태 모드 정보가 나타낼 수 있는 분할 형태의 종류는 몇 개의 부호화 단위로 분할하는지에 따라 결정될 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)는 일 실시예에 따라 비-정사각형 형태의 부호화 단위를 3개까지 분할할 수 있다. 영상 복호화 장치(100)는 부호화 단위를 두 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (10)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 세 개의 부호화 단위로 분할할 수 있으며, 이 경우 분할 형태 모드 정보는 (11)b로 표현될 수 있다. 영상 복호화 장치(100)는 부호화 단위를 분할하지 않는 것으로 결정할 수 있으며, 이 경우 분할 형태 모드 정보는 (0)b로 표현될 수 있다. 즉, 영상 복호화 장치(100)는 분할 형태 모드 정보를 나타내는 바이너리 코드를 이용하기 위하여 고정길이 코딩(FLC: Fixed Length Coding)이 아니라 가변길이 코딩(VLC: Varaible Length Coding)을 이용할 수 있다.
일 실시예에 따라 도 17을 참조하면, 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 17에서 도시하는 바와 같이, 비-정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 비-정사각형 형태의 부호화 단위의 분할 형태는 단지 도 17에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
도 18은 일 실시예에 따라 바이너리 코드로 표현될 수 있는 분할 형태 모드 정보에 기초하여 결정될 수 있는 부호화 단위의 또 다른 형태를 도시한다.
도 18을 참조하면 영상 복호화 장치(100)는 분할 형태 모드 정보에 기초하여 정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있고, 비-정사각형 형태의 부호화 단위를 수평 방향 또는 수직 방향으로 분할할 수 있다. 즉, 분할 형태 모드 정보는 정사각형 형태의 부호화 단위를 한쪽 방향으로 분할되는 것을 나타낼 수 있다. 이러한 경우 정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보의 바이너리 코드는 (0)b로 표현될 수 있다. 만일 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보의 바이너리 코드가 (00)b로 설정된 경우라면, (01)b로 설정된 분할 형태 모드 정보가 없음에도 불구하고 2비트의 분할 형태 모드 정보의 바이너리 코드를 모두 이용하여야 한다. 하지만 도 18에서 도시하는 바와 같이, 정사각형 형태의 부호화 단위에 대한 3가지의 분할 형태를 이용하는 경우라면, 영상 복호화 장치(100)는 분할 형태 모드 정보로서 1비트의 바이너리 코드(0)b를 이용하더라도 부호화 단위가 분할되지 않는 것을 결정할 수 있으므로, 비트스트림을 효율적으로 이용할 수 있다. 다만 분할 형태 모드 정보가 나타내는 정사각형 형태의 부호화 단위의 분할 형태는 단지 도 18에서 도시하는 3가지 형태만으로 국한되어 해석되어서는 안되고, 상술한 실시예들을 포함하는 다양한 형태로 해석되어야 한다.
일 실시예에 따라 블록 형태 정보 또는 분할 형태 모드 정보는 바이너리 코드를 이용하여 표현될 수 있고, 이러한 정보가 곧바로 비트스트림으로 생성될 수 있다. 또한 바이너리 코드로 표현될 수 있는 블록 형태 정보 또는 분할 형태 모드 정보는 바로 비트스트림으로 생성되지 않고 CABAC(context adaptive binary arithmetic coding)에서 입력되는 바이너리 코드로서 이용될 수도 있다.
일 실시예에 따라 영상 복호화 장치(100)는 CABAC을 통해 블록 형태 정보 또는 분할 형태 모드 정보에 대한 신택스를 획득하는 과정을 설명한다. 비트스트림 획득부(110)를 통해 상기 신택스에 대한 바이너리 코드를 포함하는 비트스트림을 획득할 수 있다. 영상 복호화 장치(100)는 획득한 비트스트림에 포함되는 빈 스트링(bin string)을 역 이진화하여 블록 형태 정보 또는 분할 형태 모드 정보를 나타내는 신택스 요소(syntax element)를 검출할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 복호화할 신택스 요소에 해당하는 바이너리 빈 스트링의 집합을 구하고, 확률 정보를 이용하여 각각의 빈을 복호화할 수 있고, 영상 복호화 장치(100)는 이러한 복호화된 빈으로 구성되는 빈 스트링이 이전에 구한 빈 스트링들 중 하나와 같아질 때까지 반복할수 있다. 영상 복호화 장치(100)는 빈 스트링의 역 이진화를 수행하여 신택스 요소를 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 적응적 이진 산술 코딩(adaptive binary arithmetic coding)의 복호화 과정을 수행하여 빈 스트링에 대한 신택스를 결정할 수 있고, 영상 복호화 장치(100)는 비트스트림 획득부(110)를 통해 획득한 빈들에 대한 확률 모델을 갱신할 수 있다. 도 17을 참조하면, 영상 복호화 장치(100)의 비트스트림 획득부(110)는 일 실시예에 따라 분할 형태 모드 정보를 나타내는 바이너리 코드를 나타내는 비트스트림을 획득할 수 있다. 획득한 1비트 또는 2비트의 크기를 가지는 바이너리 코드를 이용하여 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 신택스를 결정하기 위하여, 2비트의 바이너리 코드 중 각각의 비트에 대한 확률을 갱신할 수 있다. 즉, 영상 복호화 장치(100)는 2비트의 바이너리 코드 중 첫번째 빈의 값이 0 또는 1 중 어떤 값이냐에 따라, 다음 빈을 복호화 할 때 0 또는 1의 값을 가질 확률을 갱신할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 신택스를 결정하는 과정에서, 신택스에 대한 빈 스트링의 빈들을 복호화 하는 과정에서 이용되는 빈들에 대한 확률을 갱신할 수 있으며, 영상 복호화 장치(100)는 상기 빈 스트링 중 특정 비트에서는 확률을 갱신하지 않고 동일한 확률을 가지는 것으로 결정할 수 있다.
도 17을 참조하면, 비-정사각형 형태의 부호화 단위에 대한 분할 형태 모드 정보를 나타내는 빈 스트링을 이용하여 신택스를 결정하는 과정에서, 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위를 분할하지 않는 경우에는 0의 값을 가지는 하나의 빈을 이용하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 즉, 블록 형태 정보가 현재 부호화 단위는 비-정사각형 형태임을 나타내는 경우, 분할 형태 모드 정보에 대한 빈 스트링의 첫번째 빈은, 비-정사각형 형태의 부호화 단위가 분할되지 않는 경우 0이고, 2개 또는 3개의 부호화 단위로 분할되는 경우 1일 수 있다. 이에 따라 비-정사각형의 부호화 단위에 대한 분할 형태 모드 정보의 빈 스트링의 첫번째 빈이 0일 확률은 1/3, 1일 확률은 2/3일 수 있다. 상술하였듯이 영상 복호화 장치(100)는 비-정사각형 형태의 부호화 단위가 분할되지 않는 것을 나타내는 분할 형태 모드 정보는 0의 값을 가지는 1비트의 빈 스트링만을 표현될 수 있으므로, 영상 복호화 장치(100)는 분할 형태 모드 정보의 첫번째 빈이 1인 경우에만 두번째 빈이 0인지 1인지 판단하여 분할 형태 모드 정보에 대한 신택스를 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 첫번째 빈이 1인 경우, 두번째 빈이 0 또는 1일 확률은 서로 동일한 확률인 것으로 보고 빈을 복호화할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보에 대한 빈 스트링의 빈을 결정하는 과정에서 각각의 빈에 대한 다양한 확률을 이용할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 비-정사각형 블록의 방향에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 넓이 또는 긴 변의 길이에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다. 일 실시예에 따라 영상 복호화 장치(100)는 현재 부호화 단위의 형태 및 긴 변의 길이 중 적어도 하나에 따라 분할 형태 모드 정보에 대한 빈의 확률을 다르게 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 소정 크기 이상의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률을 동일한 것으로 결정할 수 있다. 예를 들면, 부호화 단위의 긴 변의 길이를 기준으로 64샘플 이상의 크기의 부호화 단위들에 대하여는 분할 형태 모드 정보에 대한 빈의 확률이 동일한 것으로 결정할 수 있다.
일 실시예에 따라 영상 복호화 장치(100)는 분할 형태 모드 정보의 빈 스트링을 구성하는 빈들에 대한 초기 확률은 슬라이스 타입(예를 들면, I 슬라이스, P 슬라이스 또는 B 슬라이스)에 기초하여 결정될 수 있다.
도 19는 루프 필터링을 수행하는 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.
영상 부호화 및 복호화 시스템(1900)의 부호화단(1910)은 영상의 부호화된 비트스트림을 전송하고, 복호화단(1950)은 비트스트림을 수신하여 복호화함으로써 복원 영상을 출력한다. 여기서 부호화단(1910)은 후술할 영상 부호화 장치(200)에 유사한 구성일 수 있고, 복호화단(1950)은 영상 복호화 장치(100)에 유사한 구성일 수 있다.
부호화단(1910)에서, 예측 부호화부(1915)는 인터 예측 및 인트라 예측을 통해 예측 데이터를 출력하고, 변환 및 양자화부(1920)는 예측 데이터와 현재 입력 영상 간의 레지듀얼 데이터의 양자화된 변환 계수를 출력한다. 엔트로피 부호화부(1925)는 양자화된 변환 계수를 부호화하여 변환하고 비트스트림으로 출력한다. 양자화된 변환 계수는 역양자화 및 역변환부(1930)을 거쳐 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블로킹 필터링부(1935) 및 루프 필터링부(1940)를 거쳐 복원 영상으로 출력된다. 복원 영상은 예측 부호화부(1915)를 거쳐 다음 입력 영상의 참조 영상으로 사용될 수 있다.
복호화단(1950)으로 수신된 비트스트림 중 부호화된 영상 데이터는, 엔트로피 복호화부(1955) 및 역양자화 및 역변환부(1960)를 거쳐 공간 영역의 레지듀얼 데이터로 복원된다. 예측 복호화부(1975)로부터 출력된 예측 데이터 및 레지듀얼 데이터가 조합되어 공간 영역의 영상 데이터가 구성되고, 디블로킹 필터링부(1965) 및 루프 필터링부(1970)는 공간 영역의 영상 데이터에 대해 필터링을 수행하여 현재 원본 영상에 대한 복원 영상을 출력할 수 있다. 복원 영상은 예측 복호화부(1975)에 의해 다음 원본 영상에 대한 참조 영상으로서 이용될 수 있다.
부호화단(1910)의 루프 필터링부(1940)는 사용자 입력 또는 시스템 설정에 따라 입력된 필터 정보를 이용하여 루프 필터링을 수행한다. 루프 필터링부(1940)에 의해 사용된 필터 정보는 엔트로피 부호화부(1925)로 출력되어, 부호화된 영상 데이터와 함께 복호화단(1950)으로 전송된다. 복호화단(1950)의 루프 필터링부(1970)는 복호화단(1950)으로부터 입력된 필터 정보에 기초하여 루프 필터링을 수행할 수 있다.
상술한 다양한 실시예들은 영상 복호화 장치(100)이 수행하는 영상 복호화 방법과 관련된 동작을 설명한 것이다. 이하에서는 이러한 영상 복호화 방법에 역순의 과정에 해당하는 영상 부호화 방법을 수행하는 영상 부호화 장치(200)의 동작을 다양한 실시예를 통해 설명하도록 한다.
도 2는 일 실시예에 따라 블록 형태 정보 및 분할 형태 모드 정보 중 적어도 하나에 기초하여 영상을 부호화 할 수 있는 영상 부호화 장치(200)의 블록도를 도시한다.
영상 부호화 장치(200)는 부호화부(220) 및 비트스트림 생성부(210)를 포함할 수 있다. 부호화부(220)는 입력 영상을 수신하여 입력 영상을 부호화할 수 있다. 부호화부(220)는 입력 영상을 부호화하여 적어도 하나의 신택스 엘리먼트를 획득할 수 있다. 신택스 엘리먼트는 skip flag, prediction mode, motion vector difference, motion vector prediction method (or index), transform quantized coefficient, coded block pattern, coded block flag, intra prediction mode, direct flag, merge flag, delta QP, reference index, prediction direction, transform index 중 적어도 하나를 포함할 수 있다. 부호화부(220)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 기초하여 컨텍스트 모델을 결정할 수 있다.
비트스트림 생성부(210)는 부호화된 입력 영상에 기초하여 비트스트림을 생성할 수 있다. 예를 들어 비트스트림 생성부(210)는 컨텍스트 모델에 기초하여 신택스 엘리먼트를 엔트로피 부호화함으로써 비트스트림을 생성할 수 있다. 또한 영상 부호화 장치(200)는 비트스트림을 영상 복호화 장치(100)로 전송할 수 있다.
일 실시예에 따라 영상 부호화 장치(200)의 부호화부(220)는 부호화 단위의 형태를 결정할 수 있다. 예를 들면 부호화 단위가 정사각형인지 또는 비-정사각형의 형태를 가질 수 있고, 이러한 형태를 나타내는 정보는 블록 형태 정보에 포함될 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 어떤 형태로 분할될지를 결정할 수 있다. 부호화부(220)는 부호화 단위에 포함되는 적어도 하나의 부호화 단위의 형태를 결정할 수 있고 비트스트림 생성부(210)는 이러한 부호화 단위의 형태에 대한 정보를 포함하는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화부(220)는 부호화 단위가 분할되는지 분할되지 않는지 여부를 결정할 수 있다. 부호화부(220)가 부호화 단위에 하나의 부호화 단위만이 포함되거나 또는 부호화 단위가 분할되지 않는 것으로 결정하는 경우 비트스트림 생성부(210)는 부호화 단위가 분할되지 않음을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다. 또한 부호화부(220)는 부호화 단위에 포함되는 복수개의 부호화 단위로 분할할 수 있고, 비트스트림 생성부(210)는 부호화 단위는 복수개의 부호화 단위로 분할됨을 나타내는 분할 형태 모드 정보를 포함하는 비트스트림을 생성할 수 있다.
일 실시예에 따라 부호화 단위를 몇 개의 부호화 단위로 분할할지를 나타내거나 어느 방향으로 분할할지를 나타내는 정보가 분할 형태 모드 정보에 포함될 수 있다. 예를 들면 분할 형태 모드 정보는 수직 방향 및 수평 방향 중 적어도 하나의 방향으로 분할하는 것을 나타내거나 또는 분할하지 않는 것을 나타낼 수 있다.
영상 부호화 장치(200)는 부호화 단위의 분할 형태 모드에 기초하여 분할 형태 모드에 대한 정보를 결정한다. 영상 부호화 장치(200)는 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델을 결정한다. 그리고, 영상 부호화 장치(200)는 컨텍스트 모델에 기초하여 부호화 단위를 분할하기 위한 분할 형태 모드에 대한 정보를 비트스트림으로 생성한다.
영상 부호화 장치(200)는 컨텍스트 모델을 결정하기 위하여, 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나와 컨텍스트 모델에 대한 인덱스를 대응시키기 위한 배열을 획득할 수 있다. 영상 부호화 장치(200)는 배열에서 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나에 기초하여 컨텍스트 모델에 대한 인덱스를 획득할 수 있다. 영상 부호화 장치(200)는 컨텍스트 모델에 대한 인덱스에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 부호화 단위에 인접한 주변 부호화 단위의 모양, 방향, 너비 및 높이의 비율 또는 크기 중 적어도 하나를 포함하는 블록 형태 정보에 더 기초하여 컨텍스트 모델을 결정할 수 있다. 또한 주변 부호화 단위는 부호화 단위의 좌하측, 좌측, 좌상측, 상측, 우상측, 우측 또는 우하측에 위치한 부호화 단위 중 적어도 하나를 포함할 수 있다.
또한, 영상 부호화 장치(200)는, 컨텍스트 모델을 결정하기 위하여, 상측 주변 부호화 단위의 너비의 길이와 부호화 단위의 너비의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 좌측 및 우측의 주변 부호화 단위의 높이의 길이와 부호화 단위의 높이의 길이를 비교할 수 있다. 또한, 영상 부호화 장치(200)는 비교 결과들에 기초하여 컨텍스트 모델을 결정할 수 있다.
영상 부호화 장치(200)의 동작은 도 3 내지 도 19에서 설명한 비디오 복호화 장치(100)의 동작과 유사한 내용을 포함하고 있으므로, 상세한 설명은 생략한다.
도 20은 일 실시예에 따른 영상 복호화 장치(2000)의 구성을 도시하는 블록도이다.
도 20을 참조하면, 영상 복호화 장치는(2000) 메모리(2010) 및 프로세서(2030)를 포함할 수 있다.
본 개시의 일 실시예에서, 본 개시의 메모리(2010) 및 프로세서(2030)는, 각각 적어도 하나의 메모리 및 적어도 하나의 프로세서로 구현될 수 있다. 본 개시의 일 실시예에서, 메모리(2010)에 인스트럭션들이 저장되어 있는 경우, 도 1에 도시된 비트스트림 획득부(110), 복호화부(120), 및 도 19에 도시된 엔트로피 복호화부(1955), 예측 복호화부(1975) 의 동작은 적어도 하나의 프로세스가 호출한 인스트럭션에 따라 구현될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 도 1에 도시된 비트스트림 획득부(110), 복호화부(120), 및 도 19에 도시된 엔트로피 복호화부(1955), 예측 복호화부(1975) 중 적어도 하나의 입출력 데이터를 저장하는 저장매체를 포함할 수 있다. 상기 저장매체는 메모리(2010)에 포함될 수도 있고, 메모리(2010)와는 상이한 저장매체일 수도 있다.
또한, 영상 복호화 장치(2000)는, 저장매체의 데이터 입출력을 제어하는 저장매체 제어부를 포함할 수 있다. 상기 저장매체 제어부는, 상기 프로세서(2030)에 포함될 수도 있으며, 상기의 프로세서(2030)와는 상이한 제어부일 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 영상의 부호화 결과로 생성된 비트스트림을 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 블록에 대해 부호화하여 생성된 부호화 데이터를 포함할 수 있다. 비트스트림에 포함된 부호화 데이터는 현재 블록을 복원하기 위해 이용될 수 있다. 현재 블록은 복호화하고자 하는 현재 영상으로부터 분할된 최대 부호화 단위, 부호화 단위, 변환 단위 또는 예측 단위일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 비디오 파라미터 세트(video parameter set), 슬라이스 헤더(slice header) 및 슬라이스 세그먼트 헤더(slice segment header) 중 적어도 하나의 레벨에 대응하는 비트스트림에 포함된 블록과 연관된 정보 및/또는 블록 분할 모드에 대한 정보에 기반하여 현재 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림을 영상 부호화 장치로부터 네트워크를 통해 수신할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체로부터 비트스트림을 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림으로부터 영상의 복호화를 위한 신택스 엘리먼트(syntax element)들을 획득할 수 있다. 신택스 엘리먼트들에 해당하는 값들은 영상의 계층 구조에 따라 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 비트스트림에 포함된 비트들을 파싱하여 신택스 엘리먼트들의 빈들을 획득할 수 있다. 파싱 과정은 엔트로피 디코딩 및 역이진화 과정 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 블록의 움직임 정보를 포함할 수 있다. 움직임 정보는 현재 영상 내 현재 블록의 예측 모드에 대한 정보, 현재 블록의 인터 예측을 위해 이용하는 참조 픽처 리스트에 대한 정보(예를 들어, 제1 참조 픽처 리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 또는 쌍예측(LO 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보), 참조 영상 인덱스에 대한 정보, 움직임 벡터 예측자에 대한 정보, 및 움직임 벡터 차분에 대한 정보 중 적어도 하나를 포함할 수 있다. 한편, 개시된 예에 한하지 않고, 움직임 정보는 현재 블록을 인터 예측을 통해 복원하기 위한 모든 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 현재 영상 내 현재 블록의 예측 모드를 나타내는 정보를 포함할 수 있다. 현재 블록의 예측 모드는 인트라(intra) 모드, 인터(inter) 모드 등을 포함할 수 있다. 인트라 모드는 공간적 유사성을 기반으로 블록을 예측하는 동작으로 현재 영상 내의 공간적 유사성을 기반으로 현재 블록을 예측 또는 복원하는 모드이며, 인터 모드는 영상들 사이의 시간적 중복성을 감소시키기 위해 참조 영상에 기반하여 현재 블록을 예측 또는 복원하는 모드이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 예측 모드에 따라 현재 블록에 대해 인트라 예측 또는 인터 예측을 수행하여 현재 블록의 예측 블록을 생성하고, 예측 블록을 이용하여 현재 블록을 복원할 수 있다.
본 개시의 일 실시예에서, 비트스트림은 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 영상에 기반하여 현재 블록을 복원할 때, 하나의 참조 영상을 이용(예를 들어, 단방향 예측)할 수도 있고, 두 개의 참조 영상을 이용(예를 들어, 쌍 예측(bi-prediction))할 수도 있다. 현재 블록의 인터 예측을 위해 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 통해 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 인터 예측을 위해 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보에 기초하여, 현재 블록의 인터 예측에 이용된 하나의 참조 픽처 리스트를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 현재 블록의 인터 예측을 위해 제1 참조 픽처 리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 쌍예측(LO 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 참조 픽처 리스트에 포함된 참조 영상 중 하나를 지시하는 참조 영상 인덱스를 포함할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록에 대해 단방향 예측이 수행되는 경우, 비트스트림으로부터 참조 픽처 리스트에 포함된 적어도 하나의 참조 영상 중 어떤 참조 영상을 이용할지를 지시하는 참조 영상 인덱스를 획득할 수 있다. 영상 복호화 장치(2000)는 현재 블록에 대해 쌍 예측이 수행되는 경우, 현재 블록에 대한 제1 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제1 참조 영상 인덱스와 제2 참조 픽처 리스트에 포함된 참조 영상을 지시하는 제2 참조 영상 인덱스를 각각 획득할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 움직임 벡터를 결정하기 위한 정보를 포함할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 비트스트림으로부터, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중 하나를 지시하는 움직임 벡터 예측자 인덱스를 획득할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록에 대해 단방향 예측이 수행되는 경우, 비트스트림으로부터 제1 움직임 벡터 후보 리스트에 포함된 적어도 하나의 움직임 벡터 후보 중에서 제1 움직임 벡터 후보를 지시하는 제1 움직임 벡터 예측자 인덱스를 획득할 수 있다. 영상 복호화 장치(2000)는 현재 블록에 대해 쌍 예측이 수행되는 경우, 비트스트림으로부터 제1 움직임 벡터 후보 리스트에 포함된 적어도 하나의 움직임 벡터 후보 중에서 제1 움직임 벡터 후보를 지시하는 제1 인덱스 및 제2 움직임 벡터 후보 리스트에 포함된 적어도 하나의 움직임 벡터 후보 중에서 제2 움직임 벡터 후보를 지시하는 제2 인덱스를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록에 공간적으로 인접한 이전에 복호화된 블록 또는 이전에 복호화된 영상에 포함된 블록들의 움직임 벡터를 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 획득 또는 결정할 수 있다. 영상 복호화 장치(2000)는 비트스트림으로부터 획득한 움직임 벡터 차분에 대한 정보를 이용하여 현재 블록의 움직임 벡터를 획득 또는 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여 참조 영상 내 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터가 가리키는 블록의 참조 인덱스를 이용하여 참조 영상을 가리키고, 현재 블록의 움직임 벡터가 가리키는 블록의 움직임 벡터를 이용하여 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터 후보 리스트로부터 움직임 벡터 예측자를 결정하고, 결정된 움직임 벡터 예측자를 이용하여 현재 블록의 움직임 벡터를 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여 현재 블록과의 템플릿 매칭(Template Matching)을 수행하여 참조 블록을 결정할 수도 있다. 영상 복호화 장치(2000)는 현재 블록의 초기 움직임 벡터가 가리키는 블록을 제1 참조 블록으로서 결정할 수도 있고, 현재 블록의 초기 움직임 벡터가 가리키는 블록에 기초하여 현재 블록과의 템플릿 매칭을 수행함으로써 제1 참조 블록을 결정할 수도 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여 제1 참조 블록을 결정할 수 있으며, 제1 참조 블록의 움직임 벡터가 제2 참조 영상 내에서 가리키는 블록에 대해 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 현재 블록과의 템플릿 매칭은 현재 블록의 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내의 템플릿과 현재 블록의 템플릿을 비교하여 초기 움직임벡터를 조정 또는 보정함으로써, 현재 블록의 참조 블록을 결정하는 동작일 수 있다. 한편, 현재 블록의 템플릿과 비교가 수행되는 템플릿은, 현재 블록의 초기 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내일 수도 있고, 아닐 수도 있다. 예를 들어, 현재 블록의 템플릿과 비교가 수행되는 템플릿은, 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내의 템플릿일 수도 있다. 그러나, 개시된 예에 한하지 않는다.
본 개시의 일 실시예에서, 움직임 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 현재 블록과의 템플릿 매칭을 수행할지 여부에 대한 정보 또는 현재 블록과의 템플릿 매칭과 연관된 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다. 그러나, 개시된 예에 한하지 않으며, 템플릿 매칭을 수행할지 여부와 관련한 정보가 비트스트림에 포함되지 않을 수 있다. 한편, 현재 블록과의 템플릿 매칭과 연관된 정보는, 현재 블록의 참조 블록을 결정하기 위해 현재 블록의 움직임 벡터가 가리키는 블록의 움직임 벡터를 이용하고, 다시 해당 블록의 움직임 벡터가 가리키는 블록의 움직임 벡터를 이용하는 동작을 연쇄적으로 수행하는 경우, 템플릿 매칭을 통해 참조 블록을 검색하고 결정하는 과정에서 현재 블록에 대응하여 템플릿 매칭을 수행하는 횟수 등에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 블록을 이용하여 현재 블록을 복원할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 참조 블록을 이용하여 예측 블록을 생성하고, 예측 블록 및 잔차 데이터를 이용하여 현재 블록을 복원 또는 생성할 수 있다.
한편, 본 개시의 참조 블록은 제1 참조 영상에서 결정된 제1 참조 블록 또는 제2 참조 영상에서 결정된 제2 참조 블록일 수 있다. 제1 참조 영상은 현재 블록의 예측을 위해 이용하는 참조 영상일 수 있으며, 제1 참조 블록은 제1 참조 영상 내 블록일 수 있다. 제2 참조 영상은 제1 참조 영상 내 소정의 블록(예를 들어, 제1 참조 블록)의 예측을 위해 이용하는 참조 영상이거나 현재 블록을 위한 참조 픽처 리스트에 포함된 영상일 수도 있으며 제2 참조 블록은 제2 참조 영상 내의 블록일 수 있다.
한편, 참조 블록을 결정하기 위해 템플릿 매칭을 수행하는 구체적인 동작에 대해서는 도 24 내지 도 27를 참조하여 후술한다.
HEVC(High Efficiency Video Coding), VVC(Versatile video coding) 등의 표준에서는, 비트스트림으로부터 획득되는 움직임 정보에 기초하여 예측 블록을 생성하는데, 이는 인터 예측 모드의 시그널링에 필요한 데이터의 양을 증가시키는 요인이 될 수 있다. 따라서, 본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 움직임 벡터를 결정하고, 움직임 벡터가 가리키는 블록에 기반한 검색 범위 내의 템플릿을 이용하여 템플릿 매칭을 수행함으로써 시그널링에 필요한 데이터의 양이 감소될 수 있도록 한다. 템플릿 매칭을 수행하여 잔차 데이터의 양을 감소시킴으로써, 시그널링에 필요한 데이터의 양을 감소시킬 수 있다.
이하에서는 도 21를 참조하여, 현재 블록에 대해 수행되는 인터 예측에 대해 설명한다.
도 21은 일 실시예에 따른 현재 블록과 시간적 및/또는 공간적으로 관련된 이웃 블록들을 도시하는 도면이다.
도 21을 참조하면, 시간적 이웃 블록은 현재 블록(2115)의 POC(Picture Order Count)와 상이한 POC를 갖는 참조 영상 내에서 현재 블록(2115)에 상응하는 지점에 위치한 콜로케이티드 영상 내 콜로케이티드 블록(Col)(이하 '콜 블록'이라 기재한다)을 포함할 수 있다. 콜 블록은, 콜로케이티드 영상 내에서, 현재 블록(2115)에 우하측 대각선으로 인접한 샘플의 위치에 대응하는 샘플(Br)을 포함하는 블록 또는 현재 블록(2115)의 중앙 위치에 대응하는 샘플(Ctr)을 포함하는 블록일 수 있다. 한편, 개시된 예에 한하지 않고, 콜로케이티드 블록은, 현재 영상의 현재 블록에 포함된 소정의 샘플에 상응하는 위치의 콜로케이티드 영상 내의 소정의 샘플을 포함하는 블록일 수 있으며, 콜로케이티드 영상 내 현재 블록과 상응하는 위치 및 크기를 갖는 블록 내 임의의 블록 또는 현재 블록과 상응하는 위치 및 크기를 갖는 블록에 인접한 블록으로 결정될 수 있다.
현재 블록(2115)과 공간적으로 이웃하는 공간적 이웃 블록은, 좌하단 외곽 샘플(A0), 좌측 하부 샘플(A1), 우상단 외곽 샘플(B0), 상부 우측 샘플(B1) 및 좌상단 외곽 샘플(B2)을 포함하는 블록들 중 적어도 하나를 포함할 수 있다.
도 21에 도시된 시간적 이웃 블록들 및 공간적 이웃 블록들의 위치는 하나의 예시이며, 구현예에 따라 시간적 이웃 블록, 공간적 이웃 블록의 위치 및 개수는 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 움직임 벡터 후보 리스트를 구축할 때, 움직임 벡터 후보 리스트에 포함되는 움직임 벡터 후보 각각을, 시간적 이웃 블록 및/또는 공간적 이웃 블록의 움직임 벡터에 기반한 템플릿 매칭을 통해 결정할 수 있다. 시간적 이웃 블록 및/또는 공간적 이웃 블록의 움직임 벡터에 기반한 템플릿 매칭을 통해 시간적 이웃 블록 및/또는 공간적 이웃 블록의 움직임 벡터가 조정될 수 있다.
도 22은 일 실시예에 따른 템플릿 매칭 예측 모드의 템플릿을 설명하기 위한 도면이다.
도 22을 참조하면, 현재 블록(2200)의 템플릿(2210, 2220, 2230, 2240, 2250)은 복수의 모양을 가질 수 있다. 본 개시의 일 실시예에서, 현재 블록(2200)의 템플릿에 따라, 복원된 영역에서 비교되는 템플릿의 모양도 결정될 수 있다. 본 개시의 일 실시예에서, 템플릿(2210, 2230)과 같은 모양의 템플릿을 L-모양(L-shape)으로 지칭할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 좌측에 위치한 제1 템플릿, 현재 블록의 상측에 위치한 제2 템플릿 및 현재 블록의 좌상측에 위치한 제3 템플릿 중 적어도 하나를 포함하도록 현재 블록(2200)의 템플릿을 결정할 수 있다. 예를 들면, 템플릿(2210)은 현재 블록의 좌측에 위치한 제1 템플릿, 현재 블록의 상측에 위치한 제2 템플릿 및 현재 블록의 좌상측에 위치한 제3 템플릿을 포함하고, 템플릿(2220)은 제3 템플릿을 제외하고 제1 템플릿 및 제2 템플릿을 포함할 수 있다. 다만, 이에 제한되지 않고, 템플릿은 현재 블록(2200)의 우측에 위치한 템플릿을 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 우측 참조 샘플, 상측 참조 샘플 및 우상측 참조 샘플 중 적어도 일부를 포함하는 템플릿(2230)을 이용하여 템플릿 매칭 예측을 수행할 수 있다. 영상 복호화 장치(2000)는 블록의 코딩 순서(혹은 코딩 방향)에 기초하여 템플릿을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 블록의 코딩이 우측에서 좌측으로 수행되는 경우, 템플릿(2230)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 우측 참조 샘플, 상측 참조 샘플, 좌측 참조 샘플, 좌상측 참조 샘플 및 우상측 참조 샘플 중 적어도 일부를 포함하는 템플릿(2240)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 블록의 코딩 순서(혹은 코딩 방향)가 변하는 경우, 참조 가능한 샘플을 포함하는 템플릿(2240)을 이용하여 현재 블록(2200)의 참조 블록을 결정하거나 템플릿 매칭 예측을 수행할 수 있다.
본 개시의 일 실시예에서, 현재 블록(2200)의 템플릿은 하나 이상의 참조 라인을 포함할 수 있다. 제1 템플릿은 m개(여기서, m은 1 이상의 정수)의 참조 라인을 포함하고 제2 템플릿은 n개(여기서, n은 1 이상의 정수)의 참조 라인을 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 참조 블록에 대응되는 템플릿의 일부 샘플이 복원되지 않은 경우, 복원되지 않은 샘플을 결정할 수 있다. 예를 들면, 영상 복호화 장치(2000)는 제1 템플릿의 일부가 복원되지 않은 경우, 복원되지 않은 샘플의 값을 결정하고, 결정된 샘플을 포함하여 템플릿을 결정할 수 있다.
도 22은 본 개시의 일 실시예에 따른 템플릿을 설명하기 위한 도면으로, 이에 제한되지 않고, 다양한 형태의 템플릿이 결정될 수 있다. 또한, 본 개시에서, 영상 복호화 장치(2000)는 좌측 참조 샘플, 상측 참조 샘플 및 좌상측 참조 샘플을 모두 포함하는 템플릿(2210)을 이용하여 템플릿 매칭을 수행하는 것으로 설명되더라도, 이에 제한되지 않고, 도 22에서 설명된 바와 같이 다양한 모양의 템플릿을 이용하여 템플릿 매칭 예측을 수행할 수 있다.
도 23는 일 실시예에 따른 템플릿 매칭에 기반하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 영상(2310) 내 현재 블록(2315)에 대한 예측을 수행하기 위해 참조 영상(2330) 내 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 움직임 정보를 이용하여 현재 블록(2315)의 움직임 벡터(2325)를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 결정된 움직임 벡터(2325)가 가리키는 지점을 포함하는 소정의 영역(2337) 내의 템플릿과 현재 템플릿(2316)을 비교하여 초기 움직임 벡터(2325)를 조정 또는 보정함으로써, 현재 블록(2315)의 참조 블록을 결정할 수 있다. 한편, 템플릿 매칭에 따라 조정되기 이전의 움직임 벡터(2325)는 초기 움직임 벡터(2325)라고 지칭될 수 있다. 소정의 영역(2337)은, 검색 영역, 탐색 영역 등으로 지칭될 수 있다.
한편, 영상 복호화 장치(2000)가 움직임 벡터 예측자를 이용하여 참조 블록을 결정하는 동작은 도 21에서 자세히 설명하였으므로, 이하, 영상 복호화 장치(2000)가 초기 움직임 벡터(2325)가 가리키는 위치의 주변에서 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2315)의 초기 움직임 벡터(2325)를 이용하여 템플릿 매칭을 수행함으로써, 현재 블록(2315)의 참조 블록을 템플릿 매칭에 따라 보정 또는 조정된 움직임 벡터가 가리키는 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록(2315)과 공간적으로 인접한 블록의 움직임 벡터를 획득할 수 있으며, 현재 블록(2315)과 공간적으로 인접하지 않은 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수도 있다. 움직임 벡터 후보 리스트는 현재 블록(2315)과 공간적으로 인접한 블록의 움직임 벡터 또는 현재 블록(2315)과 공간적으로 인접하지 않은 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록(2315)의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있다. 움직임 벡터 후보 리스트는 현재 블록(2315)의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 움직임 벡터 후보로서 포함할 수 있다.
한편, 움직임 벡터 후보 리스트로부터 결정된 움직임 벡터는 초기 움직임 벡터(2325)로 지칭될 수 있다.
본 개시의 일 실시예에서, 참조 블록을 포함하는 참조 영상(2330)은 현재 영상(2310)보다 먼저 복원된 영상이며, 참조 픽처 리스트에 포함된 영상일 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭에서는 현재 블록(2315)보다 먼저 복원된 이웃 샘플 세트가 템플릿으로 이용될 수 있다. 현재 블록(2315)의 템플릿인 현재 템플릿(2316)은 현재 블록(2315)의 이웃 샘플들 중 적어도 일부를 포함할 수 있다. 이하, 현재 블록(2315)의 템플릿은 현재 템플릿(2316), 참조 블록의 템플릿은 참조 템플릿(2336)로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2316)을 이용하여 참조 영상(2330) 내에서 현재 템플릿(2316)과 가장 유사한 템플릿을 검색(search)하고, 검색 결과 가장 유사한 템플릿인 참조 템플릿(2336)에 인접한 블록을 참조 블록으로 결정할 수 있다. 도 23에서, 현재 템플릿(2316)이 현재 블록(2315)의 좌측 및 상부에 위치하고 있으므로, 참조 영상(2330) 내에서 검색 결과 가장 유사한 참조 템플릿(2336)의 우측 및 하부에 위치하는 블록이 참조 블록으로 결정될 수 있다.
본 개시의 일 실시예에서, 현재 템플릿(2316)과 가장 유사한 템플릿을 검색하는 동작은, 현재 블록(2315)의 현재 템플릿(2316)에 포함된 적어도 하나의 픽셀의 픽셀값과 템플릿 매칭을 위한 후보 위치에 대응하는 후보 템플릿에 포함된 적어도 하나의 픽셀의 픽셀값의 차이를 이용하여, 가장 차이가 적은 후보 템플릿을 참조 템플릿으로 결정함으로써 현재 블록(2315)과의 템플릿 매칭을 수행하는 동작일 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭은, 초기 움직임 벡터(2325)를 기준으로 다양한 검색 패턴 및 검색 크기를 이용하여 수행될 수 있다. 예를 들어, 템플릿 매칭은 다이아몬드 패턴 또는 십자형 패턴 등을 이용하여 소정의 영역(2337)을 검색할 수 있으며, 4픽셀, 1픽셀, 1/2픽셀, 1/4픽셀, 또는 1/8픽셀 단위로 소정의 영역(2337)을 검색할 수 있다. 템플릿 매칭을 위한 후보 위치는, 템플릿 매칭을 위한 소정의 범위 내에서 검색 패턴 및 검색 크기에 따라 결정되는 현재 템플릿(2316)과 템플릿을 비교하기 위한 위치일 수 있다.
본 개시의 일 실시예에서, 현재 템플릿(2316)과 유사한 템플릿을 검색하여 결정하기 위해 샘플 값들의 차이 값들이 이용될 수 있다. 예를 들어, 현재 템플릿(2316)에 포함된 샘플 값들과 가장 유사한 샘플 값들을 포함하는 템플릿이 참조 영상(2330) 내에서 유사 템플릿으로 결정될 수 있다. 본 개시의 일 실시예에서, 상기 샘플 값들의 차이 값들을 이용하여 최소 SAD (Sum of Absolute Difference) 값을 갖는 템플릿을 가장 유사한 템플릿으로 결정할 수 있으나, 이는 하나의 예시이며 SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE) 또는 HoG(Histogram of Oriented Gradient)가 이용될 수 있고, 당업자에게 자명한 범위 내에서 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 유사 템플릿의 검색을 위해 참조 블록을 결정하기 위한 초기 움직임 벡터(2325)를 결정할 수 있다. 예를 들어, 미리 결정된 움직임 벡터(예를 들어, 제로 벡터, 비트스트림으로부터 획득한 정보에 의한 벡터)가 초기 움직임 벡터(2325)로 결정될 수 있다. 영상 복호화 장치(2000)는 움직임 벡터 후보 리스트에 포함된 복수의 움직임 벡터 후보에 대응하는 템플릿 중 현재 템플릿(2316)과 가장 유사한 템플릿을 가리키는 움직임 벡터 후보를 현재 블록(2315)의 움직임 벡터 예측자로 결정할 수 있다. 또한, 영상 복호화 장치(2000)는, 현재 블록(2315)의 움직임 벡터 예측자를 이용하여 현재 블록(2315)의 초기 움직임 벡터(2325)를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 움직임 벡터 후보 리스트에 포함된 하나의 움직임 벡터 후보를 지시하는 움직임 벡터 예측자 인덱스를 획득하여, 현재 블록(2315)의 움직임 벡터 예측자를 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록(2315)의 움직임 벡터 예측자 자체를 현재 블록(2315)의 초기 움직임 벡터(2325)로 결정할 수도 있고, 현재 블록(2315)의 움직임 벡터 차분에 대한 정보와 결합하여 현재 블록(2315)의 초기 움직임 벡터(2325)로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 움직임 벡터(2325)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2316)과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 또한, 참조 영상(2330) 내에서 현재 템플릿(2316)와 가장 유사한 템플릿인 참조 템플릿(2336)과 인접한 블록을 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 움직임 벡터 후보 리스트로부터 현재 블록(2315)의 제1 참조 블록을 결정하기 위한 초기 움직임 벡터(2325)를 획득 또는 결정할 수 있다.
한편, 현재 블록(2315)의 움직임 벡터는, 현재 블록(2315)이 쌍 예측되는 경우, 2개 이상(예를 들어, 2개)일 수 있으나, 설명의 편의상 움직임 벡터가 하나인 경우를 예로 들어 설명하였으며, 현재 블록(2315)이 쌍 예측 되는 경우에도, 각각의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2316)과 가장 유사한 템플릿으로 결정된 참조 템플릿과 인접한 블록을 각각의 움직임 벡터에 대응하는 참조 블록으로 결정할 수 있다.
도 24는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 영상(2410) 내 현재 블록(2415)의 움직임 벡터(2425)를 결정 또는 획득할 수 있다. 영상 복호화 장치(2000)는, 현재 블록(2415)의 움직임 벡터(2425)를 이용하여, 현재 블록(2415)의 움직임 벡터(2425)가 가리키는 블록의 움직임 벡터를 이용하여 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 블록(2415)의 움직임 벡터(2425)를 결정 또는 획득하는 동작은 도 21 내지 23에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2415)의 움직임 벡터(2425)를 이용하여, 제1 참조 영상(2430) 내 제1 참조 블록(2435)을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록(2415)의 움직임 벡터(2425)가 가리키는 블록을 제1 참조 블록(2435)으로 결정할 수 있다. 영상 복호화 장치(2000)는, 현재 블록(2415)의 움직임 벡터(2425)를 초기 움직임 벡터로 이용하여, 제1 참조 영상(2430) 내에서 현재 블록(2415)과의 템플릿 매칭을 수행하여 제1 참조 블록(2435)을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2415)의 움직임 벡터(2425)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2416)과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 또한, 영상 복호화 장치(2000)는 제1 참조 영상(2430) 내에서 현재 템플릿(2416)과 가장 유사한 템플릿인 제1 참조 템플릿(2436)과 인접한 블록을 제1 참조 블록(2435)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 정보를 이용하여 제2 참조 블록(2455)을 결정 또는 획득할 수 있다. 제1 참조 블록(2435)의 움직임 정보는 제1 참조 블록(2435)의 복호화를 위해 이용한 참조 영상에 대한 정보, 제1 참조 블록(2435)의 움직임 벡터(2445)를 포함할 수 있다. 한편, 제1 참조 블록(2435)의 움직임 정보는 제1 참조 영상(2430) 또는 제1 참조 블록(2435)에 대응하여 저장되어 있을 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 벡터(2445)를 이용하여 제2 참조 블록(2455)을 결정할 수 있다. 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 블록을 제2 참조 블록(2455)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 참조 블록(2435)의 움직임 벡터(2445)를 이용하여, 제2 참조 영상(2450) 내에서 현재 블록과의 템플릿 매칭(Template Matching)을 수행함으로써, 상기 제2 참조 영상(2450) 내 제2 참조 블록(2455)을 결정할 수 있다. 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 블록을 포함하는 제2 참조 영상(2450) 내에서 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 제2 참조 영상(2450) 내에서 템플릿 매칭을 수행하여 제2 참조 영상(2450) 내 제2 참조 블록(2455)을 결정할 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 제1 참조 블록(2435)의 초기 움직임 벡터(2445)가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제1 참조 블록(2435)의 초기 움직임 벡터를 보정 또는 조정함으로써 제2 참조 블록(2455)을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록(2415)의 움직임 벡터(2425)와 제1 참조 블록(2435)의 움직임 벡터(2445)를 종합적으로 고려하여 현재 블록(2415)의 최종 움직임 벡터(2465)를 획득 또는 결정할 수 있으며, 최종 움직임 벡터(2465)에 따라 제2 참조 블록(2455)을 결정할 수 있다
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2416)과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 복호화 장치(2000)는 제2 참조 영상(2450) 내에서 현재 템플릿(2416)과 가장 유사한 템플릿인 제2 참조 템플릿(2456)과 인접한 블록을 제2 참조 블록(2455)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2416)과 제1 참조 템플릿(2436)의 차이를 나타내는 제1 템플릿 매칭 코스트보다 현재 템플릿(2416)과 제2 참조 템플릿(2456)의 차이를 나타내는 제2 템플릿 매칭 코스트가 더 적은지 여부를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2435)에 대응하는 제1 참조 템플릿(2436)의 템플릿 매칭 코스트보다 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 적은 것으로 식별할 수 있다. 또한, 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 적은 것으로 식별한 경우, 제2 참조 블록(2455)을 이용하여 현재 블록(2415)을 복원 또는 복호화하는 것으로 결정할 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상(2430)에서 수행된 템플릿 매칭에 따른 템플릿 매칭 코스트보다 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 더 큰 경우 제1 참조 블록(2435)의 움직임 벡터(2445)에 따른 템플릿 매칭이 추가적으로 수행되지 않고 종료될 수 있다.
본 개시의 일 실시예에서, 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점에 대응하는 템플릿 매칭 코스트는, 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점의 템플릿에 대한 템플릿 매칭 코스트 또는 제1 참조 블록(2435)의 움직임 벡터(2445)가 가리키는 지점에 따른 첫번째 템플릿 후보 위치의 템플릿 매칭 코스트일 수 있다.
본 개시의 일 실시예에서, 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트는, 각각의 템플릿의 차이 값들을 이용하여 최소 SAD (Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE) 또는 HoG(Histogram of Oriented Gradient) 중 적어도 하나의 방식을 이용하여 수행될 수 있으며, 개시된 예에 한하지 않고, 당업자에게 자명한 범위 내에서 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 템플릿 매칭 코스트를 계산하기 위해, 각각의 참조 영상과 현재 영상(2410)의 시간적 거리 정보, 및 각각의 참조 블록에 대응하는 양자화 파라미터 중 적어도 하나에 대해 가중치를 적용할 수 있다. 영상 복호화 장치(2000)는, 현재 영상(2410)과 제1 참조 영상(2430)의 시간적 거리 정보 및 현재 영상(2410)과 제2 참조 영상(2450)의 시간적 거리 정보에 따른 가중치를 각각 적용하여 템플릿 매칭 코스트를 계산함으로써, 템플릿 매칭을 수행할 수 있다. 또는, 영상 복호화 장치(2000)는 제1 참조 블록(2435)의 양자화 파라미터 및 제2 참조 블록(2455)의 양자화 파라미터에 따른 가중치를 적용하여 템플릿 매칭을 수행할 수 있다. 또한, 영상 복호화 장치(2000)는 시간적 거리 정보 및 양자화 파라미터를 이용하여, 제1 템플릿 매칭 코스트 및 제2 템플릿 매칭 코스트를 결정할 수도 있다.
본 개시의 일 실시예에서, 시간적 거리 정보는, POC 차이를 포함할 수 있으며, 개시된 예에 한하지 않고, 시간적 거리 정보는 POC 차이가 아닌 다른 방식으로도 표현될 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 현재 영상(2410)과 제1 참조 영상(2430)과의 POC 차이 및 현재 영상(2410)과 제2 참조 영상(2450)과의 POC 차이에 대해 가중치를 부여하여 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트를 결정함으로써, 상대적으로 POC 차이가 적은 영상을 사용할 확률을 높일 수 있다. 영상 복호화 장치(2000)는, 제1 참조 블록(2435)의 양자화 파라미터와 제2 참조 블록(2455)의 양자화 파라미터에 가중치를 부여하여 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트를 결정함으로써, 상대적으로 양자화 파라미터 값이 작은 블록을 사용할 확률을 높일 수 있다.
한편, POC는, 현재 영상, 제1 참조 영상, 제2 참조 영상 등과 같은 각각의 영상과 연관된 값으로, 영상 부호화 및 복호화 과정에서 소정의 프레임의 순서를 나타낼 수 있다. POC는 복호화된 픽처 버퍼(decoded picture buffer, DPB)에서 출력되는 영상들의 시간적 순서를 나타낼 수 있다. 따라서, POC 차이는 어느 두 영상간의 시간적 거리에 대응될 수 있다.
한편, 제1 참조 블록(2435)의 움직임 벡터(2445)를 이용하여 제2 참조 블록(2455)을 결정하는 동작은 도 23에서 설명한 현재 블록(2415)의 움직임 벡터를 이용하여 참조 블록 또는 제1 참조 블록(2435)을 결정하는 동작에 대응할 수 있으며, 동일한 내용은 생략한다.
한편, 제1 참조 블록(2435)은 제1 참조 영상(2430)에 포함되는 블록이며, 제2 참조 블록(2455)은 제2 참조 영상(2450)에 포함되는 블록일 수 있다. 또한, 제1 참조 영상(2430)과 제2 참조 영상(2450)은 상이할 수 있다. 또한, 제1 참조 영상(2430)과 제2 참조 영상(2450)은 현재 영상(2410)의 참조 픽처 리스트에 포함된 영상일 수 있다. Lx는 참조 픽처 리스트를 나타내며, IdxM, IdxN은 각각 인덱스 값이 M인 영상, 인덱스 값이 N인 영상을 나타낼 수 있다. 단, M, N은 각각 상이한 0이상의 양의 정수를 나타낼 수 있다. IdxM, IdxN에 대응하는 각각의 영상은 모두 리스트 0의 참조 픽처 리스트에 포함되거나, 리스트 1의 참조 픽처 리스트에 포함될 수 있다.
본 개시의 일 실시예에서, 현재 블록(2415)을 위해 이용하는 제1 참조 블록(2435)은 쌍 예측을 통해 복원 또는 복호화되었을 수 있다. 제1 참조 영상(2430)에 포함된 제1 참조 블록(2435)이 쌍 예측을 통해 복호화된 경우, 현재 블록(2415)을 위해 이용하는 제1 참조 블록(2435)의 움직임 벡터(2445)는 현재 블록(2415)의 움직임 벡터(2425)와 동일한 참조 픽처 리스트에 포함된 참조 영상 내의 참조 블록을 가리키는 움직임 벡터로 결정될 수 있다. 예를 들어, 제1 참조 영상(2430)이 현재 블록(2415)의 제1 참조 픽처 리스트에 포함되어 있으며, 제1 참조 블록(2435)이 쌍예측된 경우, 제1 참조 픽처 리스트 내의 제2 참조 영상(2450) 내의 소정의 블록을 가리키는 움직임 벡터만을 이용하여 제2 참조 블록(2455)을 결정할 수 있다.
예를 들어, 현재 블록(2415)의 POC가 5이고, 제1 참조 블록(2435)의 POC가 6이며, 제1 참조 블록(2435)이 POC 4, 및 POC 8을 갖는 참조 영상을 이용하여 쌍 예측 된 경우, 현재 블록(2415)의 움직임 벡터(2425)의 참조 픽처 리스트가 동일한 POC 8인 참조 영상에 대응하는 움직임 벡터만을 이용하여 제2 참조 블록(2455)을 결정할 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상(2430)에 포함된 제1 참조 블록(2435)이 쌍 예측을 통해 복호화된 경우, 제1 참조 블록(2435)의 쌍 예측에 현재 블록(2415)의 움직임 벡터(2425)와 동일한 참조 픽처 리스트에 대응하는 움직임 벡터를 이용하지 않은 경우, 현재 블록(2415)을 위해 이용하는 제1 참조 블록(2435)의 움직임 벡터(2445)는 제1 참조 블록(2435)의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상(2430)에 포함된 제1 참조 블록(2435)이 쌍 예측을 통해 복호화된 경우, 제1 참조 블록(2435)의 쌍 예측에 현재 블록(2415)의 움직임 벡터(2425)와 동일한 참조 픽처 리스트에 대응하는 두 움직임 벡터를 이용한 경우, 현재 블록(2415)을 위해 이용하는 제1 참조 블록(2435)의 움직임 벡터(2445)는 제1 참조 블록(2435)의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 영상(2430)이 인터 영상(예를 들어, P-Frame 또는 B-Frame)인지 여부 및/또는 제1 참조 블록(2435)이 인터 예측을 통해 복호화 되었는지 여부를 식별할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 제1 참조 영상(2430)이 인트라 영상(I-Frame)이거나, 제1 참조 블록(2435)이 인트라 예측을 통해 복호화된 것으로 식별한 경우, 제2 참조 블록(2455)을 결정하지 않을 수 있다. 영상 복호화 장치(2000)는 제1 참조 영상(2430)이 인터 영상이고, 제1 참조 블록(2435)이 인터 예측을 통해 복호화된 경우에만, 제2 참조 블록(2455)을 결정 또는 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2415)을 위한 참조 블록으로서 제1 참조 블록(2435)의 움직임 벡터(2445)를 이용하여 결정된 제2 참조 블록(2455)을 이용하여 현재 블록(2415)을 복호화할 수 있다.
본 개시의 일 실시예에 따라, 영상의 복호화 및 부호화 과정에서, 영상의 압축 성능을 향상시키고, 비트레이트를 줄이며, 움직임 예측의 성능을 향상시킬 수 있으며, 영상의 복호화 품질을 개선할 수 있다.
도 25는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2535)의 움직임 벡터(2545)를 이용하여 결정된 제2 참조 블록(2555)을 이용하여 현재 영상(2510) 내 현재 블록(2515)을 복호화할 수 있다. 영상 복호화 장치(2000)는, 제2 참조 블록(2555)의 움직임 벡터(2565)를 이용하여 제3 참조 블록(2575)을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 제2 참조 블록(2555)의 초기 움직임 벡터(2565)가 가리키는 블록을 제3 참조 블록(2575)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 블록(2555)의 초기 움직임 벡터(2565)가 가리키는 블록을 포함하는 제3 참조 영상(2570) 내에서 현재 블록과의 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 제3 참조 영상(2570) 내에서 템플릿 매칭을 수행하여 제3 참조 영상(2570) 내 제3 참조 블록(2575)을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 제2 참조 블록(2555)의 초기 움직임 벡터(2565)가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제2 참조 블록(2555)의 초기 움직임 벡터를 보정 또는 조정함으로써 제3 참조 블록(2575)을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록(2515)의 움직임 벡터, 제1 참조 블록(2535)의 움직임 벡터, 및 제2 참조 블록(2555)의 움직임 벡터를 종합적으로 고려하여 현재 블록(2515)의 최종 움직임 벡터를 획득 또는 결정할 수 있으며, 최종 움직임 벡터(2585)에 따라 현재 블록(2515)의 참조 블록으로 이용하는 제3 참조 블록(2575)을 결정할 수 있다. 한편, 최종 움직임 벡터를 결정하기 위해 이용하는 움직임 벡터들 중 적어도 하나는 템플릿 매칭을 통해 보정 또는 조정된 것일 수 있다.
한편, 제3 참조 영상(2570)은 제1 참조 영상(2530) 및 제2 참조 영상(2550)과는 상이하며, 현재 블록(2515)의 참조 픽처 리스트에 포함된 영상일 수 있다. Lx는 참조 픽처 리스트를 나타내며, IdxO, IdxM, IdxN은 각각 인덱스 값이 O인 영상, 인덱스 값이 M인 영상, 인덱스 값이 N인 영상을 나타낼 수 있다. 단, O, M, N은 각각 상이한 0이상의 양의 정수를 나타낼 수 있다. IdxO, IdxM, IdxN에 대응하는 각각의 영상은 모두 리스트 0의 참조 픽처 리스트에 포함되거나, 리스트 1의 참조 픽처 리스트에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 블록(2555)의 초기 움직임 벡터(2565)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2516)과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 복호화 장치(2000)는 제3 참조 영상(2570) 내에서 현재 템플릿(2516)과 가장 유사한 템플릿인 제3 참조 템플릿(2576)과 인접한 블록을 제3 참조 블록(2575)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2516)과 제2 참조 템플릿(2556)의 차이를 나타내는 제2 템플릿 매칭 코스트보다 현재 템플릿(2516)과 제3 참조 템플릿(2576)의 차이를 나타내는 제3 템플릿 매칭 코스트가 더 적은지 여부를 결정할 수 있다. 한편, 앞서, 제2 템플릿 매칭 코스트가 현재 템플릿(2516)과 제1 참조 템플릿(2536)의 차이를 나타내는 제1 템플릿 매칭 코스트보다 더 적은 것으로 결정되었을 수 있다.
한편, 제2 참조 블록(2555)의 움직임 벡터(2565)를 이용하여 제3 참조 블록을 결정하는 동작은 도 23 내지 도 24에서 설명한 현재 블록(2515)의 움직임 벡터(2525)를 이용하여 참조 블록 또는 제1 참조 블록(2535)을 결정하는 동작 또는 제1 참조 블록(2535)의 움직임 벡터(2545)를 이용하여 제2 참조 블록(2555)을 결정하는 동작에 대응할 수 있으며, 동일한 내용은 생략한다.
한편, 도 24 내지 도 25를 통해 참조 블록의 움직임 벡터를 이용하여 현재 블록(2515)과의 템플릿 매칭을 수행하는 동작을 설명하였으며, 각각 도 24는 참조 블록의 움직임 벡터를 한번만 이용하는 경우를 예로 들어 설명하였으며, 도 25은 참조 블록의 움직임 벡터를 2번 이용하여 템플릿 매칭을 수행하는 경우를 예로 들어 설명하였으나, 개시된 예에 한하지 않다. 예를 들어, 현재 블록(2515)과의 템플릿 매칭이 참조 블록의 움직임 벡터를 N(N는 3이상의 자연수) 번 이용하여 각각의 움직임 벡터에 대해 수행될 수 있으며, 매번 각각의 템플릿 매칭 코스트를 계산하여 템플릿 매칭 코스트가 적어지는 경우에만 수행될 수 있다.
도 26는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2635)의 움직임 벡터(2645)를 이용하여 제2 참조 블록(2675)을 결정할 수 있다. 제1 참조 블록(2635)은 현재 블록(2615)의 움직임 벡터(2625)를 이용하여 결정되었을 수 있다.
본 개시의 일 실시예에서, 제1 참조 블록(2635)의 움직임 벡터(2645)가 가리키는 블록(2655)을 포함하는 영상(2650)이 현재 블록(2615)의 참조 픽처 리스트에 포함되지 않은 영상일 수 있다. 영상 복호화 장치(2000)는, 제1 참조 블록(2635)의 움직임 벡터(2645)가 가리키는 블록(2655)을 포함하는 영상(2650)이 현재 블록(2615)의 참조 픽처 리스트에 포함되지 않는 경우, 현재 블록(2615)의 참조 블록을 이용하기 위해 제1 참조 블록(2635)의 움직임 벡터(2645)를 이용하지 않고, 제1 참조 블록(2635)을 현재 블록(2615)의 참조 블록으로서 이용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록(2635)의 움직임 벡터(2645)가 가리키는 블록(2655)을 포함하는 영상(2650)이 현재 블록(2615)의 참조 픽처 리스트에 포함되지 않는 경우, 제1 참조 블록(2635)의 움직임 정보를 현재 블록(2615)의 참조 픽처 리스트에 포함된 영상에 대응하도록 변환하여 사용할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 영상(2610)과 제1 참조 블록(2635)의 움직임 벡터(2645)가 가리키는 블록(2655)을 포함하는 영상(2650)의 POC(Picture Order Count) 차이, 및 현재 영상(2610)과 현재 블록(2615)의 참조 픽처 리스트에 포함된 제2 참조 영상(2670)의 POC 차이에 기초하여, 현재 블록(2615)의 움직임 벡터 및 상기 제1 참조 블록(2635)의 움직임 벡터(2645)를 이용하여 획득된 움직임 벡터에 대해 스케일링을 수행할 수 있다.
예를 들어, 현재 영상(2610)의 POC는 7일 수 있다. 현재 블록(2615)의 움직임 정보에 따른 제1 참조 영상(2630)의 POC는 7이고, 움직임 벡터는 (-16,-16)일 수 있다. 제1 참조 블록(2635)의 움직임 정보에 따른 제1 참조 블록(2635)의 참조 영상(2650)의 POC 는 0이며, 제1 참조 블록(2635)의 움직임 벡터(2645)는 (-32,-32)일 수 있다. 현재 블록(2615)의 참조 픽처 리스트에 포함된 참조 영상의 POC 는 4, 및 6인 경우, POC가 0인 제1 참조 블록(2635)의 참조 영상(2650)은 현재 블록(2615)의 참조 영상으로서 이용하지 못할 수 있으므로, 현재 블록(2615)의 참조 픽처 리스트에 포함된 POC가 4인 영상을 제1 참조 블록(2635)의 참조 영상(2650) 대신 이용할 수 있다.
예를 들어, 현재 영상(2610)과 제1 참조 블록(2635)의 움직임 벡터(2645)가 가리키는 블록(2655)을 포함하는 영상(2650)의 POC(Picture Order Count) 차이는 7이며, 현재 영상(2610)과 현재 블록(2615)의 참조 픽처 리스트에 포함된 영상의 POC 차이는 3이다. 영상 복호화 장치(2000)는 현재 블록(2615)의 움직임 벡터 및 제1 참조 블록(2635)의 움직임 벡터(2645)를 이용하여 획득된, 현재 블록(2615)에서 POC가 0인 제1 참조 블록(2635)의 참조 영상(2650)을 가리키는 움직임 벡터(2665)인 (-48,-48) 에 대한 스케일링을 수행하여, 현재 블록(2615)의 참조 픽처 리스트에 포함된 영상의 POC로 스케일링을 수행하여 제2 참조 영상(2670) 내 스케일링된 소정의 위치를 가리키는 움직임 벡터(2685)인 (-48*3/7, -48*3/7)(-21,-21) 을 획득할 수 있다.
본 개시의 일 실시예에서, 현재 블록(2615)의 참조 픽처 리스트에 포함되며, 제1 참조 블록(2635)의 참조 영상(2650) 대신 이용되는 움직임 벡터가 가리키는 블록을 포함하는 영상은 제1 참조 영상(2630)과는 상이한 영상일 수 있다. 현재 블록(2615)의 참조 픽처 리스트에 포함되며, 제1 참조 블록(2635)의 참조 영상(2650) 대신 이용된 참조 영상은 제2 참조 영상(2670)으로 지칭될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2615)의 움직임 벡터(2625) 및 제1 참조 블록(2635)의 움직임 벡터(2645)를 이용하여 획득된 움직임 벡터(2665)에 대해 스케일링을 수행함으로써 제2 참조 영상(2670) 내 소정 위치를 가리키는 움직임 벡터(2685)를 획득할 수 있으며, 상기 움직임 벡터(2685)에 기초하여 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 상기 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2616)과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 복호화 장치(2000)는, 제2 참조 영상(2670) 내에서 현재 템플릿(2616)과 가장 유사한 템플릿인 제2 참조 템플릿(2676)과 인접한 블록을 제2 참조 블록(2675)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 템플릿(2616)과 제1 참조 템플릿(2636)의 차이를 나타내는 제1 템플릿 매칭 코스트보다 현재 템플릿(2616)과 제2 참조 템플릿(2676)의 차이를 나타내는 제2 템플릿 매칭 코스트가 더 적은지 여부를 결정할 수 있다.
한편, 템플릿 매칭을 수행하는 구체적인 동작에 대해서는 도 23 내지 도 25에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
도 27는 일 실시예에 따른 템플릿 매칭을 수행하여 참조 블록을 결정하는 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 현재 영상(2710) 내 현재 블록(2715)에 대해 쌍 예측이 수행되는 경우, 현재 블록(2715)을 위한 움직임 벡터 후보 리스트로부터 현재 블록(2715)의 쌍 예측에 이용하기 위한 제1 움직임 벡터(2725) 및 제2 움직임 벡터(2745)를 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록(2715)의 제1 움직임 벡터(2725) 및 현재 블록(2715)의 제2 움직임 벡터(2745)를 이용하여, 제1 움직임 벡터(2725)에 대응하는 제1 참조 영상(2730) 내 제1 참조 블록(2735) 및 제2 움직임 벡터(2745)에 대응하는 제1 참조 영상(2750) 내 제1 참조 블록(2755)을 획득할 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 제1 움직임 벡터(2725)가 가리키는 블록을 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)으로 결정할 수 있다. 영상 복호화 장치(2000)는, 제1 움직임 벡터(2725)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2716)과 가장 유사한 템플릿인 제1 움직임 벡터(2725)에 대응하는 제1 참조 템플릿(2736)에 인접한 블록을 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)으로 결정할 수 있다.
예를 들어, 영상 복호화 장치(2000)는, 제2 움직임 벡터(2745)가 가리키는 블록을 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)으로 결정할 수 있다. 영상 복호화 장치(2000)는, 제2 움직임 벡터(2745)가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2716)과 가장 유사한 템플릿인 제2 움직임 벡터(2745)에 대응하는 제1 참조 템플릿(2756)에 인접한 블록을 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)으로 결정할 수 있다
한편, 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)과 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)은 상이할 수 있다. 예를 들어, 제1 움직임 벡터(2725)에 대응하는 제1 참조 영상(2730)은 제1 참조 픽처 리스트(L0)에 포함된 영상이며, 제2 움직임 벡터(2745)에 대응하는 제1 참조 영상(2750)은 제2 참조 픽처 리스트(L1)에 포함된 영상일 수 있다. 그러나, 개시된 예에 한하지 않고, 각각의 움직임 벡터에 대응하는 제1 참조 영상은 동일한 참조 픽처 리스트에 포함되어 있을 수 있다. IdxM, IdxN은 각각 인덱스 값이 M인 영상, 인덱스 값이 N인 영상을 나타낼 수 있다. 단, M, N은 각각 상이한 0이상의 양의 정수를 나타낼 수 있다. IdxO, IdxP은 각각 인덱스 값이 O인 영상, 인덱스 값이 P인 영상을 나타낼 수 있다. 단, O, P은 각각 상이한 0이상의 양의 정수를 나타낼 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)의 움직임 벡터(2765)와 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)의 움직임 벡터(2785)를 이용하여, 각각에 대응하는 제2 참조 블록(2775, 2795)을 결정할 수 있다. 영상 복호화 장치(2000)는 제1 움직임 벡터(2725)에 대응하는 제2 참조 영상(2770) 내 제2 참조 블록(2775) 및 제2 움직임 벡터(2745)에 대응하는 제2 참조 영상(2790) 내 제2 참조 블록(2795)을 결정할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)의 움직임 벡터(2765)가 가리키는 블록을 제1 움직임 벡터(2725)에 대응하는 제2 참조 블록(2775)으로 결정할 수 있으며, 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2716)과 가장 유사한 템플릿인, 제1 움직임 벡터(2725)에 대응하는 제2 참조 템플릿(2776)에 인접한 블록을 제1 움직임 벡터(2725)에 대응하는 제2 참조 블록(2775)으로 결정할 수 있다.
예를 들어, 영상 복호화 장치(2000)는 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)의 움직임 벡터(2785)가 가리키는 블록을 제2 움직임 벡터(2745)에 대응하는 제2 참조 블록(2795)으로 결정할 수 있으며, 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿(2716)과 가장 유사한 템플릿인, 제2 움직임 벡터(2745)에 대응하는 제2 참조 템플릿(2796)에 인접한 블록을 제2 움직임 벡터(2745)에 대응하는 제2 참조 블록(2795)으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 제1 움직임 벡터(2725)에 대응하는 제2 참조 블록(2775)과 제2 움직임 벡터(2745)에 대응하는 제2 참조 블록(2795)을 이용하여, 현재 영상에 대한 쌍 예측을 수행할 수 있다.
한편, 경우에 따라, 현재 영상에 대한 쌍 예측을 위해, 제1 움직임 벡터(2725)에 대응하는 제1 참조 블록(2735)과 제2 움직임 벡터(2745)에 대응하는 제2 참조 블록(2795)을 이용하여 쌍 예측이 수행될 수도 있고, 제1 움직임 벡터(2725)에 대응하는 제2 참조 블록(2775)과 제2 움직임 벡터(2745)에 대응하는 제1 참조 블록(2755)을 이용하여 쌍 예측이 수행될 수 있으며, 현재 영상(2710)에 대한 쌍 예측을 수행하는 동작은 개시된 예에 한하지 않는다.
도 28은 일 실시예에 따른 영상 복호화 방법의 순서도이다.
단계 S2810에서, 영상 복호화 장치(2000)는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록과 공간적으로 인접한 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있으며, 현재 블록과 공간적으로 인접하지 않은 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수도 있다. 움직임 벡터 후보 리스트는 현재 블록과 공간적으로 인접한 블록의 움직임 벡터 또는 현재 블록과 공간적으로 인접하지 않은 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있다. 움직임 벡터 후보 리스트는 현재 블록의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 움직임 벡터 후보로서 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 정보를 획득하여 움직임 벡터를 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는 현재 블록을 위한 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보들 중 하나를 가리키는 움직임 벡터 예측자 인덱스를 획득하여, 현재 블록을 위한 움직임 벡터 예측자를 결정할 수 있다. 영상 복호화 장치(2000)는 움직임 벡터 예측자를 이용하여 현재 블록을 위한 움직임 벡터를 획득 또는 결정할 수 있다.
한편, 움직임 벡터 예측자를 이용하여 획득 또는 결정된 움직임 벡터는 템플릿 매칭을 수행하기 이전의 초기 움직임 벡터일 수 있다.
한편, 움직임 벡터 후보 리스트로부터 움직임 벡터를 획득 또는 결정하는 동작과 연관된 내용은 도 21 내지 도 27에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
단계 S2820에서, 영상 복호화 장치(2000)는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터를 이용하여, 제1 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터가 가리키는 블록을 제1 참조 블록으로 결정할 수 있다. 영상 복호화 장치(2000)는, 현재 블록의 움직임 벡터를 초기 움직임 벡터로 이용하여, 제1 참조 영상 내에서 템플릿 매칭을 수행하여 제1 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 제1 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제1 참조 블록을 결정할 수 있다. 현재 블록과의 템플릿 매칭을 수행한다는 것은, 현재 블록의 템플릿인 현재 템플릿과의 템플릿 매칭을 수행한다는 것일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 또한, 영상 복호화 장치(2000)는 제1 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제1 참조 템플릿과 인접한 블록을 제1 참조 블록으로 결정할 수 있다.
단계 S2830에서, 영상 복호화 장치(2000)는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행함으로써, 상기 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 정보를 이용하여 제2 참조 블록을 결정 또는 획득할 수 있다. 제1 참조 블록의 움직임 정보는 제1 참조 블록의 복호화를 위해 이용한 참조 영상에 대한 정보, 제1 참조 블록의 움직임 벡터를 포함할 수 있다. 한편, 제1 참조 블록의 움직임 정보는 제1 참조 영상 또는 제1 참조 블록에 대응하여 저장되어 있을 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터를 이용하여 제2 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 제2 참조 블록으로 결정할 수 있다. 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터가 가리키는 제2 참조 영상 내 소정의 지점을 중심으로 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제2 참조 영상 내에서 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 제2 참조 영상 내에서 템플릿 매칭을 수행하여 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 제1 참조 블록의 움직임 벡터가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제1 참조 블록의 초기 움직임 벡터를 보정 또는 조정함으로써 제2 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 움직임 벡터와 제1 참조 블록의 움직임 벡터를 종합적으로 고려하여 현재 블록의 최종 움직임 벡터를 획득 또는 결정할 수 있으며, 최종 움직임 벡터에 따라 제2 참조 블록을 결정할 수 있다
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 복호화 장치(2000)는 제2 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제2 참조 템플릿과 인접한 블록을 제2 참조 블록으로 결정할 수 있다.
한편, 영상 복호화 장치(2000)가 제2 참조 블록을 결정하는 동작과 연관된 내용은 도 21 내지 도 27에서 자세히 설명하였으므로, 동일한 내용은 생략한다.
단계 S2840에서, 영상 복호화 장치(2000)는, 제2 참조 블록을 이용하여 현재 블록을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 블록을 현재 블록의 단방향 예측을 위한 참조 블록으로 이용하여, 현재 블록의 예측 블록을 생성할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 예측 블록과 현재 블록의 잔차 데이터를 합하여 현재 블록을 복원 또는 복호화할 수 있다. 영상 복호화 장치(2000)는 비트스트림으로부터 획득한 잔차 데이터와 예측 블록을 결합하여 복원된 현재 블록을 생성할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제1 참조 블록의 움직임 벡터를 이용하여 결정된 제2 참조 블록을 이용하여 현재 블록을 복호화할 수 있다. 영상 복호화 장치(2000)는, 제2 참조 블록의 움직임 벡터를 이용하여 제3 참조 블록을 결정할 수 있다. 영상 복호화 장치(2000)는 제2 참조 블록의 움직임 벡터가 가리키는 블록을 제3 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제2 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제3 참조 영상 내에서 템플릿 매칭을 수행할 수 있다. 영상 복호화 장치(2000)는 제3 참조 영상 내에서 템플릿 매칭을 수행하여 제3 참조 영상 내 제3 참조 블록을 결정할 수 있다. 예를 들어, 영상 복호화 장치(2000)는, 제2 참조 블록의 움직임 벡터가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제2 참조 블록의 초기 움직임 벡터를 보정 또는 조정함으로써 제3 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 장치(2000)는 제3 참조 블록을 현재 블록의 단방향 예측을 위한 참조 블록으로 이용하여, 현재 블록의 예측 블록을 생성할 수 있다. 영상 복호화 장치(2000)는 현재 블록의 예측 블록과 현재 블록의 잔차 데이터를 합하여 현재 블록을 복원 또는 복호화할 수 있다.
도 29는 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.
도 29를 참조하면, 영상 부호화 장치(2900)는, 메모리(2910) 및 프로세서(2930)을 포함할 수 있다.
본 개시의 일 실시예에서, 메모리(2910) 및 프로세서(2930)는 적어도 하나의 메모리 및 적어도 하나의 프로세서로 구현될 수 있다. 본 개시의 일 실시예에서, 메모리(2910)에 인스트럭션들이 저장되어 있는 경우, 도 19에 도시된 예측 부호화부(1915), 엔트로피 부호화부(1925)의 동작은 적어도 하나의 프로세스가 호출한 인스트럭션에 따라 구현될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 도 19에 도시된 예측 부호화부(1915) 및 엔트로피 부호화부 (1925) 중 적어도 하나의 입출력 데이터를 저장하는 저장매체를 포함할 수 있다. 상기 저장 매체는 메모리(2910)에 포함될 수도 있고, 메모리(2910)과의 별개의 상이한 저장매체일 수 있다.
또한, 영상 부호화 장치(2900)는, 저장매체의 데이터 입출력을 제어하는 저장매체 제어부를 포함할 수 있다. 상기 저장매체 제어부는 상기 프로세서(2930)에 포함될 수도 있으며, 상기의 프로세서(2930)과는 상이한 제어부일 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900) 은 현재 영상 내 현재 블록의 예측 모드를 결정할 수 있다. 현재 블록의 예측 모드는 인터(inter) 모드를 포함할 수 있다. 인터 모드는 영상들 사이의 시간적 중복성을 감소시키기 위해 참조 영상에 기반하여 현재 블록을 예측 또는 복원하는 모드이다. 현재 블록은 부호화하고자 하는 현재 영상으로부터 분할된 최대 부호화 단위, 부호화 단위, 변환 단위 또는 예측 단위일 수 있다.
본 개시의 일 실시예에서, 현재 블록의 예측 모드는 인터 모드로 결정될 수 있다. 영상 부호화 장치(2900)는 현재 블록의 예측 모드에 따라 현재 블록에 대해 인터 예측을 수행하고, 인터 예측의 수행 결과로 생성되는 예측 블록을 이용하여 현재 블록을 부호화할 수 있다. 비트스트림은, 현재 블록의 예측 모드에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 참조 영상에 기반하여 현재 블록을 부호화할 때, 하나의 참조 영상을 이용(예를 들어, 단방향 예측)할 수도 있고, 두 개의 참조 영상을 이용(예를 들어, 쌍 예측)할 수도 있다. 현재 블록이 단방향 예측되는지, 쌍 예측되는지 여부는, 비트스트림에 복수의 참조 픽처 리스트 중 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 플래그 또는 인덱스에 따라 결정될 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트를 지시하는 인덱스를 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 이용하는 참조 영상이 포함된 참조 픽처 리스트를 지시하는 인덱스를 결정할 수 있다. 쌍 예측을 통해 현재 블록을 부호화 하는 경우, 영상 부호화 장치(2900)는 두 참조 픽처 리스트를 이용함을 나타내는 인덱스를 결정할 수 있다.
본 개시의 일 실시예에서, 비트스트림은, 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 어떤 참조 픽처 리스트를 이용할지 여부를 나타내는 참조 픽처 리스트에 대한 정보를 포함할 수 있다. 참조 픽처 리스트에 대한 정보는, 복수의 참조 픽처 리스트 중 현재 블록의 예측을 위해 이용하는 참조 영상이 포함된 참조 픽처 리스트를 지시하는 인덱스를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록이 인터 예측되는 경우, 현재 블록의 참조 블록을 결정하기 위해 이용하는 움직임 정보를 식별 또는 결정할 수 있다. 현재 블록의 움직임 정보는 비트스트림에 포함될 수 있다. 현재 블록의 움직임 정보는 현재 영상 내 현재 블록의 예측 모드에 대한 정보, 참조 픽처 리스트에 대한 정보(예를 들어, 현재 블록의 인터 예측을 위해 제1 참조 픽처리스트(L0)가 사용되는지, 제2 참조 픽처 리스트(L1)가 사용되는지, 쌍예측(L0 및 L1)이 사용되는지를 나타내는 인덱스에 대한 정보), 참조 영상 인덱스에 대한 정보, 움직임 벡터 예측자에 대한 정보, 및 움직임 벡터 차분에 대한 정보 중 적어도 하나를 포함할 수 있으며, 개시된 예에 한하지 않고, 현재 블록의 움직임 벡터를 결정하기 위한 모든 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록에 인접한 이전에 부호화된 블록들, 현재 블록에 인접하지 않은 이전에 부호화된 블록들, 또는 콜로케이티드 영상에 포함된 블록들 또는 콜로케이티드 영상의 이웃 블록들의 움직임 벡터로 구성된 움직임 벡터 후보 리스트로부터, 현재 블록의 움직임 벡터 예측자를 획득 또는 결정함으로써, 현재 블록을 부호화할 수 있다. 영상 부호화 장치(2900)는 결정된 현재 블록의 움직임 벡터 후보를 나타내는 움직임 벡터 예측자 인덱스를 결정 또는 획득하여 비트스트림에 저장할 수 있다.
예를 들어, 영상 부호화 장치(2900)는 현재 블록이 인터 예측되는 경우, 현재 블록의 참조 영상 내 참조 블록을 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터 예측자를 이용하여 템플릿 매칭을 수행함으로써, 현재 블록의 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 결정된 움직임 벡터가 가리키는 블록을 포함하는 소정의 영역 내의 템플릿과 현재 템플릿을 비교하여, 현재 블록의 초기 움직임 벡터를 조정 또는 보정함으로써, 현재 블록의 참조 블록을 결정할 수 있다. 한편, 템플릿 매칭에 의해 조정되기 이전의 움직임 벡터는 초기 움직임 벡터로 지칭될 수 있다.
본 개시의 일 실시예에서, 움직임 정보는 비트스트림의 시퀀스 파라미터 세트(sequence parameter set), 영상 파라미터 세트(picture parameter set), 슬라이스 헤더(slice header) 또는 슬라이스 데이터(slice data)에 포함될 수 있다.
본 개시의 일 실시예에서, 현재 블록의 부호화란, 영상 복호화 장치(2000)가 현재 블록을 복원할 수 있게 하는 정보를 생성하는 과정을 의미할 수 있다. 부호화를 통해 생성된 정보는 추가적인 처리를 거쳐 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록에 대한 인터 예측 또는 인트라 예측을 통해 예측 블록이 생성되면, 예측 블록을 이용하여 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 예측 블록과 현재 블록의 차이에 대응하는 잔차 데이터를 생성할 수 있다. 예측 블록이 현재 블록으로 결정되는 경우, 잔차 데이터는 생성되지 않을 수도 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 영상의 부호화에 따라 생성된 정보들을 포함하는 비트스트림을 생성할 수 있다. 비트스트림은 현재 블록에 대한 부호화 결과로서 생성된 데이터를 포함할 수 있다. 비트스트림은 현재 블록의 움직임 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 비트스트림을 네트워크를 통해 영상 복호화 장치(2000)로 전송할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체에 비트스트림을 저장할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 영상의 부호화를 통해 생성된 신택스 엘리먼트(syntax element)들을 포함하는 비트스트림을 생성할 수 있다. 신택스 엘리먼트들에 해당하는 값들은 영상의 계층 구조에 따라 비트스트림에 포함될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)가 신택스 엘리먼트들의 빈들을 인코딩하여 비트스트림에 포함시킬 수 있다. 상기의 인코딩 동작은, 이진화 및 엔트로피 인코딩 동작 중 적어도 하나를 포함할 수 있다. 이하에서는, 영상 부호화 장치(2900)가 현재 블록의 움직임 벡터가 가리키는 블록을 포함하는 제1 참조 영상과는 상이한 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제2 참조 영상 내 제2 참조 블록을 결정하는 단계에 대해 설명한다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터를 이용하여, 제1 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터가 가리키는 블록을 제1 참조 블록으로 결정할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터를 초기 움직임 벡터로 이용하여, 제1 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제1 참조 블록을 결정할 수 있다.
한편, 템플릿 매칭에서는 현재 블록보다 먼저 부호화된 주변 샘플 세트가 템플릿으로 이용될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 또한, 영상 부호화 장치(2900)는 제1 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제1 참조 템플릿과 인접한 블록을 제1 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 정보를 이용하여 제2 참조 블록을 결정 또는 획득할 수 있다. 제1 참조 블록의 움직임 정보는 제1 참조 블록의 부/복호화를 위해 이용한 참조 영상에 대한 정보, 제1 참조 블록의 움직임 벡터에 대한 정보를 포함할 수 있다. 한편, 제1 참조 블록의 움직임 정보는 제1 참조 영상 또는 제1 참조 블록에 대응하여 저장되어 있을 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터를 이용하여 제2 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 제2 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제2 참조 영상 내에서 템플릿 매칭을 수행할 수 있다. 영상 부호화 장치(2900)는 제2 참조 영상 내에서 템플릿 매칭을 수행하여 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제1 참조 블록의 초기 움직임 벡터를 보정 또는 조정함으로써 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하고 결정할 수 있다. 영상 부호화 장치(2900)는 제2 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제2 참조 템플릿과 인접한 블록을 제2 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 템플릿과 제1 참조 템플릿의 차이를 나타내는 제1 템플릿 매칭 코스트보다 현재 템플릿과 제2 참조 템플릿의 차이를 나타내는 제2 템플릿 매칭 코스트가 더 적은지 여부를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록에 대응하는 제1 참조 템플릿의 템플릿 매칭 코스트보다 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 적은 것으로 식별할 수 있다. 또한, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 제1 참조 템플릿의 템플릿 매칭 코스트보다 적은 것으로 식별한 경우, 제2 참조 블록을 이용하여 현재 블록을 복원 또는 부/복호화하는 것으로 결정할 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상에서 수행된 템플릿 매칭에 따른 템플릿 매칭 코스트보다 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 더 큰 경우, 제1 참조 블록의 움직임 벡터에 따른 템플릿 매칭이 추가적으로 수행되지 않고 종료될 수 있다.
본 개시의 일 실시예에서, 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트는, 제1 참조 블록의 움직임 벡터가 가리키는 지점의 템플릿에 대한 템플릿 매칭 코스트 또는 제1 참조 블록의 움직임 벡터가 가리키는 지점에 따른 첫번째 템플릿 후보 위치의 템플릿 매칭 코스트일 수 있다.
본 개시의 일 실시예에서, 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트는, 각각의 템플릿의 차이 값들을 이용하여 최소 SAD (Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSE(Sum of Squared Error), MR-SAD (Mean Removed SAD), MR-SSE (Mean Removed SSE) 또는 HoG(Histogram of Oriented Gradient) 중 적어도 하나의 방식을 이용하여 수행될 수 있으며, 개시된 예에 한하지 않고, 당업자에게 자명한 범위 내에서 다양하게 변경될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 템플릿 매칭 코스트를 계산하기 위해, 각각의 참조 영상과 현재 영상의 POC 거리, 각각의 참조 블록에 대응하는 양자화 파라미터 등에 대해 가중치를 적용할 수 있다. 영상 부호화 장치(2900)는 현재 영상과 제1 참조 영상의 POC 차이 및 현재 영상과 제2 참조 영상의 POC 차이에 따른 가중치를 이용하여 템플릿 매칭을 수행할 수 있다. 또는, 영상 부호화 장치(2900)는 제1 참조 블록의 양자화 파라미터 및 제2 참조 블록의 양자화 파라미터에 따른 가중치를 이용하여 템플릿 매칭을 수행할 수 있다.
예를 들어, 영상 부호화 장치(2900)는 현재 영상과 제1 참조 영상과의 POC 차이 및 현재 영상과 제2 참조 영상과의 POC 차이에 대해 가중치를 부여하여 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트를 결정함으로써, 상대적으로 POC 차이가 적은 영상을 사용할 확률을 높일 수 있다. 영상 부호화 장치(2900)는 제1 참조 블록의 양자화 파라미터와 제2 참조 블록의 양자화 파라미터에 가중치를 부여하여 제1 템플릿 매칭 코스트와 제2 템플릿 매칭 코스트를 결정함으로써, 상대적으로 양자화 파라미터 값이 작은 블록을 사용할 확률을 높일 수 있다.
본 개시의 일 실시예에서, 현재 블록을 위해 이용하는 제1 참조 블록은 쌍 예측을 통해 부호화되었을 수 있다. 제1 참조 영상에 포함된 제1 참조 블록이 쌍 예측을 통해 부호화된 경우, 현재 블록을 위해 이용하는 제1 참조 블록의 움직임 벡터는 현재 블록의 움직임 벡터와 동일한 참조 픽처 리스트에 포함된 참조 영상 내의 참조 블록을 가리키는 움직임 벡터로 결정될 수 있다. 예를 들어, 제1 참조 영상이 현재 블록의 제1 참조 픽처 리스트에 포함되어 있으며, 제1 참조 블록이 쌍예측된 경우, 제1 참조 픽처 리스트 내의 제2 참조 영상 내의 소정의 블록을 가리키는 움직임 벡터만을 이용하여 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상에 포함된 제1 참조 블록이 쌍 예측을 통해 부호화되었으며, 제1 참조 블록의 쌍 예측에 현재 블록의 움직임 벡터와 동일한 참조 픽처 리스트에 대응하는 움직임 벡터를 이용하지 않은 경우, 현재 블록을 위해 이용하는 제1 참조 블록의 움직임 벡터는 제1 참조 블록의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 제1 참조 영상에 포함된 제1 참조 블록이 쌍 예측을 통해 부호화되었으며, 제1 참조 블록의 쌍 예측에 현재 블록의 움직임 벡터와 동일한 참조 픽처 리스트에 대응하는 두 움직임 벡터를 이용한 경우, 현재 블록을 위해 이용하는 제1 참조 블록의 움직임 벡터는 제1 참조 블록의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 영상이 인터 영상(예를 들어, P-Frame 또는 B-Frame)인지 여부 및/또는 제1 참조 블록이 인터 예측을 통해 부호화 되었는지 여부를 식별할 수 있다. 예를 들어, 영상 부호화 장치(2900)는 제1 참조 영상이 인트라 영상(I-Frame)이거나, 제1 참조 블록이 인트라 예측을 통해 부호화된 것으로 식별한 경우, 제2 참조 블록을 결정 또는 획득하지 않을 수 있다. 영상 부호화 장치(2900)는 제1 참조 영상이 인터 영상이고, 제1 참조 블록이 인터 예측을 통해 부호화된 경우에만, 제2 참조 블록을 결정 또는 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록을 위한 참조 블록으로서 제1 참조 블록의 움직임 벡터를 이용하여 결정된 제2 참조 블록을 이용하여 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)의 동작은 영상 복호화 장치(2000)의 동작과 동일할 수 있으므로, 동일한 내용은 생략한다.
도 30는 일 실시예에 따른 영상 부호화 방법의 순서도이다.
단계 S3010에서, 영상 부호화 장치(2900)는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록과 공간적으로 인접한 블록의 움직임 벡터를 획득할 수 있으며, 현재 블록과 공간적으로 인접하지 않은 블록의 움직임 벡터를 획득할 수도 있다. 움직임 벡터 후보 리스트는 현재 블록과 공간적으로 인접한 블록의 움직임 벡터 또는 현재 블록과 공간적으로 인접하지 않은 블록의 움직임 벡터를 움직임 벡터 후보로서 획득할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는, 움직임 벡터 후보 리스트를 구성하기 위해 현재 블록의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 획득할 수 있다. 움직임 벡터 후보 리스트는 현재 블록의 콜로케이티드 영상 내 콜 블록 및 콜 블록의 이웃 블록의 움직임 벡터를 움직임 벡터 후보로서 포함할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터를 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는 현재 블록을 위한 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보들 중 현재 블록과 유사한 블록을 가리키는 움직임 벡터 후보를 가리키는 움직임 벡터 예측자 인덱스를 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 움직임 벡터 예측자 인덱스가 지시하는 움직임 벡터 후보를 이용하여 현재 블록을 위한 움직임 벡터를 획득 또는 결정할 수 있다.
한편, 움직임 벡터 예측자를 이용하여 획득 또는 결정된 움직임 벡터는 템플릿 매칭을 수행하기 이전의 초기 움직임 벡터일 수 있다.
단계 S3020에서, 영상 부호화 장치(2900)는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터를 이용하여, 제1 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터가 가리키는 블록을 제1 참조 블록으로 결정할 수 있다. 영상 부호화 장치(2900)는, 현재 블록의 움직임 벡터를 초기 움직임 벡터로 이용하여, 제1 참조 영상 내에서 템플릿 매칭을 수행하여 제1 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 제1 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제1 참조 블록을 결정할 수 있다. 현재 블록과의 템플릿 매칭을 수행한다는 것은, 현재 블록의 템플릿인 현재 템플릿과의 템플릿 매칭을 수행한다는 것일 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 또한, 영상 부호화 장치(2900)는 제1 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제1 참조 템플릿과 인접한 블록을 제1 참조 블록으로 결정할 수 있다.
단계 S3030에서, 영상 부호화 장치(2900)는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행함으로써, 상기 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 정보를 이용하여 제2 참조 블록을 결정 또는 획득할 수 있다. 제1 참조 블록의 움직임 정보는 제1 참조 블록의 부호화를 위해 이용한 참조 영상에 대한 정보, 제1 참조 블록의 움직임 벡터를 포함할 수 있다. 한편, 제1 참조 블록의 움직임 정보는 제1 참조 영상 또는 제1 참조 블록에 대응하여 저장되어 있을 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터를 이용하여 제2 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 제2 참조 블록으로 결정할 수 있다. 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 제2 참조 영상 내 소정의 지점을 중심으로 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제2 참조 영상 내에서 템플릿 매칭을 수행할 수 있다. 영상 부호화 장치(2900)는 제2 참조 영상 내에서 템플릿 매칭을 수행하여 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는, 제1 참조 블록의 움직임 벡터가 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제1 참조 블록의 초기 움직임 벡터를 보정 또는 조정함으로써 제2 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 움직임 벡터와 제1 참조 블록의 움직임 벡터를 종합적으로 고려하여 현재 블록의 최종 움직임 벡터를 획득 또는 결정할 수 있으며, 최종 움직임 벡터에 따라 제2 참조 블록을 결정할 수 있다
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터가 가리키는 지점을 중심으로 소정 범위 내에서 현재 템플릿과 가장 유사한 템플릿을 검색하여 결정할 수 있다. 영상 부호화 장치(2900)는 제2 참조 영상 내에서 현재 템플릿과 가장 유사한 템플릿인 제2 참조 템플릿과 인접한 블록을 제2 참조 블록으로 결정할 수 있다.
한편, 영상 복호화 장치(2000)가 제2 참조 블록을 결정하는 동작과 연관된 내용은 도 21 내지 도 28에서 자세히 설명하였으며, 영상 복호화 장치(2000)의 동작은 영상 부호화 장치(2900)의 동작에 대응할 수 있으므로, 동일한 내용은 생략한다.
단계 S3040에서, 영상 부호화 장치(2900)는, 제2 참조 블록을 이용하여 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제2 참조 블록을 현재 블록의 단방향 예측을 위한 참조 블록으로 이용하여, 현재 블록의 예측 블록을 생성할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 원본 블록과 제2 참조 블록을 이용하여 생성된 예측 블록의 차이를 현재 블록의 잔차 데이터로서 획득 또는 결정할 수 있다. 영상 부호화 장치(2900)는 비트스트림에 획득된 잔차 데이터를 포함시킬 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제1 참조 블록의 움직임 벡터를 이용하여 결정된 제2 참조 블록을 이용하여 현재 블록을 부호화할 수 있다. 영상 부호화 장치(2900)는, 제2 참조 블록의 움직임 벡터를 이용하여 제3 참조 블록을 결정할 수 있다. 영상 부호화 장치(2900)는 제2 참조 블록의 움직임 벡터가 가리키는 블록을 제3 참조 블록으로 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제2 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제3 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행할 수 있다. 영상 부호화 장치(2900)는 제3 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제3 참조 영상 내 제3 참조 블록을 결정할 수 있다. 예를 들어, 영상 부호화 장치(2900)는, 제2 참조 블록의 움직임 벡터가 제3 참조 영상 내에서 가리키는 위치의 주변을 검색하여 템플릿 매칭을 수행함으로써 제2 참조 블록의 초기 움직임 벡터를 보정 또는 조정함으로써 제3 참조 블록을 결정할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 장치(2900)는 제3 참조 블록을 현재 블록의 단방향 예측을 위한 참조 블록으로 이용하여, 현재 블록의 예측 블록을 생성할 수 있다. 영상 부호화 장치(2900)는 현재 블록의 원본 블록과 제3 참조 블록을 이용하여 획득된 예측 블록의 차이를 현재 블록의 잔차 데이터로서 획득 또는 결정할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법이 제공된다. 영상 복호화 방법은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 복호화 방법은, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 현재 블록과의 템플릿 매칭(Template Matching)을 수행함으로써 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상일 수 있다. 영상 복호화 방법은, 제2 참조 블록을 이용하여, 현재 블록을 복원하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록의 움직임 벡터를 이용하여 제1 참조 블록을 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 참조 영상 내에서 현재 블록과의 템플릿 매칭을 수행하여 제1 참조 블록을 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 참조 블록의 움직임 벡터가 현재 영상의 참조 픽처 리스트에 포함되지 않는 영상 내의 블록을 가리키는 경우, 현재 영상과 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 영상의 POC(Picture Order Count) 차이 및 현재 영상과 현재 블록의 참조 픽처 리스트에 포함된 제1 참조 영상의 POC 차이에 기초하여, 제1 참조 블록의 움직임 벡터를 이용하여 획득된 움직임 벡터에 대해 스케일링을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제2 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제3 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 쌍 예측에 이용하기 위한 제1 움직임 벡터 및 제2 움직임 벡터를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 제1 참조 블록의 움직임 벡터는, 제1 참조 블록이 쌍 예측을 통해 복호화된 경우, 현재 블록의 움직임 벡터와 동일한 방향의 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 제1 참조 블록의 움직임 벡터는, 제1 참조 블록을 위한 쌍 예측에 현재 블록의 움직임 벡터와 동일한 방향의 움직임 벡터를 이용하지 않은 경우, 제1 참조 블록의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 현재 블록의 현재 템플릿에 포함된 적어도 하나의 픽셀의 픽셀값과 템플릿 매칭을 위한 후보 위치에 대응하는 후보 템플릿에 포함된 적어도 하나의 픽셀의 픽셀값의 차이를 이용하여, 현재 블록과의 템플릿 매칭을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 템플릿 매칭은, 현재 블록을 포함하는 현재 영상과 제1 참조 영상의 시간적 거리 정보POC 차이 및 현재 영상과 제2 참조 영상의 시간적 거리 정보POC 차이, 또는 제1 참조 블록의 양자화 파라미터 및 제2 참조 블록의 양자화 파라미터에 대해 가중치를 적용하여 수행될 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 참조 영상이 인터 영상인지 여부 및 제1 참조 블록이 인터 예측을 통해 복원되었는지 여부를 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 영상 복호화 방법은, 제1 참조 블록에 대응하는 제1 참조 템플릿의 템플릿 매칭 코스트보다 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 적은 것으로 식별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 현재 블록을 위한 움직임 벡터 후보 리스트는, 현재 블록과 인접한 블록을 가리키는 움직임 벡터, 현재 블록의 주변의 인접하지 않은 블록을 가리키는 움직임 벡터, 및 현재 블록의 콜 블록 및 콜 블록의 이웃 블록을 가리키는 움직임 벡터 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함하는 영상 복호화 장치(2000)가 제공될 수 있다. 적어도 하나의 프로세서는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다. 적어도 하나의 프로세서는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다. 적어도 하나의 프로세서는, 제2 참조 블록을 이용하여, 현재 블록을 복원할 수 있다.
본 개시의 일 실시예에서, 영상 부호화 방법이 제공될 수 있다. 영상 부호화 방법은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 상기 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계를 포함할 수 있다. 영상 부호화 방법은, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 상기 제2 참조 영상 내 제2 참조 블록을 결정하는 단계를 포함할 수 있다. 상기 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상일 수 있다. 영상 부호화 방법은, 참조 블록을 이용하여 현재 블록을 부호화하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 적어도 하나의 인스트럭션을 저장하는 적어도 하나의 메모리 및 적어도 하나의 인스트럭션에 따라 동작하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 현재 블록의 움직임 벡터를 결정할 수 있다. 적어도 하나의 프로세서는, 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정할 수 있다. 적어도 하나의 프로세서는, 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록을 결정할 수 있다. 제2 참조 영상은 제1 참조 영상과 상이한 영상일 수 있다. 적어도 하나의 프로세서는, 제2 참조 블록을 이용하여, 현재 블록을 부호화할 수 있다.
본 개시의 일 실시예에서, 영상의 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다. 비트스트림은, 현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 움직임 벡터를 결정하기 위한 움직임 정보를 포함할 수 있다. 움직임 벡터는, 제1 참조 영상 내 제1 참조 블록을 결정하기 위해 이용되며, 상기 제1 참조 블록의 움직임 벡터를 이용하여, 상기 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록이 결정되며, 상기 제2 참조 영상은, 상기 제1 참조 영상과는 상이한 영상일 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 영상 복호화 방법에 있어서,
    현재 영상(2410)에 포함된 현재 블록(2415)을 위한 움직임 벡터 후보 리스트로부터 상기 현재 블록(2415)의 움직임 벡터를 결정하는 단계(S2810);
    상기 현재 블록(2415)의 움직임 벡터를 이용하여, 제1 참조 영상(2430) 내 제1 참조 블록(2435)을 결정하는 단계(S2820);
    상기 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상(2450) 내에서 상기 현재 블록과의 템플릿 매칭(Template Matching)을 수행함으로써, 상기 제2 참조 영상(2450) 내 제2 참조 블록(2455)을 결정하며, 상기 제2 참조 영상(2450)은 상기 제1 참조 영상(2430)과 상이한 영상인, 단계(S2830); 및
    상기 제2 참조 블록(2455)을 이용하여, 상기 현재 블록을 복원하는 단계(S2840)를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 참조 블록을 결정하는 단계는,
    상기 현재 블록(2415)의 움직임 벡터를 이용하여 제1 참조 블록을 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 제2 참조 블록을 결정하는 단계는,
    상기 제1 참조 영상(2430) 내에서 상기 현재 블록과의 템플릿 매칭을 수행하여 제1 참조 블록을 결정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 제2 참조 블록을 결정하는 단계는,
    상기 제1 참조 블록의 움직임 벡터가 상기 현재 블록의 참조 픽처 리스트에 포함되지 않는 영상 내의 블록을 가리키는 경우, 상기 현재 영상과 상기 제1 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 영상의 POC(Picture Order Count) 차이 및 상기 현재 영상과 상기 현재 블록의 참조 픽처 리스트에 포함된 제2 참조 영상의 POC 차이에 기초하여, 상기 제1 참조 블록의 움직임 벡터를 이용하여 획득된 움직임 벡터에 대해 스케일링을 수행하는 단계를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제2 참조 블록을 이용하여, 상기 현재 블록을 복원하는 단계는,
    상기 제2 참조 블록의 움직임 벡터가 가리키는 블록을 포함하는 제3 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행하는 단계를 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 참조 블록을 결정하는 단계는,
    상기 현재 블록을 위한 움직임 벡터 후보 리스트로부터 상기 현재 블록의 쌍 예측에 이용하기 위한 제1 움직임 벡터 및 제2 움직임 벡터를 획득하는 단계를 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 참조 블록(2435)의 움직임 벡터는,
    상기 제1 참조 블록이 쌍 예측을 통해 복호화된 경우, 상기 현재 블록의 움직임 벡터와 동일한 방향의 움직임 벡터로 결정되는, 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 참조 블록(2435)의 움직임 벡터는,
    상기 제1 참조 블록을 위한 쌍 예측에 상기 현재 블록의 움직임 벡터와 동일한 방향의 움직임 벡터를 이용하지 않은 경우, 제1 참조 블록의 예측에 이용된 두 움직임 벡터 중 템플릿 매칭 코스트가 낮은 움직임 벡터로 결정되는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제2 참조 블록을 결정하는 단계는,
    상기 현재 블록의 현재 템플릿에 포함된 적어도 하나의 픽셀의 픽셀값과 템플릿 매칭을 위한 후보 위치에 대응하는 후보 템플릿에 포함된 적어도 하나의 픽셀의 픽셀값의 차이를 이용하여, 상기 현재 블록과의 템플릿 매칭을 수행하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 템플릿 매칭은,
    상기 현재 블록을 포함하는 상기 현재 영상과 상기 제1 참조 영상의 시간적 거리 정보 및 상기 현재 영상과 상기 제2 참조 영상의 시간적 거리 정보, 또는 상기 제1 참조 블록의 양자화 파라미터 및 상기 제2 참조 블록의 양자화 파라미터에 대해 가중치를 적용하여 수행되는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제2 참조 블록을 결정하는 단계는,
    상기 제1 참조 영상(2430)이 인터 영상인지 여부 및 상기 제1 참조 블록(2435)이 인터 예측을 통해 복원되었는지 여부를 식별하는 단계를 포함하는, 방법.
  12. 제2항 내지 제3항 중 어느 한 항에 있어서,
    상기 제2 참조 블록을 결정하는 단계는,
    상기 제1 참조 블록에 대응하는 제1 참조 템플릿의 템플릿 매칭 코스트보다 상기 제1 참조 블록의 움직임 벡터가 가리키는 지점에 대응하는 템플릿 매칭 코스트가 적은 것으로 식별하는 단계를 포함하는, 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 현재 블록을 위한 상기 움직임 벡터 후보 리스트는,
    상기 현재 블록과 인접한 블록을 가리키는 움직임 벡터, 상기 현재 블록의 주변의 인접하지 않은 블록을 가리키는 움직임 벡터, 및 상기 현재 블록의 콜 블록 및 상기 콜 블록의 이웃 블록을 가리키는 움직임 벡터 중 적어도 하나를 포함하는, 방법.
  14. 영상 부호화 방법에 있어서,
    현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 상기 현재 블록의 움직임 벡터를 결정하는 단계(S3010);
    상기 현재 블록의 움직임 벡터를 이용하여, 제1 참조 영상 내 제1 참조 블록을 결정하는 단계(S3020);
    상기 제1 참조 블록의 움직임 벡터를 이용하여, 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 상기 제2 참조 영상 내 제2 참조 블록을 결정하며, 상기 제2 참조 영상은 상기 제1 참조 영상과 상이한 영상인, 단계(S3030); 및
    상기 제2 참조 블록을 이용하여 상기 현재 블록을 부호화하는 단계(S3040)를 포함하는, 방법.
  15. 영상의 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 비트스트림은,
    현재 영상에 포함된 현재 블록을 위한 움직임 벡터 후보 리스트로부터 움직임 벡터를 결정하기 위한 움직임 정보를 포함하고,
    상기 움직임 벡터는,
    제1 참조 영상 내 제1 참조 블록을 결정하기 위해 이용되며,
    상기 제1 참조 블록의 움직임 벡터를 이용하여, 상기 제2 참조 영상 내에서 상기 현재 블록과의 템플릿 매칭을 수행함으로써, 제2 참조 영상 내 제2 참조 블록이 결정되며,
    상기 제2 참조 영상은,
    상기 제1 참조 영상과는 상이한 영상인, 기록 매체.
PCT/KR2025/004022 2024-04-01 2025-03-28 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법 Pending WO2025211652A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20240044378 2024-04-01
KR10-2024-0044378 2024-04-01
KR10-2024-0166602 2024-11-20
KR1020240166602A KR20250146609A (ko) 2024-04-01 2024-11-20 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법

Publications (1)

Publication Number Publication Date
WO2025211652A1 true WO2025211652A1 (ko) 2025-10-09

Family

ID=97267719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/004022 Pending WO2025211652A1 (ko) 2024-04-01 2025-03-28 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법

Country Status (1)

Country Link
WO (1) WO2025211652A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039598A (ko) * 2010-05-26 2018-04-18 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
KR20180107761A (ko) * 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
KR20200015734A (ko) * 2017-06-30 2020-02-12 후아웨이 테크놀러지 컴퍼니 리미티드 다중 참조 예측을 위한 움직임 벡터 개선

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039598A (ko) * 2010-05-26 2018-04-18 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
KR20180107761A (ko) * 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
KR20200015734A (ko) * 2017-06-30 2020-02-12 후아웨이 테크놀러지 컴퍼니 리미티드 다중 참조 예측을 위한 움직임 벡터 개선

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N. ZHANG (BYTEDANCE), K. ZHANG (BYTEDANCE), L. ZHANG (BYTEDANCE): "Non-EE2: Auto relocated block vector prediction", 32. JVET MEETING; 20231013 - 20231020; HANNOVER; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 6 October 2023 (2023-10-06), XP030312216 *
Y. KIDANI (KDDI), H. KATO (KDDI), K. KAWAMURA (KDDI),: "Non-EE2: Chained motion vector prediction", 33. JVET MEETING; 20240117 - 20240126; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 10 January 2024 (2024-01-10), XP030313908 *

Similar Documents

Publication Publication Date Title
WO2020060158A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2020076097A1 (ko) 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019054736A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019135648A1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019059575A2 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019093598A1 (ko) 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
WO2021086153A1 (ko) 어파인 모델에 따른 인터 예측을 수행하는 비디오 복호화 방법 및 그 장치, 비디오 부호화 방법 및 그 장치
WO2019066574A1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020256468A1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
WO2020130712A1 (ko) 삼각 예측 모드를 이용하는 영상 부호화 장치 및 영상 복호화 장치, 및 이에 의한 영상 부호화 방법 및 영상 복호화 방법
WO2020263067A1 (ko) 부호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 부호화 방법 및 그 장치, 복호화 순서를 고려하여 어파인 모델 기반의 예측을 수행하는 비디오 복호화 방법 및 그 장치
WO2021206280A1 (ko) 움직임 벡터의 부호화 장치 및 방법, 및 움직임 벡터의 복호화 장치 및 방법
WO2020022853A1 (ko) 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치
WO2021002673A1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
WO2025009773A1 (ko) 영상 복호화 방법, 영상 복호화 장치, 영상 부호화 방법, 및 영상 부호화 장치
WO2020117027A1 (ko) 타일 및 슬라이스를 이용하는 비디오 부호화 방법 및 복호화 방법, 및 타일 및 슬라이스를 이용하는 비디오 부호화 장치 및 복호화 장치
WO2025211652A1 (ko) 템플릿 매칭을 이용하여 영상을 부호화하는 장치 및 방법, 템플릿 매칭을 이용하여 영상을 복호화하는 장치, 및 방법
WO2020242229A1 (ko) 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2020231176A1 (ko) 영상 크기에 기반한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
WO2020159250A1 (ko) 영상으로부터 다양한 형태로 분할된 블록들을 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2024253316A1 (ko) 참조 블록을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법
WO2024248580A1 (ko) 인트라 예측 모드를 이용한 영상의 부호화 방법, 부호화 장치, 복호화 방법 및 복호화 장치
WO2024248319A2 (ko) 시간적 참조 샘플 및 공간적 참조 샘플을 이용한 영상의 부호화 방법, 부호화 장치, 복호화 방법 및 복호화 장치
WO2025249811A1 (ko) 영상의 적응적 필터링 장치 및 방법
WO2025105701A1 (ko) 템플릿 매칭을 이용하여 영상을 부호화 및 복호화하는 장치, 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25782730

Country of ref document: EP

Kind code of ref document: A1