WO2023239147A1 - 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 - Google Patents

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2023239147A1
WO2023239147A1 PCT/KR2023/007749 KR2023007749W WO2023239147A1 WO 2023239147 A1 WO2023239147 A1 WO 2023239147A1 KR 2023007749 W KR2023007749 W KR 2023007749W WO 2023239147 A1 WO2023239147 A1 WO 2023239147A1
Authority
WO
WIPO (PCT)
Prior art keywords
padding
block
picture
motion compensation
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/007749
Other languages
English (en)
French (fr)
Inventor
허진
박승욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Priority to US18/851,609 priority Critical patent/US20250211776A1/en
Priority to CN202380038331.1A priority patent/CN119278624A/zh
Priority claimed from KR1020230072622A external-priority patent/KR20230168602A/ko
Publication of WO2023239147A1 publication Critical patent/WO2023239147A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Definitions

  • the current picture is predicted with reference to a reference picture.
  • various methods are being discussed to improve the prediction accuracy of the current picture. For example, a method of extending a reference picture by padding the area outside the reference picture boundary is being discussed.
  • bidirectional inter-screen prediction when the current block refers to the padding area of the extended reference picture, various methods are being discussed to increase prediction accuracy.
  • Another object of the present invention is to provide a recording medium that stores a bitstream generated by the video decoding method or device provided by the present invention.
  • the step of padding the motion compensation padding area includes extracting a motion vector from the boundary block, and based on the motion vector, extracting a reference block from a motion compensation padding reference picture that is referenced to the motion compensation padding. It may include determining, determining a motion compensation padding reference block adjacent to the reference block in a padding direction, and padding the motion compensation padding area based on the motion compensation padding reference block.
  • the first padding distance may be determined based on at least one of the maximum size of the coding unit, the size of the current picture, and the size of the boundary block.
  • the first padding distance may be determined as one of 2, 4, 8, 16, 32, 64, 128, and 256.
  • the present invention proposes various embodiments of a method for generating an extended picture including a motion compensation padding area to increase the prediction accuracy of inter-screen prediction.
  • the present invention proposes various embodiments of an efficient bi-directional inter-prediction method when all or part of a reference block is located in a repetitive padding area or a motion compensation padding area.
  • FIG. 1 is a block diagram showing the configuration of an encoding device to which the present invention is applied according to an embodiment.
  • Figure 3 is a diagram schematically showing a video coding system to which the present invention can be applied.
  • Figure 4 shows an example of an extended picture generated according to an iterative padding method.
  • Figure 6 shows an example of a method for determining a motion compensation padding area.
  • Figure 7 shows an example of an extended picture in which an extended picture area is determined regardless of the size of the motion compensation padding area.
  • Figure 8 shows an example of a method for performing motion compensation padding based on temporal neighboring blocks.
  • Figure 9 shows an example of a block prediction method using bidirectional motion prediction.
  • FIGS. 10 and 11 show an example of a block prediction method using bidirectional motion prediction when a part of a reference block is located outside the reference picture.
  • Figure 12 shows an example of a block prediction method using bidirectional motion prediction when an extended picture has a motion compensation padding area.
  • Figure 13 shows an example of an image decoding method according to the present invention.
  • Figure 14 shows an example of an image encoding method according to the present invention.
  • An image decoding method includes padding a motion compensation padding area within a first padding distance from the border of the current picture according to a motion vector of a boundary block adjacent to the border of the current picture, the motion compensation padding padding a repetitive padding area within a second padding distance from the boundary of the area according to a pixel value adjacent to the boundary of the motion compensation padding area, and an expansion consisting of the current picture, the motion compensation padding area, and the repetitive padding area. It may include storing the picture in memory.
  • first and second may be used to describe various components, but the components should not be limited by the terms.
  • the above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • the terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. Additionally, some of the components of the present invention may not be essential components that perform essential functions in the present invention, but may be merely optional components to improve performance. The present invention can be implemented by including only essential components for implementing the essence of the present invention excluding components used only to improve performance, and a structure including only essential components excluding optional components used only to improve performance. is also included in the scope of rights of the present invention.
  • video may refer to a single picture that constitutes a video, or may refer to the video itself.
  • encoding and/or decoding of a video may mean “encoding and/or decoding of a video,” or “encoding and/or decoding of one of the videos that make up a video.” It may be possible.
  • the target image may be an encoding target image that is the target of encoding and/or a decoding target image that is the target of decoding. Additionally, the target image may be an input image input to an encoding device or may be an input image input to a decoding device. Here, the target image may have the same meaning as the current image.
  • target block may be an encoding target block that is the target of encoding and/or a decoding target block that is the target of decoding. Additionally, the target block may be a current block that is currently the target of encoding and/or decoding. For example, “target block” and “current block” may be used with the same meaning and may be used interchangeably.
  • sample may represent the basic unit constituting the block.
  • FIG. 1 is a block diagram showing the configuration of an encoding device to which the present invention is applied according to an embodiment.
  • the encoding device 100 may be an encoder, a video encoding device, or an image encoding device.
  • a video may contain one or more images.
  • the encoding device 100 can sequentially encode one or more images.
  • the encoding device 100 includes an image segmentation unit 110, an intra prediction unit 120, a motion prediction unit 121, a motion compensation unit 122, a switch 115, a subtractor 113, A transform unit 130, a quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 117, a filter unit 180, and a reference picture buffer 190. It can be included.
  • the encoding device 100 can generate a bitstream including encoded information through encoding of an input image and output the generated bitstream.
  • the generated bitstream can be stored in a computer-readable recording medium or streamed through wired/wireless transmission media.
  • the image segmentation unit 110 may divide the input image into various forms to increase the efficiency of video encoding/decoding.
  • the input video consists of multiple pictures, and one picture can be hierarchically divided and processed for compression efficiency, parallel processing, etc.
  • one picture can be divided into one or multiple tiles or slices and further divided into multiple CTUs (Coding Tree Units).
  • one picture may first be divided into a plurality of sub-pictures defined as a group of rectangular slices, and each sub-picture may be divided into the tiles/slices.
  • subpictures can be used to support the function of partially independently encoding/decoding and transmitting a picture.
  • bricks can be created by dividing tiles horizontally.
  • a brick can be used as a basic unit of intra-picture parallel processing.
  • one CTU can be recursively divided into a quad tree (QT: Quadtree), and the end node of the division can be defined as a CU (Coding Unit).
  • CU can be divided into PU (Prediction Unit), which is a prediction unit, and TU (Transform Unit), which is a transformation unit, and prediction and division can be performed. Meanwhile, CUs can be used as prediction units and/or transformation units themselves.
  • each CTU may be recursively partitioned into not only a quad tree (QT) but also a multi-type tree (MTT).
  • CTU can begin to be divided into a multi-type tree from the end node of QT, and MTT can be composed of BT (Binary Tree) and TT (Triple Tree).
  • MTT can be composed of BT (Binary Tree) and TT (Triple Tree).
  • the MTT structure can be divided into vertical binary split mode (SPLIT_BT_VER), horizontal binary split mode (SPLIT_BT_HOR), vertical ternary split mode (SPLIT_TT_VER), and horizontal ternary split mode (SPLIT_TT_HOR).
  • the minimum block size (MinQTSize) of the quad tree of the luminance block can be set to 16x16
  • the maximum block size (MaxBtSize) of the binary tree can be set to 128x128, and the maximum block size (MaxTtSize) of the triple tree can be set to 64x64.
  • the minimum block size (MinBtSize) of the binary tree and the minimum block size (MinTtSize) of the triple tree can be set to 4x4, and the maximum depth (MaxMttDepth) of the multi-type tree can be set to 4.
  • a dual tree that uses different CTU division structures for the luminance and chrominance components can be applied.
  • the luminance and chrominance CTB (Coding Tree Blocks) within the CTU can be divided into a single tree that shares the coding tree structure.
  • the encoding device 100 may perform encoding on an input image in intra mode and/or inter mode.
  • the encoding device 100 may perform encoding on the input image in a third mode (eg, IBC mode, Palette mode, etc.) other than the intra mode and inter mode.
  • a third mode eg, IBC mode, Palette mode, etc.
  • the third mode may be classified as intra mode or inter mode for convenience of explanation. In the present invention, the third mode will be classified and described separately only when a detailed explanation is needed.
  • intra mode may mean intra prediction mode
  • inter mode may mean inter-screen prediction mode.
  • the encoding device 100 may generate a prediction block for an input block of an input image. Additionally, after the prediction block is generated, the encoding device 100 may encode the residual block using the residual of the input block and the prediction block.
  • the input image may be referred to as the current image that is currently the target of encoding.
  • the input block may be referred to as the current block that is currently the target of encoding or the encoding target block.
  • the intra prediction unit 120 may use samples of blocks that have already been encoded/decoded around the current block as reference samples.
  • the intra prediction unit 120 may perform spatial prediction for the current block using a reference sample and generate prediction samples for the input block through spatial prediction.
  • intra prediction may mean prediction within the screen.
  • non-directional prediction modes such as DC mode and Planar mode and directional prediction modes (e.g., 65 directions) can be applied.
  • the intra prediction method may be expressed as an intra prediction mode or an intra prediction mode.
  • the motion prediction unit 121 can search for the area that best matches the input block from the reference image during the motion prediction process and derive a motion vector using the searched area. . At this time, the search area can be used as the area.
  • the reference image may be stored in the reference picture buffer 190.
  • it when encoding/decoding of the reference image is processed, it may be stored in the reference picture buffer 190.
  • the motion compensation unit 122 may generate a prediction block for the current block by performing motion compensation using a motion vector.
  • inter prediction may mean inter-screen prediction or motion compensation.
  • the motion prediction unit 121 and the motion compensation unit 122 can generate a prediction block by applying an interpolation filter to some areas in the reference image.
  • the motion prediction and motion compensation methods of the prediction unit included in the coding unit based on the coding unit include skip mode, merge mode, and improved motion vector prediction ( It is possible to determine whether it is in Advanced Motion Vector Prediction (AMVP) mode or Intra Block Copy (IBC) mode, and inter-screen prediction or motion compensation can be performed depending on each mode.
  • AMVP Advanced Motion Vector Prediction
  • IBC Intra Block Copy
  • AFFINE mode of sub-PU-based prediction based on the inter-screen prediction method, AFFINE mode of sub-PU-based prediction, Subblock-based Temporal Motion Vector Prediction (SbTMVP) mode, and Merge with MVD (MMVD) mode of PU-based prediction, Geometric Partitioning Mode (GPM) ) mode can also be applied.
  • HMVP History based MVP
  • PAMVP Packet based MVP
  • CIIP Combined Intra/Inter Prediction
  • AMVR Adaptive Motion Vector Resolution
  • BDOF Bi-Directional Optical-Flow
  • BCW Bi-predictive with CU Weights
  • BCW Local Illumination Compensation
  • TM Template Matching
  • OBMC Overlapped Block Motion Compensation
  • the subtractor 113 may generate a residual block using the difference between the input block and the prediction block.
  • the residual block may also be referred to as a residual signal.
  • the residual signal may refer to the difference between the original signal and the predicted signal.
  • the residual signal may be a signal generated by transforming, quantizing, or transforming and quantizing the difference between the original signal and the predicted signal.
  • the remaining block may be a residual signal in block units.
  • the transform unit 130 may generate a transform coefficient by performing transformation on the remaining block and output the generated transform coefficient.
  • the transformation coefficient may be a coefficient value generated by performing transformation on the remaining block.
  • the transform unit 130 may skip transforming the remaining blocks.
  • Quantized levels can be generated by applying quantization to the transform coefficients or residual signals.
  • the quantized level may also be referred to as a transform coefficient.
  • LFNST Low Frequency Non-Separable Transform
  • a secondary transform technology that further transforms the residual signal converted to the frequency domain through DCT or DST, can be applied.
  • LFNST additionally performs transformation on the 4x4 or 8x8 low-frequency area in the upper left corner, allowing the residual coefficients to be concentrated in the upper left corner.
  • the quantization unit 140 may generate a quantized level by quantizing a transform coefficient or a residual signal according to a quantization parameter (QP), and output the generated quantized level. At this time, the quantization unit 140 may quantize the transform coefficient using a quantization matrix.
  • QP quantization parameter
  • the entropy encoding unit 150 can generate a bitstream by performing entropy encoding according to a probability distribution on the values calculated by the quantization unit 140 or the coding parameter values calculated during the encoding process. and bitstream can be output.
  • the entropy encoding unit 150 may perform entropy encoding on information about image samples and information for decoding the image. For example, information for decoding an image may include syntax elements, etc.
  • the entropy encoding unit 150 derives a binarization method of the target symbol and a probability model of the target symbol/bin, and then uses the derived binarization method, probability model, and context model. Arithmetic coding can also be performed using .
  • Coding parameters include information (flags, indexes, etc.) encoded in the encoding device 100 and signaled to the decoding device 200, such as syntax elements, as well as information derived from the encoding or decoding process. It may include and may mean information needed when encoding or decoding an image.
  • signaling a flag or index may mean that the encoder entropy encodes the flag or index and includes it in the bitstream, and the decoder may include the flag or index from the bitstream. This may mean entropy decoding.
  • the encoded current image can be used as a reference image for other images to be processed later. Accordingly, the encoding device 100 can restore or decode the current encoded image, and store the restored or decoded image as a reference image in the reference picture buffer 190.
  • the quantized level may be dequantized in the dequantization unit 160. It may be inverse transformed in the inverse transform unit 170.
  • the inverse-quantized and/or inverse-transformed coefficients may be combined with the prediction block through the adder 117.
  • a reconstructed block may be generated by combining the inverse-quantized and/or inverse-transformed coefficients with the prediction block.
  • the inverse-quantized and/or inverse-transformed coefficient refers to a coefficient on which at least one of inverse-quantization and inverse-transformation has been performed, and may refer to a restored residual block.
  • the inverse quantization unit 160 and the inverse transform unit 170 may be performed as reverse processes of the quantization unit 140 and the transform unit 130.
  • Bilateral filter can also correct the offset from the original image on a sample basis for the deblocked image.
  • the entropy decoding unit 210 may generate symbols by performing entropy decoding according to a probability distribution for the bitstream.
  • the generated symbols may include symbols in the form of quantized levels.
  • the entropy decoding method may be the reverse process of the entropy encoding method described above.
  • the entropy decoder 210 can change one-dimensional vector form coefficients into two-dimensional block form through a transform coefficient scanning method in order to decode the transform coefficient level (quantized level).
  • the filter unit 260 may output a restored image.
  • the reconstructed block or reconstructed image may be stored in the reference picture buffer 270 and used for inter prediction.
  • the restored block that has passed through the filter unit 260 may be part of the reference image.
  • the reference image may be a reconstructed image composed of reconstructed blocks that have passed through the filter unit 260.
  • the stored reference image can then be used for inter-screen prediction or motion compensation.
  • Figure 3 is a diagram schematically showing a video coding system to which the present invention can be applied.
  • a video coding system may include an encoding device 10 and a decoding device 20.
  • the encoding device 10 may transmit encoded video and/or image information or data in file or streaming form to the decoding device 20 through a digital storage medium or network.
  • a border area padding technology is presented that expands a reference picture using a padding method in the border area when compensating for motion through motion prediction, and then generates an inter-screen prediction block based on this.
  • the border area padding method may place a burden on the decoder due to its high complexity and large memory usage. Therefore, a method for padding the border area with low decoder complexity and low memory usage is proposed. Additionally, in bidirectional motion compensation, various embodiments of a motion compensation method when a padded boundary area is referenced are proposed.
  • Figure 4 explains a method of determining an extended picture according to an iterative padding method.
  • Figures 5 to 8 explain a method of determining an extended picture according to the motion compensation padding method and the iterative padding method.
  • Figure 4 shows an example of an extended picture generated according to an iterative padding method.
  • Figure 4 shows an extended picture 400 consisting of a reference picture 402 and an extended picture area 404.
  • the extended picture area 404 refers to an area extended by a predetermined padding distance from the border of the reference picture 402.
  • the predetermined padding distance may be determined according to the maximum width of the coding unit and/or the maximum height of the coding unit.
  • the predetermined padding distance may be determined to be a predetermined value larger than the maximum width of the coding unit or the maximum height of the coding unit. For example, as shown in FIG. 4, when the maximum width of the coding unit is maxCUwidth, the predetermined padding size may be (maxCUwidth + 16).
  • the extended picture area 404 in FIG. 4 consists only of a repetitive padding area.
  • a repetitive padding area is created by repeatedly padding pixels located at the border of a reference picture. Accordingly, all pixels created by padding based on one pixel of the boundary of the reference picture 402 in the extended picture area 404 of FIG. 4 have the same value.
  • the values of pixels 408 of the extended picture area 404 generated from pixel 406 of the reference picture 402 may all be determined to be the same as the value of pixel 406 of the reference picture 402. there is.
  • Figure 5 shows an example of an extended picture generated according to repetitive padding and motion compensation padding.
  • the extended picture 500 in FIG. 5 is composed of a reference picture 502 and an extended picture area. And the extended picture area is composed of a repetitive padding area (504) and a motion compensation padding area (MC padding area) (506).
  • MC padding area a motion compensation padding area
  • the first padding distance may be determined by the height or width of the reference picture 502.
  • the first padding distance may be a fixed value.
  • the predetermined value may be 64. Therefore, the size of the motion compensation padding area adjacent to the upper and lower boundaries of the reference picture may be (picture_width x 64), and the size of the motion compensation padding area adjacent to the left and right boundaries of the reference picture may be (64 x picture_height). there is.
  • a first padding distance applied to the motion compensation padding areas 506 adjacent to the left and right sides of the reference picture 502 and a first padding distance applied to the motion compensation padding areas 506 adjacent to the upper and lower sides of the reference picture 502 The applied first padding distance may be different.
  • the repetitive padding area 504 is created by repeatedly padding pixels located on the border of the reference picture 502 or the motion compensation padding area 506 by a second padding distance.
  • the second padding distance may be determined according to the maximum width of the coding unit and/or the maximum height of the coding unit. Alternatively, the second padding distance may be determined to be a predetermined value larger than the maximum width of the coding unit or the maximum height of the coding unit. For example, as shown in FIG. 5, when the maximum width of the coding unit is maxCUwidth, the predetermined second padding distance may be (maxCUwidth + 16).
  • the motion compensation padding area 506 can be created when certain conditions are met. For example, the motion compensation padding area 506 may be determined according to the slice type of the current picture 502. If the slice type of the current picture 502 is an I slice, the motion compensation padding area 506 may not be created, and if the slice type of the current picture 502 is a P or B slice, the motion compensation padding area 506 may be created.
  • Figure 6 shows an example of a method for determining a motion compensation padding area.
  • the motion compensation padding reference block 614 to the left of the reference block 612 was referenced.
  • the block above, lower, or right of the reference block of the reference picture 610 may be referenced.
  • the size of the motion compensation padding block 608 is the same as the size of the motion compensation padding reference block 614 to the left of the reference block 612. In FIG. 6, only pixels within M pixel distance from the left of the reference block 612 are available, so the size of the motion compensation padding reference block 614 is set to Mx4. Accordingly, the size of the motion compensation padding reference block 614 may be determined depending on how far pixels from the left of the reference block 612 are available.
  • the border block 602 is restored according to bidirectional prediction, two motion vectors can be derived from the border block 602. Therefore, from two motion vectors, two reference blocks for motion compensation padding can be derived. And based on the two reference blocks, the motion compensation padding block 608 can be determined.
  • the larger motion compensation padding reference block among the two motion compensation padding reference blocks derived from two motion vectors may be determined as the motion compensation padding block 608.
  • a motion compensation padding reference block of a reference block existing in a picture closer to the current picture 600 may be determined as the motion compensation padding block 608.
  • the first padding distance may be determined from a slice header or a picture header.
  • the slice header or picture header may include information indicating the first padding distance, or may refer to a parameter set containing that information.
  • the parameter set may include a video parameter set, a sequence parameter set, and a picture parameter set.
  • the value of M is set to 0, and movement is performed in the method applied to the repetitive padding area. Padding of the compensation padding area 616 may be performed.
  • the size of the extended picture 700 according to FIG. 7 may be determined to be the same as the size of the extended picture 400 of FIG. 4. Accordingly, the size of the memory required to store the extended picture 400 of FIG. 4 and the memory required to store the extended picture 700 of FIG. 7 are determined to be the same.
  • the size of the extended picture 700 can be determined according to the second padding distance, regardless of the first padding distance applied to the motion compensation padding area 706. Therefore, regardless of whether the motion compensation padding area 706 is applied or not and the first padding distance, the size of the extended picture 700 and the size of the memory required for the extended picture 700 are fixed, so that the memory required for video encoding and decoding Resources can be managed efficiently.
  • the motion compensation padding area may be padded according to an iterative padding method.
  • a motion compensation padding block may be derived based on the temporal neighboring blocks of the boundary block.
  • the padding distance applied to the motion compensation padding area 804 is N, which is a random integer
  • the padding distance of the motion compensation padding block 806 is M, which is a random integer.
  • M may be equal to or smaller than N. If M, the padding distance of the motion compensation padding block 806 determined by the motion compensation padding reference block 844, is smaller than N, the remaining blocks 808 that are not padded by the motion compensation padding method are the compensation padding block 806. ) can be padded using a repetitive padding method by referring to the pixels.
  • reference blocks including pixels in the repetitive padding area are excluded from motion prediction. Therefore, as the repetitive padding area is excluded from the prediction process, the prediction accuracy of the current block can be improved.
  • the list1 reference block 1144 when performing bidirectional motion prediction, the list1 reference block 1144 is completely in the list1 reference picture 1142, and the list0 reference block 1124 is partially in the list0 reference picture 1122. ) exists outside of. At this time, all pixels of the list 1 reference block 1144 that completely exist in the list 1 reference picture 1142 can be referenced for generating the prediction block of the current block 1102. However, since part of the list 0 reference block 1124 exists outside the list 0 reference picture 1122, only pixels in the area 1126 included in the list 0 reference picture 1122 among the list 0 reference block 1124 are It may be referenced in the prediction block generation of the current block 1102. And among the list 0 reference blocks 1124, pixels in the area 1128 that are not included in the list 0 reference picture 1122 are not referred to in generating the prediction block of the current block 1102.
  • Figure 12 shows an example of a block prediction method using bidirectional motion prediction when an extended picture has a motion compensation padding area.
  • the motion compensation padding area is considered an area within the reference picture. Therefore, the embodiments of FIGS. 9 to 11 can be applied based on the motion compensation padding area being considered a reference picture. Therefore, when the motion compensation padding method is applied, the area referenced by prediction is expanded, and the efficiency of bidirectional prediction can be increased.
  • Figure 13 shows an example of a method for generating and storing an extended picture according to the present invention.
  • step 1302 a motion compensation padding area within a first padding distance from the border of the current picture is padded according to the motion vector of a border block adjacent to the border of the current picture.
  • Step 1302 includes extracting a motion vector from a boundary block, based on the motion vector, determining a reference block from the motion compensation padding reference picture that is referenced to the motion compensation padding, and selecting a motion compensation padding reference block adjacent to the reference block in the padding direction. It may include determining and padding the motion compensation padding area based on a motion compensation padding reference block.
  • the motion compensation padding reference picture refers to a reference picture referenced for reconstruction of a boundary block.
  • the motion compensation padding reference block in determining the motion compensation padding reference block, may be determined to include adjacent pixels within the first padding distance from the boundary of the reference block in the padding direction. .
  • the motion compensation padding reference block in determining the motion compensation padding reference block, if the motion compensation padding reference possible distance between the boundary of the reference block and the boundary of the motion compensation padding reference picture is smaller than the first padding distance, The motion compensation padding reference block may be determined to include adjacent pixels within the motion compensation padding reference distance from the boundary of the reference block in the padding direction.
  • the motion compensation padding area is padded according to pixel values adjacent to the boundary of the current picture. For example, when the boundary block is predicted within the screen, a motion vector is not extracted from the boundary block.
  • the step of extracting a motion vector from the border block includes, when a motion vector cannot be extracted from the border block, a temporal neighborhood corresponding to the position of the border block from the temporal corresponding reference picture of the current picture. It may include determining a block and extracting a motion vector from the temporal neighboring block.
  • the first padding distance may be determined based on at least one of the maximum size of the coding unit, the size of the current picture, and the size of the boundary block.
  • the first padding distance may be determined as one of 2, 4, 8, 16, 32, 64, 128, and 256.
  • step 1304 a repetitive padding area within a second padding distance from the boundary of the motion compensation padding area is padded according to pixel values adjacent to the boundary of the motion compensation padding area.
  • step 1306 an extended picture consisting of the current picture, a motion compensation padding area, and a repetitive padding area is created. And the extended picture is stored in memory.
  • the size of the extended picture may be determined based on the size of the current picture, regardless of the value of the first padding distance.
  • the method for generating and storing the extended picture can be applied to an image decoding method and an image encoding method.
  • Figure 14 shows an example of a bidirectional inter-screen prediction method according to the present invention.
  • step 1406 the first reference block and The current block is predicted using at least one of the second reference blocks.
  • the current A block may be predicted based on the second reference block.
  • the first motion compensation padding area of the first reference picture may be regarded as the first reference picture
  • the second motion compensation padding area of the second reference picture may be regarded as the second reference picture
  • the bidirectional inter-screen prediction method can be applied to an image decoding method and an image encoding method.
  • Figure 15 is a diagram illustrating a content streaming system to which an embodiment according to the present invention can be applied.
  • the encoding server compresses content input from multimedia input devices such as smartphones, cameras, CCTV, etc. into digital data, generates a bitstream, and transmits it to the streaming server.
  • multimedia input devices such as smartphones, cameras, CCTV, etc. directly generate bitstreams
  • the encoding server may be omitted.
  • the bitstream may be generated by an image encoding method and/or an image encoding device to which an embodiment of the present invention is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to the user device based on a user request through a web server, and the web server can serve as a medium to inform the user of what services are available.
  • the web server delivers it to a streaming server, and the streaming server can transmit multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server may control commands/responses between each device in the content streaming system.
  • the streaming server may receive content from a media repository and/or encoding server. For example, when receiving content from the encoding server, the content can be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a certain period of time.
  • Examples of the user devices include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, slate PCs, Tablet PC, ultrabook, wearable device (e.g. smartwatch, smart glass, head mounted display), digital TV, desktop There may be computers, digital signage, etc.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation slate PCs
  • Tablet PC ultrabook
  • wearable device e.g. smartwatch, smart glass, head mounted display
  • digital TV desktop There may be computers, digital signage, etc.
  • an image can be encoded/decoded using at least one or a combination of at least one of the above embodiments.
  • the order in which the above embodiments are applied may be different in the encoding device and the decoding device. Alternatively, the order in which the above embodiments are applied may be the same in the encoding device and the decoding device.
  • the above embodiments can be performed for each luminance and chrominance signal.
  • the above embodiments for luminance and chrominance signals can be performed in the same way.
  • the above embodiments may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field.
  • the bitstream generated by the encoding method according to the above embodiment may be stored in a non-transitory computer-readable recording medium. Additionally, the bitstream stored in the non-transitory computer-readable recording medium can be decoded using the decoding method according to the above embodiment.
  • the present invention can be used in devices that encode/decode images and recording media that store bitstreams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에서, 현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계, 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계, 및 현재 픽처, 움직임 보상 패딩 영역, 및 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 영상 복호화 방법이 제공된다.

Description

영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
본 발명은 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다. 구체적으로, 본 발명은 화면 간 예측 방법을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다.
최근 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 더 높은 해상도 및 화질을 갖는 영상에 대한 고효율 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.
픽처의 화면 간 예측에 있어서, 현재 픽처는 참조 픽처를 참조하여 예측된다. 이 때, 현재 픽처가 참조 픽처의 경계 외부를 참조하는 경우, 현재 픽처의 예측 정확도를 향상시키기 위한 다양한 방법들이 논의되고 있다. 예를 들어, 참조 픽처 경계의 외부 영역을 패딩함으로써 참조 픽처를 확장하는 방법이 논의되고 있다. 그리고 양방향 화면 간 예측에서, 현재 블록이 확장된 참조 픽처의 패딩 영역을 참조하는 경우, 예측 정확도를 높이기 위한 다양한 방법이 논의되고 있다.
본 발명은 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 본 발명에서 제공된 영상 복호화 방법 또는 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계, 상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계, 및 상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 영역을 패딩하는 단계는, 상기 경계 블록으로부터 움직임 벡터를 추출하는 단계, 상기 움직임 벡터에 기초하여, 움직임 보상 패딩에 참조되는 움직임 보상 패딩 참조 픽처로부터 참조 블록을 결정하는 단계, 상기 참조 블록으로부터 패딩 방향으로 인접한 움직임 보상 패딩 참조 블록을 결정하는 단계, 및 상기 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서, 상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 제1 패딩 거리 이내로 인접한 픽셀들을 포함하도록 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서, 상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 움직임 보상 패딩 참조 가능 거리 이내로 인접한 픽셀들을 포함하도록 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계에 있어서, 상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 상기 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 영역 중 상기 현재 픽처의 경계로부터 상기 움직임 보상 패딩 참조 가능 거리 이내의 움직임 보상 패딩 가능 영역이 상기 움직임 보상 패딩 참조 블록에 의하여 패딩되고, 상기 움직임 보상 패딩 영역 중 움직임 보상 패딩 가능 영역이 아닌 영역은 상기 움직임 보상 패딩 가능 영역의 픽셀 값에 기초하여 패딩되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 영상 복호화 방법은, 상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 움직임 보상 패딩 영역은 상기 현재 픽처의 경계에 인접한 픽셀 값에 따라 패딩되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 경계 블록으로부터 움직임 벡터를 추출하는 단계는, 상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 현재 픽처의 시간적 대응 참조 픽처로부터 상기 경계 블록의 위치에 대응되는 시간적 주변 블록을 결정하는 단계, 및 상기 시간적 주변 블록으로부터 움직임 벡터를 추출하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 제1 패딩 거리는, 부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 제1 패딩 거리는, 2, 4, 8, 16, 32, 64, 128, 256 중 하나로 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 제2 패딩 거리는, 부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 확장 픽처의 크기는, 상기 제1 패딩 거리의 값에 상관없이, 상기 현재 픽처의 크기에 기초하여 결정되는 것을 특징으로 할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 복호화 방법은, 현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계, 상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계, 및 상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 현재 블록을 예측하는 단계에 있어서, 상기 제1 참조 블록의 픽셀들의 일부 또는 전부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 현재 블록은 상기 제2 참조 블록에 기초하여 예측되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 제1 참조 블록의 픽셀들의 일부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함된 픽셀들의 위치에 대응되는 상기 현재 블록의 제1 영역은 상기 제1 참조 블록과 상기 제2 참조 블록의 픽셀들의 가중 평균으로 결정되고, 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함되지 않은 픽셀들의 위치에 대응되는 상기 현재 블록의 제2 영역은 상기 제2 참조 블록에만 기초하여 예측되는 것을 특징으로 할 수 있다.
일 실시 예에 따르면, 상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부를 판단함에 있어서, 상기 제1 참조 픽처의 제1 움직임 보상 패딩 영역은 상기 제1 참조 픽처로 간주되고, 상기 제2 참조 픽처의 제2 움직임 보상 패딩 영역은 상기 제2 참조 픽처로 간주되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계, 상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계, 및 상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 부호화 방법은, 현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계, 상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계, 및 상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 비 일시적 컴퓨터 판독가능한 기록 매체는, 상기 영상 부호화 방법에 의하여 생성된 비트스트림을 저장한다.
본 발명의 일 실시예에 따른 전송 방법은, 상기 영상 부호화 방법에 의하여 생성된 비트스트림을 전송한다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명은, 화면 간 예측의 예측 정확도를 높이기 위하여 움직임 보상 패딩 영역이 포함된 확장 픽처를 생성하는 방법의 다양한 실시 예를 제안한다.
또한, 본 발명은, 화면 간 예측의 예측 정확도를 높이기 위하여, 참조 블록의 전부 또는 일부가 반복적 패딩 영역 또는 움직임 보상 패딩 영역에 위치하는 경우, 효율적인 양방향 화면 간 예측 방법의 다양한 실시 예를 제안한다.
본 발명에서, 화면 간 예측의 정확도가 향상됨에 따라, 전체 부호화 효율이 향상될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 4는 반복적 패딩 방법에 따라 생성된 확장 픽처의 일 실시 예를 나타낸다.
도 5는 반복적 패딩 및 움직임 보상 패딩에 따라 생성된 확장 픽처의 일 실시 예를 나타낸다.
도 6은 움직임 보상 패딩 영역의 결정 방법의 일 실시 예를 나타낸다.
도 7은 움직임 보상 패딩 영역의 크기와 관계없이 확장 픽처 영역이 결정되는 확장 픽처의 일 실시 예를 일 실시 예를 나타낸다.
도 8은 시간적 주변 블록에 기초하여 움직임 보상 패딩을 수행하는 방법의 일 실시 예를 나타낸다.
도 9는 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 10 및 11은 참조 블록의 일부분이 참조 픽처의 바깥 쪽에 위치하는 경우, 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 12는 확장 픽처에 움직임 보상 패딩 영역이 있는 경우, 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 13은 본 발명에 따른 영상 복호화 방법의 일 실시 예를 나타낸다.
도 14는 본 발명에 따른 영상 부호화 방법의 일 실시 예를 나타낸다.
도 15는 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계, 상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계, 및 상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 예시적으로 제공될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
실시예에서 용어 "적어도 하나(at least one)"는 1, 2, 3 및 4와 같은 1 이상의 개수들 중 하나를 의미할 수 있다. 실시예에서 용어 "복수(a plurality of)"는 2, 3 및 4와 같은 2 이상의 개수들 중 하나를 의미할 수 있다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
용어 설명
이하에서, “영상”은 동영상(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "동영상의 부호화 및/또는 복호화"를 의미할 수 있으며, "동영상을 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, "동영상" 및 "비디오"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다. 여기서, 대상 영상은 현재 영상과 동일한 의미를 가질 수 있다.
이하에서, "영상(image)", "픽처(picture)", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “대상 블록”은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, “유닛”은 블록과 구분하여 지칭하기 위해 휘도(Luma) 성분 블록과 그에 대응하는 색차(Chroma) 성분 블록을 포함한 것을 의미할 수 있다. 일 예로, 부호화 트리 유닛(Coding Tree Unit, CTU)은 하나의 휘도 성분(Y) 부호화 트리 블록(Coding Tree Block, CTB)과 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다.
이하에서, “샘플”, “픽셀” 및 “픽셀”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 여기서, 샘플은 블록을 구성하는 기본 단위를 나타낼 수 있다.
이하에서, “인터” 및 “화면 간”은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, “인트라” 및 “화면 내”는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 하나 이상의 영상들을 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 영상 분할부(110), 인트라 예측부(120), 움직임 예측부(121), 움직임 보상부(122), 스위치(115), 감산기(113), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(117), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
또한, 부호화 장치(100)는 입력 영상에 대한 부호화를 통해 부호화된 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있거나, 유/무선 전송 매체를 통해 스트리밍될 수 있다.
영상 분할부(110)는 동영상 부호화/복호화의 효율을 높이기 위해, 입력 영상을 다양한 형태로 분할할 수 있다. 즉, 입력 동영상은 다수의 픽처로 구성되어 있고 하나의 픽처는 압축 효율, 병렬처리 등을 위하여 계층적으로 분할되어 처리될 수 있다. 예를 들어, 하나의 픽처를 하나 또는 다수개의 타일(tile) 또는 슬라이스(slice)로 분할하고 다시 다수개의 CTU (Coding Tree Unit)로 분할할 수 있다. 또 다른 방식으로, 먼저 하나의 픽처를 직사각형 모양의 슬라이스의 그룹으로 정의되는 다수개의 서브픽처(sub-picture)로 분할하고, 각 서브픽처를 상기 타일/슬라이스로 분할할 수도 있다. 여기서, 서브픽처는 픽처를 부분적으로 독립 부호화/복호화 및 전송하는 기능을 지원하기 위하여 활용될 수 있다. 여러 개의 서브픽처는 각각 개별적으로 복원 가능하기에 멀티 채널 입력을 하나의 픽처로 구성하는 응용에 있어서 편집이 용이하다는 장점을 가지게 된다. 또한, 타일을 횡방향으로 분할하여 브릭(brick)을 생성할 수도 있다. 여기서, 브릭(brick)은 픽처내 병렬처리의 기본 단위로 활용할 수 있다. 또한, 하나의 CTU는 쿼드 트리(QT: Quadtree)로 재귀적으로 분할될 수 있고, 분할의 말단 노드를 CU (Coding Unit)라고 정의할 수 있다. CU는 예측 단위인 PU(Prediction Unit)와 변환 단위인 TU (Transform Unit)로 분할되어 예측과 분할이 수행될 수 있다. 한편, CU는 예측 단위 및/또는 변환 단위 그 자체로 활용할 수 있다. 여기서, 유연한 분할을 위하여 각 CTU는 쿼드 트리(QT) 뿐만 아니라 멀티타입 트리(MTT: Multi-Type Tree)로 재귀적으로 분할될 수도 있다. CTU는 QT의 말단 노드에서 멀티타입 트리로 분할이 시작될 수 있으며 MTT는 BT(Binary Tree)와 TT(Triple Tree)로 구성될 수 있다. 예를 들어, MTT구조에는 수직 이진 분할모드(SPLIT_BT_VER), 수평 이진 분할모드(SPLIT_BT_HOR), 수직 삼항 분할모드(SPLIT_TT_VER), 수평 삼항 분할모드(SPLIT_TT_HOR)로 구분될 수 있다. 또한, 분할 시 휘도 블록의 쿼드 트리의 최소 블록 크기(MinQTSize)는 16x16이고 바이너리 트리의 최대블록 크기(MaxBtSize)는 128x128, 트리플 트리의 최대 블록 크기(MaxTtSize)는 64x64로 설정할 수 있다. 또한, 바이너리 트리의 최소 블록 크기(MinBtSize)와 트리플 트리의 최소 블록 크기(MinTtSize)는 4x4, 멀티 타입 트리의 최대 깊이(MaxMttDepth)는 4로 지정할 수 있다. 또한 I 슬라이스의 부호화 효율을 높이기 위하여 휘도와 색차 성분의 CTU 분할 구조를 서로 다르게 사용하는 듀얼 트리(dual tree)를 적용할 수도 있다. 반면 P와 B슬라이스에서는 CTU 내의 휘도와 색차 CTB (Coding Tree Block)들이 코딩 트리 구조를 공유하는 싱글 트리(single tree)로 분할할 수 있다.
부호화 장치(100)는 입력 영상에 대해 인트라 모드 및/또는 인터 모드로 부호화를 수행할 수 있다. 또는, 부호화 장치(100)는 입력 영상에 대해 상기 인트라 모드 및 인터 모드가 아닌 제3의 모드 (예, IBC 모드, Palette 모드 등)로 부호화를 수행할 수도 있다. 단, 상기 제3의 모드가 인트라 모드 또는 인터 모드와 유사한 기능적 특징을 가지는 경우, 설명의 편의를 위해 인트라 모드 또는 인터 모드로 분류하기도 한다. 본 발명에서는 상기 제3의 모드에 대한 구체적인 설명이 필요한 경우에만 이를 별도로 분류하여 기술할 것이다.
예측 모드로 인트라 모드가 사용되는 경우 스위치(115)는 인트라로 전환될 수 있고, 예측 모드로 인터 모드가 사용되는 경우 스위치(115)는 인터로 전환될 수 있다. 여기서 인트라 모드는 인트라 예측 모드를 의미할 수 있으며, 인터 모드는 화면 간 예측 모드를 의미할 수 있다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 입력 블록 및 예측 블록의 차분(residual)을 사용하여 잔여 블록을 부호화할 수 있다. 입력 영상은 현재 부호화의 대상인 현재 영상으로 칭해질 수 있다. 입력 블록은 현재 부호화의 대상인 현재 블록 혹은 부호화 대상 블록으로 칭해질 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 현재 블록의 주변에 이미 부호화/복호화된 블록의 샘플을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 현재 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 입력 블록에 대한 예측 샘플들을 생성할 수 있다. 여기서 인트라 예측은 화면 내 예측을 의미할 수 있다.
인트라 예측 방식으로, DC 모드, Planar 모드와 같은 무방향성 예측 모드와 방향성 예측 모드 (예, 65개 방향)가 적용될 수 있다. 여기서, 인트라 예측 방식은 인트라 예측 모드 또는 인트라 예측 모드로 표현될 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부(121)는, 움직임 예측 과정에서 참조 영상으로부터 입력 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 움직임 벡터를 도출할 수 있다. 이때, 상기 영역으로 탐색 영역을 사용할 수 있다. 참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 여기서, 참조 영상에 대한 부호화/복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.
움직임 보상부(122)는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다. 여기서 인터 예측은 화면 간 예측 혹은 움직임 보상을 의미할 수 있다.
상기 움직임 예측부(121)과 움직임 보상부(122)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 화면 간 예측 혹은 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 예측 및 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge Mode), 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction; AMVP) 모드, 인트라 블록 카피(Intra Block Copy; IBC) 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 화면 간 예측 혹은 움직임 보상을 수행할 수 있다.
또한, 상기 화면 간 예측 방법을 기초로, sub-PU 기반 예측의 AFFINE 모드, SbTMVP (Subblock-based Temporal Motion Vector Prediction) 모드, 및 PU 기반 예측의 MMVD(Merge with MVD) 모드, GPM(Geometric Partitioning Mode) 모드를 적용할 수도 있다. 또한, 각 모드의 성능 향상을 위하여 HMVP(History based MVP), PAMVP(Pairwise Average MVP), CIIP(Combined Intra/Inter Prediction), AMVR(Adaptive Motion Vector Resolution), BDOF(Bi-Directional Optical-Flow), BCW(Bi-predictive with CU Weights), LIC (Local Illumination Compensation), TM(Template Matching), OBMC(Overlapped Block Motion Compensation) 등을 적용할 수도 있다.
감산기(113)는 입력 블록 및 예측 블록의 차분을 사용하여 잔여 블록을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다. 잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나, 양자화하거나, 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위의 잔여 신호일 수 있다.
변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 생성할 수 있고, 생성된 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.
변환 계수 또는 잔여 신호에 양자화를 적용함으로써 양자화된 레벨(quantized level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 레벨도 변환 계수로 칭해질 수 있다.
일 예로, 화면내 예측을 통해 생성된 4x4 휘도 잔차 블록은 DST(Discrete Sine Transform) 기반 기저 벡터를 통해 변환하며, 나머지 잔차 블록에 대해서는 DCT(Discrete Cosine Transform) 기반의 기저 벡터를 사용하여 변환을 수행할 수 있다. 또한 RQT(Residual Quad Tree) 기술을 통하여 하나의 블록에 대하여 변환 블록을 쿼드 트리 형태로 분할하며 RQT를 통해 분할된 각 변환 블록에 대하여 변환과 양자화를 수행하고 난 후 모든 계수가 0이 되는 경우의 부호화 효율을 높이기 위해 cbf(coded block flag)를 전송할 수 있다.
또 다른 대안으로는, 여러 변환 기저를 선택적으로 사용하여 변환을 수행하는 MTS(Multiple Transform Selection) 기술을 적용할 수도 있다. 즉, CU를 RQT를 통해 TU로 분할하지 않고, SBT(Sub-block Transform) 기술을 통해 TU분할과 유사한 기능을 수행할 수 있다. 구체적으로, SBT는 화면 간 예측 블록에만 적용되며 RQT와 달리 현재 블록을 수직 혹은 수평 방향으로 ½ 혹은 ¼ 크기로 분할한 뒤 그 중 하나의 블록에 대해서만 변환을 수행할 수 있다. 예를 들어, 수직으로 분할된 경우 맨 왼쪽 혹은 맨 오른쪽 블록에 대해 변환을 수행하고, 수평으로 분할된 경우 맨 위쪽 혹은 맨 아래쪽 블록에 대하여 변환을 수행할 수 있다.
또한 DCT 또는 DST를 통해 주파수 영역으로 변환된 잔차 신호를 추가 변환하는 2차 변환 (secondary transform) 기술인 LFNST(Low Frequency Non-Separable Transform)를 적용할 수도 있다. LFNST는 좌측 상단의 4x4 또는 8x8의 저주파수 영역에 대해서 변환을 추가적으로 수행하여 잔차 계수를 좌측 상단으로 집중시킬 수 있게 된다.
양자화부(140)는 변환 계수 또는 잔여 신호를 양자화 매개변수 (QP, Quantization parameter)에 따라 양자화함으로써 양자화된 레벨을 생성할 수 있고, 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
일 예로, 0~51 QP 값을 사용하는 양자화기를 사용할 수 있다. 또는, 영상의 크기가 보다 크고 높은 부호화 효율이 요구되는 경우에는, 0~63 QP를 사용할 수도 있다. 또한 하나의 양자화기를 사용하는 것이 아닌 두 개의 양자화기를 사용하는 DQ(Dependent Quantization) 방법을 적용할 수도 있다. DQ는 두개의 양자화기(예, Q0, Q1)를 사용하여 양자화를 수행하되, 특정 양자화기 사용에 대한 정보를 시그널링 하지 않더라도, 상태 전이 모델을 통해 현재 상태에 기반하여 다음 변환 계수에 사용할 양자화기가 선택되도록 적용할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터(Coding Parameter) 값들 등에 대하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있고, 비트스트림을 출력할 수 있다. 엔트로피 부호화부(150)는 영상의 샘플에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법, 확률 모델, 문맥 모델(Context Model)을 사용하여 산술 부호화를 수행할 수도 있다.
관련하여, CABAC을 적용함에 있어서, 복호화 장치에서 저장되는 확률 테이블의 크기를 줄이고자, 테이블 확률 업데이트 방식을 간단한 수식을 통한 테이블 업데이트 방식으로 변경하여 적용할 수도 있다. 또한 더 정확한 심볼의 확률 값을 얻기 위하여 2개의 서로 다른 확률 모델을 사용할 수도 있다.
엔트로피 부호화부(150)는 변환 계수 레벨(양자화된 레벨)을 부호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 2차원의 블록 형태(form) 계수를 1차원의 벡터 형태로 변경할 수 있다.
부호화 파라미터(Coding Parameter)는 구문 요소 (syntax element)와 같이 부호화 장치(100)에서 부호화되어 복호화 장치(200)로 시그널링되는 정보(플래그, 색인 등)뿐만 아니라, 부호화 과정 혹은 복호화 과정에서 유도되는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다.
여기서, 플래그 혹은 색인을 시그널링(signaling)한다는 것은 인코더에서는 해당 플래그 혹은 색인을 엔트로피 부호화(Entropy Encoding)하여 비트스트림(Bitstream)에 포함하는 것을 의미할 수 있고, 디코더에서는 비트스트림으로부터 해당 플래그 혹은 색인을 엔트로피 복호화(Entropy Decoding)하는 것을 의미할 수 있다.
부호화된 현재 영상은 이후에 처리되는 다른 영상에 대한 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 현재 영상을 다시 복원 또는 복호화할 수 있고, 복원 또는 복호화된 영상을 참조 영상으로 참조 픽처 버퍼(190)에 저장할 수 있다.
양자화된 레벨은 역양자화부(160)에서 역양자화(dequantization)될 수 있고. 역변환부(170)에서 역변환(inverse transform)될 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(117)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 복원 블록(reconstructed block)이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화 및 역변환 중 적어도 하나 이상이 수행된 계수를 의미하며, 복원된 잔여 블록을 의미할 수 있다. 상기 역양자화부(160) 및 역변환부(170)는 양자화부(140) 및 변환부(130)의 역과정으로 수행될 수 있다.
복원 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF), 양방향 필터 (Bilateral filter; BIF), LMCS (Luma Mapping with Chroma Scaling) 등을 복원 샘플, 복원 블록 또는 복원 영상에, 전부 또는 일부 필터링 기술로 적용할 수 있다. 필터부(180)는 인-루프 필터(in-loop filter)로 칭해질 수도 있다. 이때, 인-루프 필터(in-loop filter)는 LMCS를 제외하는 명칭으로 사용하기도 한다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 샘플을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 서로 다른 필터를 적용할 수 있다.
샘플 적응적 오프셋을 이용하여 부호화 에러를 보상하기 위해 샘플 값에 적정 오프셋(offset) 값을 더할 수 있다. 샘플 적응적 오프셋은 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다. 영상에 포함된 샘플을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 샘플의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
양방향 필터 (Bilateral filter; BIF) 또한 디블록킹을 수행한 영상에 대해 샘플 단위로 원본 영상과의 오프셋을 보정할 수 있다.
적응적 루프 필터는 복원 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 부호화 유닛(Coding Unit, CU) 별로 시그널링될 수 있고, 각각의 블록에 따라 적용될 적응적 루프 필터의 모양 및 필터 계수는 달라질 수 있다.
LMCS(Luma Mapping with Chroma Scaling)에서, 루마 매핑(LM, Luma-mapping)은 piece-wise 선형 모델을 통해 휘도 값을 재맵핑 하는 것을 의미하고, 크로마 스케일링(CS, Chroma scaling)은 예측 신호의 평균 휘도 값에 따라 색차 성분의 잔차 값을 스케일링해주는 기술을 의미한다. 특히, LMCS는 HDR(High Dynamic Range) 영상의 특성을 반영한 HDR 보정 기술로 활용될 수 있다.
필터부(180)를 거친 복원 블록 또는 복원 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(180)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(201), 스위치 (203), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신하거나, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 또는 인터 모드로 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원된 영상 또는 복호화된 영상을 생성할 수 있고, 복원된 영상 또는 복호화된 영상을 출력할 수 있다.
복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치(203)가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치(203)가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림을 복호화하여 복원된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 복원된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔여 블록과 및 예측 블록을 더함으로써 복호화 대상이 되는 복원 블록을 생성할 수 있다. 복호화 대상 블록은 현재 블록으로 칭해질 수 있다.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 따른 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
엔트로피 복호화부(210)는 변환 계수 레벨(양자화된 레벨)을 복호화하기 위해 변환 계수 스캐닝 방법을 통해 1차원의 벡터 형태 계수를 2차원의 블록 형태로 변경할 수 있다.
양자화된 레벨은 역양자화부(220)에서 역양자화될 수 있고, 역변환부(230)에서 역변환될 수 있다. 양자화된 레벨은 역양자화 및/또는 역변환이 수행된 결과로서, 복원된 잔여 블록으로 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 레벨에 양자화 행렬을 적용할 수 있다. 복호화 장치에 적용되는 역양자화부(220) 및 역변환부(230)는 전술한 부호화 장치에 적용되는 역양자화부(160) 및 역변환부(170)와 동일한 기술을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하는 공간적 예측을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 복호화 장치에 적용되는 인트라 예측부(240)는 전술한 부호화 장치에 적용되는 인트라 예측부(120)와 동일한 기술을 적용할 수 있다.
인터 모드가 사용되는 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하는 움직임 보상을 현재 블록에 대해 수행함으로써 예측 블록을 생성할 수 있다. 상기 움직임 보상부(250)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터를 적용하여 예측 블록을 생성할 수 있다. 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드, 현재 픽처 참조 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 움직임 보상을 수행할 수 있다. 복호화 장치에 적용되는 움직임 보상부(250)는 전술한 부호화 장치에 적용되는 움직임 보상부(122)와 동일한 기술을 적용할 수 있다.
가산기(201)는 복원된 잔여 블록 및 예측 블록을 가산하여 복원 블록을 생성할 수 있다. 필터부(260)는 Inverse-LMCS, 디블록킹 필터, 샘플 적응적 오프셋 및 적응적 루프 필터 등 적어도 하나를 복원 블록 또는 복원 영상에 적용할 수 있다. 복호화 장치에 적용되는 필터부(260)는 전술한 부호화 장치에 적용되는 필터부(180)에 적용된 필터링 기술과 동일한 기술을 적용할 수 있다.
필터부(260)는 복원 영상을 출력할 수 있다. 복원 블록 또는 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다. 필터부(260)를 거친 복원 블록은 참조 영상의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 복원 블록들로 구성된 복원 영상일 수 있다. 저장된 참조 영상은 이후 화면 간 예측 혹은 움직임 보상에 사용될 수 있다.
도 3은 본 발명이 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.
일 실시예에 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다. 상기 부호화부(12)의 상세 구성은 전술한 도 1의 부호화 장치(100)와 동일하게 구성하는 것도 가능하다.
전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.
복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다. 상기 복호화부(22)의 상세 구성은 전술한 도 2의 복호화 장치(200)와 동일하게 구성하는 것도 가능하다.
렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
본 발명에서, 움직임 예측을 통한 움직임 보상 시 경계 영역에 패딩 방법을 사용하여 참조 픽처를 확장한 후, 이를 기반으로 화면 간 예측 블록을 생성하는 경계 영역 패딩 기술이 제시된다. 경계 영역 패딩 방법은 높은 복잡도 및 많은 메모리 사용량으로 인하여 복호화기에 부담이 있을 수 있다. 따라서 낮은 복호화기의 복잡도 및 적은 메모리 사용량으로 경계 영역을 패딩할 수 있는 방법이 제안된다. 또한 양방향 움직임 보상에 있어서, 패딩된 경계 영역이 참조될 경우의 움직임 보상 방법에 대한 다양한 실시 예가 제안된다.
이하, 도 4는 반복적 패딩 방법에 따라 확장 픽처를 결정하는 방법을 설명한다. 그리고 도 5 내지 8은 움직임 보상 패딩 방법과 반복적 패딩 방법에 따라 확장 픽처를 결정하는 방법을 설명한다.
도 4는 반복적 패딩 방법에 따라 생성된 확장 픽처 (Extended picture)의 일 실시 예를 나타낸다.
도 4는 참조 픽처(Reference picture) (402)와 확장 픽처 영역(extended picture area) (404)으로 구성된 확장 픽처 (400)를 나타낸다. 여기서, 확장 픽처 영역 (404)은 참조 픽처 (402)의 경계로부터 소정의 패딩 거리(padding distance)만큼 확장된 영역을 의미한다. 상기 소정의 패딩 거리는 부호화 유닛의 최대 너비 및/또는 부호화 유닛의 최대 높이에 따라 결정될 수 있다. 또는, 상기 소정의 패딩 거리는 부호화 유닛의 최대 너비 또는 부호화 유닛의 최대 높이보다 소정의 값만큼 큰 값으로 결정될 수 있다. 예를 들어, 도 4와 같이, 부호화 유닛의 최대 너비가 maxCUwidth 일 때, 상기 소정의 패딩 크기는 (maxCUwidth + 16)일 수 있다.
도 4의 확장 픽처 영역 (404)은 반복적 패딩 영역(Repetitive padding area)으로만 구성된다. 반복적 패딩 영역은 참조 픽처의 경계에 위치한 픽셀들을 반복적으로 패딩함으로써 생성된다. 따라서, 도 4의 확장 픽처 영역 (404)에서 참조 픽처 (402)의 경계의 하나의 픽셀에 기초하여 패딩됨으로써 생성된 모든 픽셀들은 동일한 값을 가진다. 예를 들어, 참조 픽처 (402)의 픽셀 (406)으로부터 생성된 확장 픽처 영역 (404)의 픽셀들 (408)의 값은 모두 참조 픽처 (402)의 픽셀 (406)의 값과 동일하도록 결정될 수 있다.
도 5는 반복적 패딩 및 움직임 보상 패딩에 따라 생성된 확장 픽처의 일 실시 예를 나타낸다.
도 5의 확장 픽처 (500)는 참조 픽처 (502)와 확장 픽처 영역으로 구성된다. 그리고 확장 픽처 영역은 반복적 패딩 영역 (504)과 움직임 보상 패딩 영역 (Motion Compensation padding area, MC padding area) (506)으로 구성된다.
움직임 보상 패딩 영역 (506)의 픽셀들은 참조 픽처 (502)의 경계 블록의 움직임 벡터를 이용한 움직임 보상으로 결정된다. 움직임 보상 패딩 영역 (506)의 결정 방법은 도 6에서 자세히 설명된다. 움직임 보상 패딩 영역 (506)의 넓이는 움직임 보상 패딩 영역 (506)에 적용되는 제1 패딩 거리에 의하여 결정될 수 있다. 예를 들어, 움직임 보상 패딩 영역 (506)의 넓이는 참조 픽처 (502)의 너비 (picture_width)와 제1 패딩 거리의 곱과 참조 픽처 (502)의 높이 (picture_height)와 제1 패딩 거리의 곱에 의하여 결정될 수 있다.
상기 제1 패딩 거리는 참조 픽처 (502)의 높이 또는 너비에 의하여 결정될 수 있다. 또는 상기 제1 패딩 거리는 고정된 값일 수 있다. 예를 들어, 도 5와 같이, 상기 소정의 값은 64일 수 있다. 따라서, 참조 픽처의 상측과 하측의 경계에 인접한 움직임 보상 패딩 영역의 크기는 (picture_width x 64) 이고, 참조 픽처의 좌측과 우측의 경계에 인접한 움직임 보상 패딩 영역의 크기는 (64 x picture_height)일 수 있다. 실시 예에 따라, 참조 픽처 (502)의 좌측 및 우측에 인접한 움직임 보상 패딩 영역 (506)에 적용되는 제1 패딩 거리와 참조 픽처 (502)의 상측 및 하측에 인접한 움직임 보상 패딩 영역 (506)에 적용되는 제1 패딩 거리는 서로 다를 수 있다.
반복적 패딩 영역 (504)은 참조 픽처 (502) 또는 움직임 보상 패딩 영역 (506)의 경계에 위치한 픽셀들을 제2 패딩 거리만큼 반복적으로 패딩함으로써 생성된다. 상기 제2 패딩 거리는 부호화 유닛의 최대 너비 및/또는 부호화 유닛의 최대 높이에 따라 결정될 수 있다. 또는, 상기 제2 패딩 거리는 부호화 유닛의 최대 너비 또는 부호화 유닛의 최대 높이보다 소정의 값만큼 큰 값으로 결정될 수 있다. 예를 들어, 도 5와 같이, 부호화 유닛의 최대 너비가 maxCUwidth 일 때, 상기 소정의 제2 패딩 거리는 (maxCUwidth + 16)일 수 있다.
움직임 보상 패딩 영역 (506)은 특정 조건이 만족될 경우, 생성될 수 있다. 예를 들어, 현재 픽처 (502)의 슬라이스 타입에 따라 움직임 보상 패딩 영역 (506)이 결정될 수 있다. 만약, 현재 픽처 (502)의 슬라이스 타입이 I 슬라이스인 경우, 움직임 보상 패딩 영역 (506)은 생성되지 않고, P 또는 B 슬라이스인 경우에 움직임 보상 패딩 영역 (506)이 생성될 수 있다.
도 6은 움직임 보상 패딩 영역의 결정 방법의 일 실시 예를 나타낸다.
현재 픽처 (600)의 움직임 보상 패딩 영역 (604)은 현재 픽처 (600)의 경계에 위치한 소정 크기의 경계 블록 (602)으로부터 유도한 움직임 벡터를 이용하여 결정된다. 상기 움직임 벡터를 이용하여, 현재 픽처의 복원에 참조된 참조 픽처 (610)로부터, 경계 블록 (602)에 대응되는 참조 블록 (612)이 결정된다. 참조 블록 (612)이 결정되면, 참조 블록 (612)의 좌측의 움직임 보상 패딩 참조 블록 (614)으로부터 움직임 보상 패딩 블록 (608)이 유도된다.
도 6에서는 현재 픽처 (600)의 움직임 보상 패딩 영역 (604)의 좌측 부분을 결정하기 위하여, 참조 블록 (612)의 좌측의 움직임 보상 패딩 참조 블록 (614)이 참조되었다. 그러나 상측, 하측, 또는 우측의 움직임 보상 패딩 영역의 결정이 필요할 경우, 참조 픽처 (610)의 참조 블록의 상측, 하측, 또는 우측의 블록이 참조될 수 있다.
경계 블록 (602)의 크기는 실시 예에 따라 다르게 설정될 수 있다. 도 6에서는 경계 블록 (602)의 크기는 4x4로 설정되었다. 또한 실시 예에 따라, 경계 블록 (602)의 크기는 부호화기 또는 복호화기에서 결정된 블록의 최소 크기로 설정될 수 있다.
움직임 보상 패딩 블록 (608)의 크기는 참조 블록 (612)의 좌측의 움직임 보상 패딩 참조 블록 (614)의 크기와 동일하다. 도 6에서, 참조 블록 (612)의 좌측으로부터 M 픽셀 거리 내의 픽셀들만이 이용가능 (available) 하므로, 움직임 보상 패딩 참조 블록 (614)의 크기는 Mx4로 설정된다. 따라서, 참조 블록 (612)의 좌측으로부터 얼마나 멀리 떨어진 픽셀들이 이용가능한지 한지 여부에 따라, 움직임 보상 패딩 참조 블록 (614)의 크기가 결정될 수 있다.
다만, 움직임 보상 패딩 블록 (608)의 너비는 움직임 보상 패딩 영역 (604)의 좌측 부분의 너비보다 클 수 없다. 예를 들어, 도 5와 같이 움직임 보상 패딩 영역이 참조 픽처로부터 64 픽셀 거리 이내의 영역으로 결정되는 경우, 움직임 보상 패딩 블록 (608)의 너비는 64와 같거나, 64보다 작도록 결정된다.
좌측과 마찬가지로, 우측의 움직임 보상 패딩 영역의 움직임 보상 패딩 참조 블록은 Mx4로 설정될 수 있다. 그리고 상측 및 하측의 움직임 보상 패딩 영역의 움직임 보상 패딩 참조 블록은 4xM으로 설정될 수 있다.
만약 경계 블록 (602)이 양방향 예측에 따라 복원된 경우, 경계 블록 (602)으로부터 두 개의 움직임 벡터가 유도될 수 있다. 따라서 두 개의 움직임 벡터로부터, 움직임 보상 패딩을 위한 두 개의 참조 블록이 유도될 수 있다. 그리고 두 개의 참조 블록에 기초하여, 움직임 보상 패딩 블록 (608)이 결정될 수 있다.
일 실시 예에 따르면, 두 개의 움직임 벡터로부터 유도된 두 개의 움직임 보상 패딩 참조 블록 중 더 큰 움직임 보상 패딩 참조 블록이 움직임 보상 패딩 블록 (608)으로 결정될 수 있다. 또는, 현재 픽처 (600)와 더 가까운 픽처 내에 존재하는 참조 블록의 움직임 보상 패딩 참조 블록이 움직임 보상 패딩 블록 (608)으로 결정될 수 있다.
또는, 두 개의 움직임 보상 패딩 참조 블록의 평균하여 결정된 블록이 움직임 보상 패딩 블록 (608)으로 결정될 수 있다. 또는 두 개의 움직임 보상 패딩 참조 블록의 가중 평균하여 결정된 블록이 움직임 보상 패딩 블록 (608)으로 결정될 수 있다. 이 때 가중 평균에 사용되는 가중치는 참조 픽처들 간의 POC (Picture Order Count) 거리에 따라 결정될 수 있다.
도 5에 따르면, 상측 및 하측의 움직임 보상 패딩 영역의 크기는 각각 (picture_width x 64)으로 결정되고, 좌측 및 우측의 움직임 보상 패딩 영역의 크기는 각각 (64 x picture_height)으로 결정된다. 도 6에 따르면, 상측 및 하측의 움직임 보상 패딩 블록의 크기는 4xM으로 결정되고, 좌측 및 우측의 움직임 보상 패딩 블록의 크기는 Mx4으로 결정된다. 움직임 보상 패딩 블록에 대하여 정의된 제1 패딩 거리로 인하여, M의 최대값은 제1 패딩 거리로 결정된다.
실시 예에 따라, 도 5에서 제1 패딩 거리는 64로 표시되어 있다. 그러나 가 제1 패딩 거리는 64가 아닌 8, 16, 32, 128, 256 등의 값을 가질 수 있다. 참조 픽처로부터 거리가 멀어질수록 경계 블록으로부터 추출된 움직임 벡터의 예측 정확도가 낮아진다. 따라서, 화면 간 예측의 예측 정확도가 향상될 수 있는 범위 내에서 제1 패딩 거리가 결정될 수 있다.
일 실시 예에 따르면, 부호화 단위의 최대 너비 또는 최대 높이에 따라, 제1 패딩 거리가 결정될 수 있다. 예를 들어, 제1 패딩 거리는 부호화 단위의 최대 너비 또는 최대 높이와 같은 값으로 결정될 수 있다. 또는 제1 패딩 거리는 부호화 단위의 최대 너비 또는 최대 높이로부터 소정의 값을 곱하거나 나눔으로써 결정될 수 잇다.
일 실시 예에 따르면, 제1 패딩 거리는 참조 픽처의 크기에 기초하여 결정될 수 있다. 예를 들어, 참조 픽처의 크기가 클수록, 제1 패딩 거리이 증가할 수 있다. 반대로, 참조 픽처의 크기가 작을수록, 제1 패딩 거리는 감소할 수 있다
일 실시 예에 따르면, 움직임 보상 패딩의 기준이 되는 경계 블록의 크기에 따라, 제1 패딩 거리가 결정될 수 있다. 도 6에 따르면, 경계 블록 (602)의 크기는 4x4으로 정의되어 있고, 움직임 보상 패딩 영역 (604)의 패딩 거리는 64로 정의되어 있다. 그러나 경계 블록의 크기가 증가하면 움직임 보상 패딩 영역의 패딩 거리도 마찬가지로 증가할 수 있다.
일 실시 예에 따르면, 제1 패딩 거리는 슬라이스 헤더 또는 픽처 헤더로부터 결정될 수 있다. 슬라이스 헤더 또는 픽처 헤더는 제1 패딩 거리를 나타내는 정보를 포함하고 있거나, 그 정보를 포함하는 파라미터 세트를 참조할 수 있다. 상기 파라미터 세트는 비디오 파라미터 세트, 시퀀스 파라미터 세트, 픽처 파라미터 세트를 포함할 수 있다.
만약 M의 값이 제1 패딩 거리보다 작을 때, (M+1)부터 제1 패딩 거리까지의 움직임 보상 패딩 영역은 현재 픽처에서 해당 방향의 가장 최외각에 위치한 픽셀 값을 반복적으로 패딩함으로써 결정될 수 있다. 예를 들어, 움직임 보상 패딩 영역 (616)은 현재 픽처 (600)에 의하여 결정될 수 있다.
또는 움직임 보상 패딩 영역은 움직임 보상 패딩 블록에서 해당 방향의 가장 최외각에 위치한 픽셀 값을 반복적으로 패딩함으로써 결정될 수 있다. 예를 들어, 움직임 보상 패딩 영역 (616)은 움직임 보상 패딩에 의하여 결정된 움직임 보상 패딩 블록 (608)에 의하여 결정될 수 있다.
만약 경계 블록 (602)이 화면 내 예측 모드로 부호화/복호화되거나 또는 경계 블록 (602)의 움직임 벡터 정보를 사용할 수 없는 경우, M의 값은 0으로 설정되고, 반복적 패딩 영역에 적용되는 방법으로 움직임 보상 패딩 영역 (616)의 패딩이 수행될 수 있다.
도 5에서 따르면, 움직임 보상 패딩 영역의 크기는 (picture_width x 64) 및 (64 x picture_height)이다. 실시 예에 따라, 메모리의 사용량을 줄이기 위해 움직임 보상 패딩 영역의 크기는 64보다 작은 임의의 정수 N(N ≤ 64)에 따라 결정될 수 있다. 따라서 움직임 보상 패딩 영역의 크기는 (picture_width x N)과 (N x picture_height)로 설정될 수 있다. 이 때, N의 크기는 64보다 작거나 같은 임의의 정수(예를 들어 2, 4, 8, 16, 32, 64 등)로 설정될 수 있다. 결정된 N의 크기를 기반으로 Mx4 또는 4xM 움직임 보상 패딩 블록에서 M의 크기가 결정될 수 있다. 예를 들어 움직임 보상 패딩 영역에서 N의 크기를 16으로 결정한 경우 움직임 보상 패딩 블록의 M의 크기는 16과 같거나 더 작도록 결정될 수 있다. 즉, M ≤ N으로 설정될 수 있다.
도 7은 움직임 보상 패딩 영역의 크기와 관계없이 확장 픽처 영역이 결정되는 확장 픽처의 일 실시 예를 일 실시 예를 나타낸다.
도 4에 따르면, 확장 픽처 영역은 반복적 패딩 영역만을 포함한다. 그리고, 확장 픽처 영역은 참조 픽처의 경계로부터 각 방향으로 제2 패딩 거리 (maxCUwidth + 16)의 픽셀만큼 참조 픽처를 확장함으로써 생성된다. 반면 도 5에 따르면, 확장 픽처 영역은 반복적 패딩 영역과 움직임 보상 패딩 영역을 포함한다. 그리고 확장 픽처 영역은 참조 픽처의 경계로부터 각 방향으로 제1 패딩 거리 (N)와 제2 패딩 거리 (maxCUwidth + 16)의 합에 해당되는 거리 (maxCUwidth + 16 + N)의 픽셀만큼 참조 픽처를 확장함으로써 생성된다.
따라서 도 5에 따라, 확장 픽처 영역을 결정할 경우, 도 4의 실시 예에 따라 확장 픽처 영역을 결정할 때보다 참조 픽처의 경계에서 각 방향으로 N 만큼의 픽셀들이 참조 픽처로부터 더 확장되므로, 메모리의 사용량이 증가하게 된다. 따라서 메모리 사용량을 감소시키기 위하여, 움직임 보상 패딩 영역이 적용되는 경우에도, 확장 픽처 영역의 크기는 도 4에서 도시된 바와 같이 제한될 수 있다.
도 7에 따른 확장 픽처 (700)의 크기는, 도 4의 확장 픽처 (400)의 크기와 동일하게 결정될 수 있다. 따라서, 도 4의 확장 픽처 (400)의 저장에 필요한 메모리와 도 7의 확장 픽처 (700)의 저장에 필요한 메모리의 크기는 동일하게 결정된다.
도 5에서는 움직임 보상 패딩 영역 (506)은 소정의 제1 패딩 거리에 의하여 결정되며, 움직임 보상 패딩 영역 (506)의 외곽의 반복적 패딩 영역 (504)은 소정의 제2 패딩 거리에 의하여 결정된다. 그러므로 도 5의 경우, 확장 픽처 (500)는 제1 패딩 거리와 제2 패딩 거리의 합에 의하여 그 크기가 결정된다. 그러나 도 7의 경우, 제1 패딩 거리와 관계없이, 확장 픽처 (700)는 제2 패딩 거리에 의하여 그 크기가 결정될 수 있다.
구체적으로, 도 7의 움직임 보상 패딩 영역 (706)은 제1 패딩 거리에 따라 결정된다. 그러나 확장 픽처 (700)은 참조 픽처 (702)로부터 제2 패딩 거리만큼 확장된 영역으로 결정되므로, 반복적 패딩 영역 (704)은 제2 패딩 거리에서 제1 패딩 거리를 뺀 거리에 의하여 결정된다.
도 7에 따르면, 제1 패딩 거리는 N으로, 제2 패딩 거리는 (maxCUwidth + 16)로 정의된다. 제1 패딩 거리는 제2 패딩 거리보다 작게 설정되는 바, N은 (maxCUwidth + 16)보다 작도록 설정된다. 여기서 maxCUwidth는 부호화 유닛의 최대 너비를 나타낸다. 제2 패딩 거리는 부호화 유닛의 최대 너비 또는 부호화 유닛의 최대 높이로 결정되거나, 더 큰 값으로 결정될 수 있다.
결론적으로, 확장 픽처 (700)의 크기는, 움직임 보상 패딩 영역 (706)에 적용되는 제1 패딩 거리와 상관없이, 제2 패딩 거리에 따라 결정될 수 있다. 그러므로, 움직임 보상 패딩 영역 (706)의 적용 유무 및 제1 패딩 거리와 관계없이, 확장 픽처 (700)의 크기 및 확장 픽처 (700)에 필요한 메모리의 크기가 고정됨으로써, 비디오 부호화 및 복호화에 필요한 메모리 리소스가 효율적으로 관리될 수 있다.
다른 일 실시 예에 따르면, 제2 패딩 거리는 정의되지 않고, 확장 픽처 (700)는 참조 픽처(702)로부터 제1 패딩 거리 (N)만큼만 확장될 수 있다. 이 경우, 확장 픽처 (700)의 상하좌우에는 움직임 보상 패딩 영역 (706)만 결정될 수 있다. 그리고 확장 픽처 (700)의 꼭지점 인근의 좌상측, 우상측, 좌하측, 우하측 영역만 반복적 패딩 영역 (704)으로 설정될 수 있다. 따라서, 확장 픽처 (700)는 참조 픽처 (702)로부터 제1 패딩 거리만큼 확장된 영역으로 결정될 수 있다.
결론적으로, 확장 픽처 (700)의 크기는, 제2 패딩 거리에 따른 반복적 패딩 영역 (704)의 생성이 생략됨으로써, 제1 패딩 거리에 따라 결정될 수 있다. 그러므로, 확장 픽처 (700)의 생성에 있어서 제2 패딩 거리가 적용되지 않고, 제1 패딩 거리만이 적용됨으로써, 확장 픽처 (700)의 크기 및 확장 픽처 (700)에 필요한 메모리의 크기가 고정될 수 있다. 이로 인하여, 비디오 부호화 및 복호화에 필요한 메모리 리소스가 효율적으로 관리될 수 있다.
도 8은 시간적 주변 블록에 기초하여 움직임 보상 패딩을 수행하는 방법의 일 실시 예를 나타낸다.
도 5 내지 7의 움직임 보상 패딩 방법은, 만약 현재 픽처의 경계에 인접한 경계 블록이 화면 내 예측 모드로 부호화/복호화되거나, 경계 블록의 움직임 벡터 정보를 사용할 수 없는 경우, 움직임 보상을 이용한 패딩이 불가능하다. 따라서, 일 실시 예에 따르면, 상기의 경우에 움직임 보상 패딩 블록의 결정에 참조할 참조 블록을 결정할 수 없으므로 반복적 패딩 방법에 따라, 움직임 보상 패딩 영역이 패딩될 수 있다.
이러한 경우, 움직임 보상 패딩 영역이 실질적으로 반복적 패딩 방법에 따라 결정되는 바, 확장 픽처 영역의 정확도가 낮아짐으로써 부호화 효율이 낮아질 가능성이 있다. 따라서, 일 실시 예에 따르면, 경계 블록이 화면 내 예측 모드로 부호화/복호화되거나, 경계 블록의 움직임 벡터 정보를 사용할 수 없는 경우, 경계 블록의 시간적 주변 블록에 기초하여 움직임 보상 패딩 블록이 유도될 수 있다.
도 8에 따르면, 현재 픽처 (800)의 경계에 인접한 경계 블록 (802)이 화면 내 예측 모드로 부호화/복호화되거나, 경계 블록 (802)의 움직임 벡터 정보를 사용할 수 없는 경우, 시간적 대응 참조 픽처 (820)에서 경계 블록 (802)과 동일한 공간적 위치의 시간적 인접 블록 (822)이 결정된다. 그리고 시간적 인접 블록(822)의 움직임 벡터에 기초하여, 참조 픽처 (840)에서 대응되는 참조 블록(842)가 결정된다. 그리고 참조 블록(842)의 좌측에 움직임 보상 패딩 참조 블록 (844)이 유도되며, 움직임 보상 패딩 참조 블록 (844)에 기초하여 움직임 보상 패딩 블록 (806)이 결정된다.
만약 시간적 인접 블록 (822)도 화면 내 예측 모드로 부호화/복호화되거나, 시간적 인접 블록 (822)의 움직임 벡터 정보도 사용할 수 없는 경우, 움직임 보상 패딩 블록 (806)의 결정에 참조할 참조 블록을 결정할 수 없으므로 반복적 패딩 방법에 따라, 움직임 보상 패딩 영역이 패딩될 수 있다. 다만, 실시 예에 따라, 시간적 인접 블록 (822)으로부터 움직임 벡터를 유도할 수 없을 경우, 다른 시간적 대응 참조 픽처로부터 새로운 시간적 인접 블록이 유도되고, 새로운 시간적 인접 블록으로부터 움직임 보상 패딩 참조 블록 (844)이 유도될 수 있다.
도 8에서, 움직임 보상 패딩 영역 (804)에 적용되는 패딩 거리는 임의의 정수인 N이고, 움직임 보상 패딩 블록 (806)의 패딩 거리는 임의의 정수인 M이다. 여기서 M은 N과 같거나 더 작을 수 있다. 만약 움직임 보상 패딩 참조 블록 (844)에 의하여 결정되는 움직임 보상 패딩 블록 (806)의 패딩 거리인 M이 N보다 작은 경우, 움직임 보상 패딩 방법으로 패딩되지 않은 나머지 블록 (808)은 보상 패딩 블록 (806)의 픽셀을 참조하여 반복적 패딩 방법에 의하여 패딩될 수 있다.
이하, 도 9 내지 11은 반복적 패딩 방법을 기반으로 결정된 확장 픽처에 기반하여 양방향 움직임 예측을 하는 방법의 실시 예들을 나타낸다.
도 9는 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
양방향 움직임 예측에 의하면, 현재 픽처 (900)가 참조하는 서로 다른 참조 픽처 (922, 942)로부터 유도된 두 개의 참조 블록 (924, 944)을 사용하여 현재 블록 (902)의 예측 신호가 생성된다. 구체적으로, 리스트0 참조 픽처 (List0 reference picture) (922)으로부터 유도한 리스트0 참조 블록(List0 reference block) (924)과 리스트1 참조 픽처(List1 reference picture) (942)으로부터 유도한 리스트1 참조 블록(List1 reference block) (944)을 사용하여 현재 블록에 대한 예측 신호가 생성될 수 있다.
도 9에 따르면, 리스트0 참조 블록 (924)은 부분적으로 리스트0 참조 픽처 (922)의 바깥 쪽에 존재(out of boundary, OOB)하는 반면, 리스트1 참조 블록 (944)은 완전하게 리스트1 참조 픽처 (942) 내에 존재(non out of boundary, non-OOB)한다.
반복적 패딩 방법만을 사용하여 확장 픽처 영역 (920, 940)을 결정할 경우, 도 9와 같이 참조 블록이 부분적으로 또는 완전하게 참조 픽처의 바깥 쪽에 위치할 때, 양방향 움직임 예측 방법의 예측 정확도가 낮아질 수 있다. 따라서 상기의 경우 양방향 움직임 예측 방법의 예측 정확도를 개선하기 위한 다양한 실시 예가 제안된다.
도 10은 참조 블록의 일부분이 참조 픽처의 바깥 쪽에 위치하는 경우, 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 10에 따르면, 양방향 움직임 예측을 수행할 때, 리스트1 참조 블록 (1044)은 완전하게 리스트1 참조 픽처 (1042) 내에 존재하고, 리스트0 참조 블록 (1024)은 부분적으로 리스트0 참조 픽처 (1022)의 바깥 쪽에 존재한다. 이 때, 완전하게 참조 픽처 내에 존재하는 리스트1 참조 블록 (1044)만을 사용하여 현재 픽처 (1000) 내 현재 블록 (1002)의 예측 블록이 생성될 수 있다. 반대로, 리스트0 참조 블록 (1024)은 완전하게 리스트0 참조 픽처 (1022) 내에 존재하고, 리스트1 참조 블록 (1044)은 부분적으로 리스트1 참조 픽처 (1042)의 바깥 쪽에 존재하는 경우, 리스트0 참조 블록 (1024)만을 사용하여 현재 블록 (1002)의 예측 블록이 생성될 수 있다.
도 10과 같이, 참조 픽처에 완전히 포함된 참조 블록만 사용함으로써, 반복적 패딩 영역의 픽셀을 포함하는 참조 블록이 움직임 예측에서 배제된다. 따라서, 반복적 패딩 영역이 예측 프로세스에서 배제됨에 따라, 현재 블록의 예측 정확도가 향상될 수 있다.
도 11은 참조 블록의 일부분이 참조 픽처의 바깥 쪽에 위치하는 경우, 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 11에 따르면, 양방향 움직임 예측을 수행할 때, 리스트1 참조 블록 (1144)은 완전하게 리스트1 참조 픽처 (1142) 내에 존재하고, 리스트0 참조 블록 (1124)은 부분적으로 리스트0 참조 픽처 (1122)의 바깥 쪽에 존재한다. 이 때, 완전하게 리스트1 참조 픽처 (1142) 내에 존재하는 리스트1 참조 블록 (1144)의 모든 픽셀들은 현재 블록 (1102)의 예측 블록 생성에 참조될 수 있다. 그러나 리스트0 참조 블록 (1124)은 일부분이 리스트0 참조 픽처 (1122)의 외부에 존재하므로, 리스트0 참조 블록 (1124) 중 리스트0 참조 픽처 (1122)에 포함된 영역 (1126)의 픽셀만이 현재 블록 (1102)의 예측 블록 생성에 참조될 수 있다. 그리고 리스트0 참조 블록 (1124) 중 리스트0 참조 픽처 (1122)에 포함되지 않은 영역 (1128)의 픽셀은 현재 블록 (1102)의 예측 블록 생성에 참조되지 않는다.
구체적으로, 현재 블록 (1102)의 제1 영역 (1104)은 리스트0 참조 블록 (1124)과 리스트1 참조 블록 (1144)에 대응 영역 (1126, 1146)이 존재한다. 따라서, 제1 영역 (1104)은 리스트0 참조 블록 (1124)의 대응 영역 (1126)과 리스트1 참조 블록 (1144)의 대응 영역 (1146)에 기초하여 결정될 수 있다. 이 때, 제1 영역 (1104)은 2개의 대응 영역 (1126, 1146)의 평균 또는 가중 평균으로 결정될 수 있다. 가중 평균에 적용되는 가중치는 부호화 단위 (coding unit, CU) 의 적응적 가중 값(bi-prediction with CU-level weight, BCW)에 기초하여 결정될 수 있다. 또는 가중 평균에 적용되는 가중치는 현재 픽처 (1100)과 리스트0 참조 픽처 (1122)의 시간적 거리와 현재 픽처 (1100)과 리스트1 참조 픽처 (1142)의 시간적 거리에 따라 결정될 수 있다.
그리고, 현재 블록 (1102)의 제2 영역 (1106)은 리스트1 참조 블록 (1144)의 대응 영역 (1148)만 리스트1 참조 픽처 (1142) 내에 존재한다. 그리고 리스트0 참조 블록 (1124)의 대응 영역 (1128)은 리스트0 참조 픽처 (1122) 내에 존재하지 않는다. 그러므로 현재 블록 (1102)의 제2 영역 (1106)은 리스트1 참조 블록 (1144)의 대응 영역 (1148)에만 기초하여 결정될 수 있다. 그리고 리스트0 참조 블록 (1124)의 대응 영역 (1128)은 현재 블록 (1102)의 제2 영역 (1106)의 결정에 참조되지 않는다.
도 11과 같이, 참조 블록에서 양방향의 두 픽처를 모두 참조 가능한 영역에 대하여만, 두 픽처를 모두 참조하고, 두 픽처 중 하나의 픽처만 참조 가능한 영역에 대하여는, 참조 가능한 픽처만 참조하므로써, 반복적 패딩 영역의 픽셀은 움직임 예측에서 배제된다. 따라서, 도 10과 마찬가지로 반복적 패딩 영역이 예측 프로세스에서 배제됨에 따라, 현재 블록의 예측 정확도가 향상될 수 있다.
도 12는 확장 픽처에 움직임 보상 패딩 영역이 있는 경우, 양방향 움직임 예측에 의한 블록 예측 방법의 일 실시 예를 나타낸다.
도 9 내지 11의 경우, 반복적 패딩 방법에 따라, 참조 픽처가 확장되므로, 예측 정확도를 높이기 위하여 반복적 패딩 영역의 참조를 회피하는 양방향 움직임 예측 방법이 제안되었다. 그러나 움직임 보상 패딩 방법에 의하여 참조 픽처가 확장된 경우, 참조 블록의 일부 또는 전부가 참조 픽처 바깥에 있는 경우에도 현재 블록의 예측에 참조될 수 있다.
도 12에 따르면, 움직임 보상 방법에 따라 움직임 보상 패딩 영역 (1226, 1246)이 생성되고, 움직임 보상 패딩 영역 (1226, 1246)에 기초하여 현재 블록 (1202)이 예측될 수 있다. 일 실시 예에 따르면, 움직임 보상 패딩 영역 (1226, 1246)은 각 참조 픽처 (1222, 1242) 내 영역으로 간주될 수 있다.
따라서, 도 12의 리스트0 참조 블록 (1224)의 일부가 리스트0 참조 픽처 (1222)의 외부에 있으나, 리스트0 움직임 보상 패딩 영역 (1226)이 리스트0 참조 픽처 (1222) 내 영역으로 간주되는 바, 리스트0 참조 블록 (1224) 전부가 현재 블록 (1202)의 예측에 사용될 수 있다.
리스트1 참조 블록 (1244)은 그 전부가 리스트1 참조 픽처 (1242)의 외부에 있다. 그러나, 리스트1 움직임 보상 패딩 영역 (1246)이 리스트1 참조 픽처 (1242) 내 영역으로 간주되는 바, 실시 예에 따라, 리스트1 참조 블록 (1244) 일부가 현재 블록 (1202)의 예측에 사용될 수 있다.
도 12에서, 움직임 보상 패딩 영역은 참조 픽처 내 영역으로 간주된다. 그러므로 도 9 내지 11의 실시 예는 움직임 보상 패딩 영역이 참조 픽처로 간주됨에 기초하여 적용될 수 있다. 따라서, 움직임 보상 패딩 방법이 적용될 경우, 예측에 의하여 참조되는 영역이 확대되면서, 양방향 예측의 효율이 증가될 수 있다.
도 13은 본 발명에 따른 확장 픽처의 생성 및 저장 방법의 일 실시 예를 나타낸다.
단계 1302에서, 현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역이 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩된다.
단계 1302는 경계 블록으로부터 움직임 벡터를 추출하는 단계, 움직임 벡터에 기초하여, 움직임 보상 패딩에 참조되는 움직임 보상 패딩 참조 픽처로부터 참조 블록을 결정하는 단계, 참조 블록으로부터 패딩 방향으로 인접한 움직임 보상 패딩 참조 블록을 결정하는 단계 및 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계를 포함할 수 있다. 상기 움직임 보상 패딩 참조 픽처는 경계 블록의 복원에 참조된 참조 픽처를 의미한다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서, 상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 제1 패딩 거리 이내로 인접한 픽셀들을 포함하도록 결정될 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서, 상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 움직임 보상 패딩 참조 가능 거리 이내로 인접한 픽셀들을 포함하도록 결정될 수 있다.
일 실시 예에 따르면, 상기 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계에 있어서, 상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 상기 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 영역 중 움직임 보상 패딩 가능 영역이 상기 움직임 보상 패딩 참조 블록에 의하여 패딩될 수 있다. 상기 움직임 보상 패딩 가능 영역은 상기 움직임 보상 패딩 영역 내에서 상기 현재 픽처의 경계로부터 상기 움직임 보상 패딩 참조 가능 거리 이내의 영역으로 결정될 수 있다. 또한, 상기 움직임 보상 패딩 영역 중 움직임 보상 패딩 가능 영역이 아닌 영역은 상기 움직임 보상 패딩 가능 영역의 픽셀 값에 기초하여 패딩될 수 있다.
일 실시 예에 따르면, 상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 움직임 보상 패딩 영역은 상기 현재 픽처의 경계에 인접한 픽셀 값에 따라 패딩된다. 예를 들어, 상기 경계 블록이 화면 내 예측된 경우, 상기 경계 블록으로부터 움직임 벡터가 추출되지 않는다.
일 실시 예에 따르면, 상기 경계 블록으로부터 움직임 벡터를 추출하는 단계는, 상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 현재 픽처의 시간적 대응 참조 픽처로부터 상기 경계 블록의 위치에 대응되는 시간적 주변 블록을 결정하는 단계 및 상기 시간적 주변 블록으로부터 움직임 벡터를 추출하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 제1 패딩 거리는, 부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정될 수 있다. 또는 상기 제1 패딩 거리는, 2, 4, 8, 16, 32, 64, 128, 256 중 하나로 결정될 수 있다.
단계 1304에서, 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역이 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩된다.
일 실시 예에 따르면, 상기 제2 패딩 거리는, 부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정될 수 있다.
단계 1306에서, 현재 픽처, 움직임 보상 패딩 영역, 및 반복적 패딩 영역으로 구성된 확장 픽처가 생성된다. 그리고 확장 픽처가 메모리에 저장된다.
일 실시 예에 따르면, 상기 확장 픽처의 크기는, 상기 제1 패딩 거리의 값에 상관없이, 상기 현재 픽처의 크기에 기초하여 결정될 수 있다.
상기 확장 픽처의 생성 및 저장 방법은 영상 복호화 방법 및 영상 부호화 방법에 적용될 수 있다.
도 14는 본 발명에 따른 양방향 화면 간 예측 방법의 일 실시 예를 나타낸다.
단계 1402에서, 현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처가 결정된다.
단계 1404에서, 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 제1 참조 픽처 및 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록이 결정된다.
단계 1406에서, 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록이 예측된다.
일 실시 예에 따르면, 상기 제1 참조 블록의 픽셀들의 일부 또는 전부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 현재 블록은 상기 제2 참조 블록에 기초하여 예측될 수 있다.
일 실시 예에 따르면, 상기 제1 참조 블록의 픽셀들의 일부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함된 픽셀들의 위치에 대응되는 상기 현재 블록의 제1 영역은 상기 제1 참조 블록과 상기 제2 참조 블록의 픽셀들의 가중 평균으로 결정될 수 있다. 그리고 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함되지 않은 픽셀들의 위치에 대응되는 상기 현재 블록의 제2 영역은 상기 제2 참조 블록에만 기초하여 예측될 수 있다.
일 실시 예에 따르면, 상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부를 판단함에 있어서, 상기 제1 참조 픽처의 제1 움직임 보상 패딩 영역은 상기 제1 참조 픽처로 간주되고, 상기 제2 참조 픽처의 제2 움직임 보상 패딩 영역은 상기 제2 참조 픽처로 간주될 수 있다.
상기 양방향 화면 간 예측 방법은 영상 복호화 방법 및 영상 부호화 방법에 적용될 수 있다.
도 15는 본 발명에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타내는 도면이다.
도 15에 도시된 바와 같이, 본 발명의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, CCTV 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수도 있다.
상기 비트스트림은 본 발명의 실시예가 적용된 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
상기의 실시 예들은 부호화 장치 및 복호화 장치에서 동일한 방법 또는 상응하는 방법으로 수행될 수 있다. 또한, 상기 실시 예들 중 적어도 하나 혹은 적어도 하나의 조합을 이용해서 영상을 부호화/복호화할 수 있다.
상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 상이할 수 있다. 또는, 상기 실시 예들이 적용되는 순서는 부호화 장치와 복호화 장치에서 동일할 수 있다.
상기 실시 예들은 휘도 및 색차 신호 각각에 대하여 수행될 수 있다. 또는, 휘도 및 색차 신호에 대한 상기 실시예들이 동일하게 수행될 수 있다.
상기 실시 예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상기 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 실시예에 따른 부호화 방법에 의해 생성된 비트스트림은 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 또한, 상기 비 일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 비트스트림은 상기 실시예에 따른 복호화 방법에 의해 복호화될 수 있다.
여기서, 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
본 발명은 영상을 부호화/복호화하는 장치 및 비트스트림을 저장한 기록 매체에 이용될 수 있다.

Claims (21)

  1. 영상 복호화 방법에 있어서,
    현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계;
    상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계; 및
    상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 움직임 보상 패딩 영역을 패딩하는 단계는,
    상기 경계 블록으로부터 움직임 벡터를 추출하는 단계;
    상기 움직임 벡터에 기초하여, 움직임 보상 패딩에 참조되는 움직임 보상 패딩 참조 픽처로부터 참조 블록을 결정하는 단계;
    상기 참조 블록으로부터 패딩 방향으로 인접한 움직임 보상 패딩 참조 블록을 결정하는 단계; 및
    상기 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계를 포함하는 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서,
    상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 제1 패딩 거리 이내로 인접한 픽셀들을 포함하도록 결정되는 것을 특징으로 하는 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 움직임 보상 패딩 참조 블록을 결정하는 단계에 있어서,
    상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 참조 블록은 상기 참조 블록의 경계로부터 상기 패딩 방향으로 상기 움직임 보상 패딩 참조 가능 거리 이내로 인접한 픽셀들을 포함하도록 결정되는 것을 특징으로 하는 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 움직임 보상 패딩 참조 블록에 기초하여 상기 움직임 보상 패딩 영역을 패딩하는 단계에 있어서,
    상기 참조 블록의 경계와 상기 움직임 보상 패딩 참조 픽처의 경계 간의 상기 움직임 보상 패딩 참조 가능 거리가 상기 제1 패딩 거리보다 작은 경우, 상기 움직임 보상 패딩 영역 중 상기 현재 픽처의 경계로부터 상기 움직임 보상 패딩 참조 가능 거리 이내의 움직임 보상 패딩 가능 영역이 상기 움직임 보상 패딩 참조 블록에 의하여 패딩되고,
    상기 움직임 보상 패딩 영역 중 움직임 보상 패딩 가능 영역이 아닌 영역은 상기 움직임 보상 패딩 가능 영역의 픽셀 값에 기초하여 패딩되는 것을 특징으로 하는 영상 복호화 방법.
  6. 제2항에 있어서,
    상기 영상 복호화 방법은,
    상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 움직임 보상 패딩 영역은 상기 현재 픽처의 경계에 인접한 픽셀 값에 따라 패딩되는 것을 특징으로 하는 영상 복호화 방법.
  7. 제2항에 있어서,
    상기 경계 블록으로부터 움직임 벡터를 추출하는 단계는,
    상기 경계 블록으로부터 움직임 벡터를 추출할 수 없는 경우, 상기 현재 픽처의 시간적 대응 참조 픽처로부터 상기 경계 블록의 위치에 대응되는 시간적 주변 블록을 결정하는 단계; 및
    상기 시간적 주변 블록으로부터 움직임 벡터를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  8. 제1항에 있어서,
    상기 제1 패딩 거리는,
    부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
  9. 제1항에 있어서,
    상기 제1 패딩 거리는,
    2, 4, 8, 16, 32, 64, 128, 256 중 하나로 결정되는 것을 특징으로 하는 영상 복호화 방법.
  10. 제1항에 있어서,
    상기 제2 패딩 거리는,
    부호화 단위의 최대 크기, 상기 현재 픽처의 크기, 상기 경계 블록의 크기 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
  11. 제1항에 있어서,
    상기 확장 픽처의 크기는,
    상기 제1 패딩 거리의 값에 상관없이, 상기 현재 픽처의 크기에 기초하여 결정되는 것을 특징으로 하는 영상 복호화 방법.
  12. 영상 부호화 방법에 있어서,
    현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계;
    상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계; 및
    상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 영상 부호화 방법.
  13. 영상 부호화 방법에 의하여 생성된 비트스트림을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,
    상기 영상 부호화 방법은,
    현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계;
    상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계; 및
    상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 기록매체.
  14. 영상 부호화 방법에 의하여 생성된 비트스트림을 전송하는 비트스트림 전송 방법에 있어서,
    상기 영상 부호화 방법에 기초하여 영상을 부호화하는 단계; 및
    상기 부호화된 영상이 포함된 비트스트림을 전송하는 단계를 포함하고,
    상기 영상 부호화 방법은,
    현재 픽처의 경계로부터 제1 패딩 거리 이내의 움직임 보상 패딩 영역을 현재 픽처의 경계에 인접한 경계 블록의 움직임 벡터에 따라 패딩하는 단계;
    상기 움직임 보상 패딩 영역의 경계로부터 제2 패딩 거리 이내의 반복적 패딩 영역을 상기 움직임 보상 패딩 영역의 경계에 인접한 픽셀 값에 따라 패딩하는 단계; 및
    상기 현재 픽처, 상기 움직임 보상 패딩 영역, 및 상기 반복적 패딩 영역으로 구성된 확장 픽처를 메모리에 저장하는 단계를 포함하는 비트스트림 전송 방법.
  15. 영상 복호화 방법에 있어서,
    현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계;
    상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계; 및
    상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함하는 영상 복호화 방법.
  16. 제15항에 있어서,
    상기 현재 블록을 예측하는 단계에 있어서,
    상기 제1 참조 블록의 픽셀들의 일부 또는 전부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 현재 블록은 상기 제2 참조 블록에 기초하여 예측되는 것을 특징으로 하는 영상 복호화 방법.
  17. 제15항에 있어서,
    상기 제1 참조 블록의 픽셀들의 일부가 상기 제1 참조 픽처에 포함되어 있지 않고, 상기 제2 참조 블록의 픽셀들은 상기 제2 참조 픽처에 전부 포함된 경우, 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함된 픽셀들의 위치에 대응되는 상기 현재 블록의 제1 영역은 상기 제1 참조 블록과 상기 제2 참조 블록의 픽셀들의 가중 평균으로 결정되고, 상기 제1 참조 블록에서 상기 제1 참조 픽처에 포함되지 않은 픽셀들의 위치에 대응되는 상기 현재 블록의 제2 영역은 상기 제2 참조 블록에만 기초하여 예측되는 것을 특징으로 하는 영상 복호화 방법.
  18. 제15항에 있어서,
    상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부를 판단함에 있어서, 상기 제1 참조 픽처의 제1 움직임 보상 패딩 영역은 상기 제1 참조 픽처로 간주되고, 상기 제2 참조 픽처의 제2 움직임 보상 패딩 영역은 상기 제2 참조 픽처로 간주되는 것을 특징으로 하는 영상 복호화 방법.
  19. 영상 부호화 방법에 있어서,
    현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계;
    상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계; 및
    상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함하는 영상 부호화 방법.
  20. 영상 부호화 방법에 의하여 생성된 비트스트림을 저장한 컴퓨터로 판독가능한 기록매체에 있어서,
    영상 부호화 방법에 있어서,
    현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계;
    상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계; 및
    상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함하는 기록매체.
  21. 영상 부호화 방법에 의하여 생성된 비트스트림을 전송하는 비트스트림 전송 방법에 있어서,
    상기 영상 부호화 방법에 기초하여 영상을 부호화하는 단계; 및
    상기 부호화된 영상이 포함된 비트스트림을 전송하는 단계를 포함하고,
    상기 영상 부호화 방법은,
    현재 픽처의 현재 블록을 예측하기 위하여, 현재 픽처가 참조하는 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계;
    상기 현재 블록의 제1 움직임 벡터 및 제2 움직임 벡터에 따라, 상기 제1 참조 픽처 및 상기 제2 참조 픽처로부터, 각각 제1 참조 블록 및 제2 참조 블록을 결정하는 단계; 및
    상기 제1 참조 블록의 모든 픽셀들이 상기 제1 참조 픽처에 전부 포함되었는지 여부 및 상기 제2 참조 블록의 모든 픽셀들이 상기 제2 참조 픽처에 전부 포함되었는지 여부에 따라 상기 제1 참조 블록 및 상기 제2 참조 블록 중 적어도 하나를 이용하여 상기 현재 블록을 예측하는 단계를 포함하는 비트스트림 전송 방법.
PCT/KR2023/007749 2022-06-07 2023-06-07 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 Ceased WO2023239147A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/851,609 US20250211776A1 (en) 2022-06-07 2023-06-07 Method and apparatus for encoding/decoding image and recording medium storing bitstream
CN202380038331.1A CN119278624A (zh) 2022-06-07 2023-06-07 图像编码/解码方法、装置以及存储比特流的记录介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0068890 2022-06-07
KR20220068890 2022-06-07
KR1020230072622A KR20230168602A (ko) 2022-06-07 2023-06-07 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR10-2023-0072622 2023-06-07

Publications (1)

Publication Number Publication Date
WO2023239147A1 true WO2023239147A1 (ko) 2023-12-14

Family

ID=89118638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007749 Ceased WO2023239147A1 (ko) 2022-06-07 2023-06-07 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Country Status (2)

Country Link
US (1) US20250211776A1 (ko)
WO (1) WO2023239147A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4578187A4 (en) * 2022-08-22 2025-12-17 Ericsson Telefon Ab L M MOTION COMPENSATION LIMIT FILLING

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070007380A (ko) * 2004-05-04 2007-01-15 퀄컴 인코포레이티드 일시적 확장성을 위한 양방향 예측 프레임을 구성하는 방법및 장치
US20200221109A1 (en) * 2019-01-06 2020-07-09 Tencent America LLC Method and apparatus for video coding
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
KR20210086720A (ko) * 2016-03-24 2021-07-08 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818649A2 (pt) * 2007-10-16 2015-04-07 Thomson Licensing Métodos e aparelho para codificação e decodificação de vídeo em superblocos geometricamente particionados.
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
ES2844525B1 (es) * 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
WO2018056763A1 (ko) * 2016-09-23 2018-03-29 엘지전자(주) 템플릿 기반 가중치를 이용하여 예측을 수행하는 방법 및 장치
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN118301338A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
KR20240169129A (ko) * 2018-03-27 2024-12-02 (주)휴맥스 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
CN119922302A (zh) * 2018-03-29 2025-05-02 世宗大学校产学协力团 用于对图像编码/解码的方法和设备
US11128871B2 (en) * 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
BR112021025846A2 (pt) * 2019-06-21 2022-02-08 Huawei Tech Co Ltd Derivação de peso de amostra de croma para modo de partição geométrica
KR20250086816A (ko) * 2019-08-26 2025-06-13 후아웨이 테크놀러지 컴퍼니 리미티드 모션 정보 저장을 위한 방법 및 장치
US11463693B2 (en) * 2019-08-30 2022-10-04 Qualcomm Incorporated Geometric partition mode with harmonized motion field storage and motion compensation
CN114731409A (zh) * 2019-09-20 2022-07-08 韩国电子通信研究院 图像编码/解码方法和装置、以及存储比特流的记录介质
US11310497B2 (en) * 2019-11-15 2022-04-19 Qualcomm Incorporated Geometric partition mode with increased efficiency
WO2021202104A1 (en) * 2020-03-29 2021-10-07 Alibaba Group Holding Limited Enhanced decoder side motion vector refinement
US11388421B1 (en) * 2021-01-13 2022-07-12 Lemon Inc. Usage of templates for decoder-side intra mode derivation
US11876973B2 (en) * 2021-04-12 2024-01-16 Alibaba (China) Co., Ltd. Method, apparatus, and non-transitory computer-readable storage medium for motion vector refinement for geometric partition mode
CN117561711A (zh) * 2021-06-18 2024-02-13 抖音视界有限公司 用于视频处理的方法、装置和介质
US12432339B2 (en) * 2021-06-29 2025-09-30 Qualcomm Incorporated Merge candidate reordering in video coding
US12375644B2 (en) * 2021-10-05 2025-07-29 Tencent America LLC Grouping based adaptive reordering of merge candidate
US12047581B2 (en) * 2021-10-28 2024-07-23 Tencent America LLC Template-matching based adaptive motion vector resolution (AMVR)
US12432378B2 (en) * 2022-04-18 2025-09-30 Tencent America LLC On motion compensated picture boundary padding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070007380A (ko) * 2004-05-04 2007-01-15 퀄컴 인코포레이티드 일시적 확장성을 위한 양방향 예측 프레임을 구성하는 방법및 장치
KR20210086720A (ko) * 2016-03-24 2021-07-08 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US20200221109A1 (en) * 2019-01-06 2020-07-09 Tencent America LLC Method and apparatus for video coding
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Z. ZHANG (QUALCOMM), H. HUANG, C.-C. CHEN, Y.-J. CHANG, Y. ZHANG, V. SEREGIN, M. COBAN, M. KARCZEWICZ (QUALCOMM), F. LE LÉANNEC (X: "EE2-related: Motion compensation boundary padding", 26. JVET MEETING; 20220420 - 20220429; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 25 April 2022 (2022-04-25), XP030301010 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4578187A4 (en) * 2022-08-22 2025-12-17 Ericsson Telefon Ab L M MOTION COMPENSATION LIMIT FILLING

Also Published As

Publication number Publication date
US20250211776A1 (en) 2025-06-26

Similar Documents

Publication Publication Date Title
WO2021137597A1 (ko) Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
WO2023200206A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023239147A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021091256A1 (ko) 영상/비디오 코딩 방법 및 장치
WO2024053963A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024039155A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023200214A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024144118A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2026071463A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023172002A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024005456A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024147600A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024043666A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024210648A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023249353A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023171988A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024210624A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024191219A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023234579A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025005615A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025178438A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024258110A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2025009816A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024181820A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024080849A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23820083

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18851609

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202417077662

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 202380038331.1

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380038331.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23820083

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18851609

Country of ref document: US