WO2018066874A1 - 비디오 신호의 복호화 방법 및 이의 장치 - Google Patents

비디오 신호의 복호화 방법 및 이의 장치 Download PDF

Info

Publication number
WO2018066874A1
WO2018066874A1 PCT/KR2017/010699 KR2017010699W WO2018066874A1 WO 2018066874 A1 WO2018066874 A1 WO 2018066874A1 KR 2017010699 W KR2017010699 W KR 2017010699W WO 2018066874 A1 WO2018066874 A1 WO 2018066874A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference picture
block
neighboring block
motion vector
temporal neighboring
Prior art date
Application number
PCT/KR2017/010699
Other languages
English (en)
French (fr)
Inventor
한종기
이재영
Original Assignee
세종대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170122651A external-priority patent/KR102435500B1/ko
Application filed by 세종대학교 산학협력단 filed Critical 세종대학교 산학협력단
Priority to US16/339,483 priority Critical patent/US20190313112A1/en
Priority to CN201780075648.7A priority patent/CN110050467A/zh
Publication of WO2018066874A1 publication Critical patent/WO2018066874A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present invention relates to a method and apparatus for decoding a video signal, and more particularly, to a method and apparatus for setting a target reference image for obtaining a motion vector.
  • HD high definition
  • UHD ultra high definition
  • Spatial and temporal prediction use pixels decoded from the same and reference images, respectively, to form a prediction for the current coded pixel.
  • auxiliary information associated with spatial and temporal prediction since auxiliary information associated with spatial and temporal prediction is transmitted, a large amount of bit rate may be used for transmission of a motion vector for temporal prediction even in a coding system using a low bit rate.
  • MVP motion vector prediction
  • a motion vector of a spatial and / or temporal neighboring block is used. Since the temporal neighboring block is located inside an image temporally different from the current image, the reference picture list used when coding the current block and the reference picture list used when coding the temporal neighboring block may be different. However, although the reference picture list is different, the coding efficiency can be reduced by using the reference picture list of the current block when scaling the motion vector of the temporal neighboring block.
  • An object of the present invention is to provide a method and apparatus for decoding a video signal that improves coding efficiency in inter prediction by using a reference picture of a temporal neighboring block.
  • Another object of the present invention is to provide a method and apparatus for decoding a video signal that improves coding efficiency in inter prediction by acquiring a residual merge candidate using previously acquired merge candidates.
  • another object of the present invention is to provide a method and apparatus for decoding a video signal that can improve coding efficiency by using a reference picture of the same image type as a target reference picture.
  • a method of decoding a video signal including: obtaining a reference picture list indicating at least one reference picture information of a current block; Obtaining a motion vector of a temporal neighboring block of the current block and reference image information of the temporal neighboring block; Checking whether reference picture information of the temporal neighboring block is included in the reference picture list of the current block; Setting a target reference picture for scaling the motion vector of the temporal neighboring block according to whether reference picture information of the temporal neighboring block is included.
  • the reference image information when reference image information of the temporal neighboring block is included in the reference image list, the reference image information may be set as the target reference image.
  • the setting of the target reference image may include setting the target reference image to a reference image having the smallest index among the reference image lists when reference image information of the temporal neighboring block is not included in the reference image list. Can be set as a reference image.
  • dividing the current block into at least two sub-blocks; Obtaining a motion vector of a spatial neighboring block of the sub block; Scaling a motion vector of the temporal neighboring block by using the target reference image; And generating a motion vector of the sub block using the motion vector of the spatial neighboring block and the motion vector of the scaled temporal neighboring block.
  • the setting of the target reference image may include setting the reference image information as the target reference image when reference image information of the temporal neighboring block is included in the reference image list.
  • the setting of the target reference image may include setting a smaller index among reference image information of the spatial neighboring block included in the reference image list when reference image information of the temporal neighboring block is not included in the reference image list.
  • Reference image information may be set as the target reference image.
  • the method of obtaining a merge candidate in a merge mode includes: obtaining maximum merge number information indicating the number of maximum merge candidates in the merge mode; Obtaining; Obtaining a merge candidate of the current block using at least one of a motion vector of a temporal neighboring block of the current block and a motion vector of a spatial neighboring block; Comparing the number of merged candidates with the number of maximum merge number information; And when the number of the merge candidates obtained is less than the number of the maximum merge number information, obtaining the remaining merge candidates by scaling the obtained merge candidates.
  • the obtaining of the residual merge candidate may include scaling the obtained merge candidate using a target reference image, wherein the target reference image is different from a reference image of the acquired merge candidate, and is the smallest index of the reference image list. It may be a reference image having a.
  • a method of decoding a video signal including: obtaining a reference picture list indicating at least one reference picture information of a current block; Obtaining a motion vector of a temporal neighboring block of the current block and reference image information of the temporal neighboring block; Checking whether a type of a reference picture of a temporal neighboring block of the current block and a type of a reference picture having a small index of the reference picture list are the same; Setting a reference picture of the same type as the type of the reference picture of the temporal neighbor as a target reference picture when the type of the reference picture is the same; And when the types of the reference pictures are different, determining whether the types of the reference pictures in the reference picture list and the reference pictures of the temporal neighboring block are the same by increasing the index of the reference picture list one by one.
  • the same type of reference picture may be a reference picture having the smallest index among reference pictures of the same type as the type of the reference picture of the temporal neighbor, and the type of the reference picture of the temporal neighboring block and the Determining whether a type of a reference picture of the temporal neighboring block is a short-term reference picture when the types of reference pictures having a small index of a reference picture list are the same; Setting a reference picture of the same type in the reference picture list as the target reference picture for the motion vector of the temporal neighboring block, when the type of the reference picture of the temporal neighboring block is a short reference picture; Using the same type of reference image as a merge candidate by scaling a motion vector of the temporal neighboring block; And when the type of the reference picture of the temporal neighboring block is a long term reference picture, using the merge vector of the current block without scaling the motion vector of the temporal neighboring block.
  • determining whether the type of the reference picture is the same if the type of the reference picture is different from the types of all reference pictures of the reference picture list, assigning a preset value as a motion vector of the current block. It may further include.
  • a decoding method of a video signal comprising: a reference picture list indicating at least one reference picture information of a current block and a motion vector of a temporal neighboring block of the current block; An image information obtaining unit obtaining reference image information of a temporal neighboring block; A reference picture information discriminating unit which checks whether reference picture information of the temporal neighboring block is included in the reference picture list of the current block;
  • the apparatus may include a target reference image setting unit configured to set a target reference image for scaling the motion vector of the temporal neighboring block according to whether reference image information of the temporal neighboring block is included.
  • a video signal decoding method for improving coding efficiency in inter prediction by using the reference image of the temporal neighboring block as a target reference image for scaling the motion vector of the temporal neighboring block, a video signal decoding method for improving coding efficiency in inter prediction, and its
  • a reference picture of an image including the temporal neighboring block is included in the reference image list of the current block even when a spatial neighboring block as well as a temporal neighboring block is used to provide a device and generate a predictive motion vector of the current block Since the reference image of the image including the temporal neighboring block is used as a target reference image for scaling the motion vector, coding efficiency can be improved in inter prediction.
  • the predicted motion vector of the current block is used. You can code effectively.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 illustrates a temporal and spatial neighboring block of a current block according to a general method.
  • FIG. 4 is a flowchart illustrating a decoding method of a video signal for setting a target reference picture according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of setting a target reference image according to an embodiment of the present invention.
  • FIG. 6 illustrates a method of setting a target reference image according to an embodiment of the present invention.
  • FIG. 7 and 8 illustrate temporal and spatial neighboring blocks of a current subblock according to a general method.
  • FIG 9 illustrates a method of obtaining a motion vector using a target reference image according to another embodiment of the present invention.
  • 10A and 10B illustrate a method of obtaining a residual merge candidate according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of setting a target reference image according to another embodiment of the present invention.
  • FIG. 12 illustrates a method of setting a target reference image according to another embodiment of the present invention.
  • first, second, etc. are used herein to describe various components, members, parts, regions, and / or parts, these components, members, parts, regions, and / or parts may be used in these terms. It is obvious that it should not be limited by. These terms are only used to distinguish one component, member, part, region, or portion from another region or portion. Accordingly, the first component, member, part, region, or portion, described below, may refer to the second component, member, component, region, or portion without departing from the teachings of the present invention. In addition, and / or the term includes a combination of a plurality of related items or any item of a plurality of related items.
  • a component When a component is referred to as being “connected” or “connected” to another component, it is not only directly connected to or connected to the other component, but also between any of the above components and the other component. It should be understood including the presence of other components in the document. However, if a component is referred to as being “directly connected” or “directly connected” to another component, there is no other component in the middle and the above component and the other component are directly connected or connected. It should be understood.
  • FIG. 1 is a block diagram schematically illustrating an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 100 may include an image splitter 105, an inter prediction unit 110, an intra prediction unit 115, a transform unit 120, a quantization unit 125, and a rearrangement unit ( 130, an entropy encoder 135, an inverse quantizer 140, an inverse transformer 145, a filter 150, and a memory 155.
  • each of the components shown in FIG. 1 is independently illustrated to represent different characteristic functions in the encoding apparatus, and does not mean that each component is composed of separate hardware or one software component unit.
  • each component is included as an individual component for convenience of description, and at least two of the components are combined to form one component, or one component is divided into a plurality of components to provide a function. Can be done.
  • Embodiments in which each of these components are integrated or separated may be included in the scope of the present invention without departing from the essential aspects of the present invention.
  • the image divider 105 may divide the input image into slices or tiles, and the tiles may include a plurality of slices.
  • the slice or tile may be a collection of a plurality of coding tree blocks. Since the tiles may be independently coded in the current image, the tiles may be considered important for parallel processing of the images.
  • the image divider 105 may divide the input image into at least one processing unit.
  • the processing unit is not a unit incompatible with a slice or tile, and the slice or tile may be a higher concept including the processing units.
  • the processing unit may be a prediction block (PU), a transform block (TU), or a coding block (CU).
  • PU prediction block
  • TU transform block
  • CU coding block
  • the prediction block may be represented by a prediction unit, a transform block by a transform unit, and an encoding or decoding block by a coding unit or decoding unit.
  • the image divider 105 divides a single image into a combination of a plurality of coding blocks, prediction blocks, and transform blocks, and based on a predetermined criterion (eg, a cost function).
  • An image may be encoded by selecting a combination of a coding block, a prediction block, and a transform block.
  • one image may be divided into a plurality of coding blocks.
  • one image may be divided into a coding block using a recursive tree structure such as a quad tree structure or a binary tree structure, and one image or a largest coding block As a root, a coding block divided into other coding blocks may be divided with as many child nodes as the number of divided coding blocks. Through this process, coding blocks that are no longer split may be leaf nodes.
  • the prediction block may also be divided in the form of at least one square or non-square of the same size in one coding block, and any of the prediction blocks divided in one coding block One prediction block may be split to have a different shape and size from another prediction block.
  • the coding block and the prediction block may be the same. That is, the prediction may be performed based on the divided coding block without distinguishing the coding block and the prediction block.
  • the prediction unit may include an inter prediction unit 110 that performs inter prediction and an intra prediction unit 115 that performs intra prediction.
  • the image signal is not encoded as it is, but the image is predicted by using a specific region inside the image that has already been encoded and decoded, and the residual value between the original image and the predicted image is encoded.
  • prediction mode information and motion vector information used for prediction may be encoded by the entropy encoder 135 together with the residual value and transmitted to the decoder.
  • the prediction block 110 may not generate a prediction block through the prediction units 110 and 115, but may encode the original block as it is and transmit it to the decoding unit.
  • the prediction units 110 and 115 determine whether to perform inter-prediction or intra-prediction of the prediction block, and predict the prediction, such as an inter-prediction mode, a motion vector, and a reference picture. Specific information according to each method may be determined. In this case, the processing unit in which the prediction is performed, the prediction method, and the detailed processing unit may be different. For example, although the prediction mode and the prediction method are determined according to the prediction block, the performance of the prediction may be performed according to the transform block.
  • the prediction units 110 and 115 may generate a prediction block composed of the predicted samples by performing prediction on the processing unit of the image divided by the image splitter 105.
  • the image processing unit in the prediction units 110 and 115 may be a coding block unit, a transform block unit, or a prediction block unit.
  • the inter prediction unit 110 may predict the prediction block based on the information of at least one of the previous image or the subsequent image of the current image, and in some cases, the prediction block based on the information of the partial region coded in the current image.
  • the block can be predicted.
  • the inter prediction unit 110 may include a reference image interpolator, a motion predictor, and a motion compensator.
  • the intra prediction unit 115 may generate a prediction block based on reference pixel information around a current block which is pixel information in a current image. If the neighboring blocks of the prediction block are blocks that perform inter prediction, that is, when the reference pixel is a pixel that performs inter prediction, the intra prediction is performed on the reference pixels included in the block that performs the inter prediction. It may be used by substituting the reference pixel information of the block which performed.
  • a residual value (residual block or residual signal) between the prediction block generated by the intra prediction unit 115 and the original block may be input to the transform unit 120.
  • prediction mode information and interpolation filter information used for prediction may be encoded by the entropy encoder 135 along with the residual value and transmitted to the decoder.
  • the transform unit 120 converts the residual block including residual value information of the original block and the prediction unit generated through the prediction units 110 and 115 as a transform unit, to a discrete cosine transform (DCT) and a discrete sine transform (DST). Can be transformed using a transformation method such as Karhunen Loeve Transform (KLT).
  • KLT Karhunen Loeve Transform
  • the quantization unit 125 may generate quantization coefficients by quantizing the residual values transformed by the transformer 120.
  • the converted residual values may be values converted into a frequency domain.
  • the reordering unit 130 may rearrange the quantization coefficients provided from the quantization unit 125.
  • the reordering unit 130 may improve the coding efficiency of the entropy encoder 135 by rearranging the quantization coefficients.
  • the reordering unit 130 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the entropy encoder 135 may perform entropy encoding on the quantized coefficients rearranged by the reordering unit 130.
  • Entropy coding may use various coding methods, such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Content-Adaptive Binary Arithmetic Coding (CABAC).
  • the inverse quantization unit 140 inversely quantizes the quantized values in the quantization unit 125, and the inverse transformer 145 inversely changes the inverse quantized values in the inverse quantization unit 140.
  • the residual values generated by the inverse quantizer 140 and the inverse transformer 145 may be combined with the prediction blocks predicted by the predictors 110 and 115 to generate a reconstructed block.
  • the image composed of the prediction blocks may be a motion compensated image or an MC (Motion Compensated Picture).
  • the reconstructed image may be input to the filter unit 150.
  • the filter unit 150 may include a deblocking filter unit, an offset correcting unit (SAO), and an adaptive loop filter unit (ALF).
  • the reconstructed image may be deblocked.
  • the deblocking filter may be input to the offset corrector to correct the offset.
  • the image output from the offset correction unit may be input to the adaptive loop filter unit and pass through an adaptive loop filter (ALF) filter, and the image passing through the filter may be transmitted to the memory 155.
  • ALF adaptive loop filter
  • the memory 155 may store the reconstruction block or the image calculated by the filter unit 150.
  • the reconstructed block or image stored in the memory 155 may be provided to the inter prediction unit 110 or the intra prediction unit 115 that performs inter prediction.
  • the pixel values of the reconstructed blocks used in the intra prediction unit 115 may be data to which the deblocking filter unit, the offset correction unit, and the adaptive loop filter unit are not applied.
  • the image decoding apparatus 200 may include an entropy decoder 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, an inter prediction unit 230, and an intra prediction.
  • the unit 235 includes a filter unit 240 and a memory 245.
  • the input bitstream may be decoded in a reverse process of a procedure in which image information is processed by the encoding apparatus.
  • the entropy decoding unit 210 may also be used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the VLC table.
  • CABAC CABAC is used to perform entropy encoding in the encoding apparatus
  • the entropy decoder 210 may perform entropy decoding using CABAC correspondingly.
  • the entropy decoder 210 provides information for generating a prediction block among the decoded information to the inter prediction unit 230 and the intra prediction unit 235, and a residual value of which the entropy decoding is performed by the entropy decoding unit. May be input to the reordering unit 215.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoder.
  • the reordering unit 215 may receive the information related to the coefficient scanning performed by the encoding apparatus and perform the rearrangement through a reverse scanning method based on the scanning order performed by the encoding apparatus.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT, inverse DST, or inverse KLT on the DCT, DST, or KLT performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus.
  • the inverse transform may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the transform unit of the encoding apparatus may selectively perform DCT, DST, or KLT according to the information such as the prediction method, the size of the current block, and the prediction direction, and the inverse transform unit 225 of the decoding apparatus may use the transform unit of the encoding apparatus.
  • An inverse transform method may be determined based on the performed conversion information to perform inverse transform.
  • the prediction units 230 and 235 may generate the prediction block based on the information related to the prediction block generation provided by the entropy decoding unit 210 and the previously decoded block and / or image information provided by the memory 245.
  • the reconstruction block may be generated using the prediction block generated by the predictors 230 and 235 and the residual block provided by the inverse transform unit 225.
  • the method of concrete prediction performed by the predictors 230 and 235 may be the same as the method of prediction performed by the predictors 110 and 115 of the encoding apparatus.
  • the prediction units 230 and 235 may include a prediction unit determination unit (not shown), an inter prediction unit 230, and an intra prediction unit 235.
  • the prediction unit determiner receives various information such as prediction unit information input from the entropy decoder 210, prediction mode information of the intra prediction method, and motion prediction related information of the inter prediction method, and predicts the prediction block in the current coding block. It may be determined whether the prediction block performs inter prediction or intra prediction.
  • the inter prediction unit 230 based on information included in at least one of a previous image or a subsequent image of the current image including the current prediction block by using information necessary for inter prediction of the current prediction block provided by the encoding apparatus. For example, inter prediction may be performed on the current prediction block. Motion information including a motion vector and a reference image index required for inter-screen prediction of the current block may be derived in response to a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the intra prediction unit 235 may generate a prediction block based on pixel information in the current image.
  • the prediction unit is a prediction unit that performs the intra prediction
  • the intra prediction may be performed based on the intra prediction mode information of the prediction unit provided by the image encoder.
  • the neighboring blocks of the prediction unit are blocks that perform inter-screen prediction, that is, when the reference pixel is a pixel that performs inter-screen prediction
  • the intra-prediction of the reference pixels included in the block on which the inter-screen prediction is performed It may be used by substituting the reference pixel information of the block which performed.
  • the intra prediction unit 235 may use the most probable intra prediction mode (MPM) obtained from neighboring blocks to encode the intra prediction mode.
  • the most probable intra picture prediction mode may use the intra picture prediction mode of the spatial neighboring block of the current block.
  • the intra prediction unit 235 may include an adaptive intra smoothing (AIS) filter unit, a reference pixel interpolator unit, and a DC filter unit.
  • the AIS filter unit performs filtering on a reference pixel of a current block and determines whether to apply a filter according to a prediction mode of a current prediction unit.
  • AIS filtering may be performed on the reference pixel of the current block by using the prediction mode and the AIS filter information of the prediction unit provided by the image encoder.
  • the prediction mode of the current block is a mode in which AIS filtering is not performed, the AIS filter unit may not be applied to the current block.
  • the reference pixel interpolation unit may generate a reference pixel of an integer value or less by interpolating the reference pixel when the prediction mode of the prediction unit is an prediction unit that performs intra prediction based on the sample value interpolated with the reference pixel. have.
  • the prediction mode of the current prediction unit is a prediction mode that generates a prediction block without interpolating the reference pixel
  • the reference pixel may not be interpolated.
  • the DC filter unit may generate the prediction block through filtering when the prediction mode of the current block is the DC mode.
  • the reconstructed block and / or image may be provided to the filter unit 240.
  • the filter unit 240 may include a deblocking filter unit, an offset correction unit, and / or an adaptive loop filter unit in the reconstructed block and / or image.
  • the deblocking filter may receive information indicating whether a deblocking filter is applied to a corresponding block or image from the image encoder and information indicating whether a strong filter or a weak filter is applied when the deblocking filter is applied.
  • the deblocking filter unit may receive the deblocking filter related information provided by the image encoder and perform deblocking filtering on the corresponding block in the image decoder.
  • the offset correction unit may perform offset correction on the reconstructed image based on the type of offset correction and offset value information applied to the image during encoding.
  • the adaptive loop filter unit may be applied as a coding unit on the basis of information such as whether to apply the adaptive loop filter provided from the encoder and coefficient information of the adaptive loop filter. Information related to the adaptive loop filter may be provided in a specific parameter set.
  • the memory 245 may store the reconstructed image or block to be used as a reference image or reference block later, and may provide the reconstructed image to the output unit.
  • bitstream input to the decoding apparatus may be input to the entropy decoding unit through a parsing step.
  • the entropy decoding unit may perform a parsing process.
  • coding may be interpreted as encoding or decoding in some cases, and information includes all values, parameters, coefficients, elements, flags, and the like.
  • the term 'picture' or 'picture' generally refers to a unit representing a single image in a specific time zone, and 'slice' or 'frame' refers to an image of an actual video signal. It is a unit constituting a part, and can be used interchangeably with the image as necessary.
  • 'Pixel', 'pixel' or 'pel' represents the minimum unit that constitutes one image.
  • 'sample' may be used.
  • the sample may be divided into a luminance (Luma) and a color difference (Chroma) component, but may be generally used as a term including both of them.
  • the color difference component represents a difference between predetermined colors and is generally composed of Cb and Cr.
  • 'Unit' refers to a basic unit of image processing or a specific position of an image, such as the above-described coding unit, prediction unit, and transformation unit, and in some cases, terms such as 'block' or 'area' And can be used interchangeably. Also, a block may be used as a term indicating a set of samples or transform coefficients composed of M columns and N rows.
  • FIG. 3 illustrates a temporal and spatial neighboring block of a current block according to a general method.
  • the neighboring block is the current among the spatial neighboring blocks (A, AR, AL, BL, L) located at the left or top of the current block 10 and a collocated picture at a different time than the current block 10.
  • a spatial neighboring block representing a corresponding block 15 having the same spatial coordinates as block 10.
  • index information for indicating whether a current block is coded using motion information of which neighboring block among temporal and spatial neighboring blocks may be coded and transmitted.
  • a motion vector may be obtained by searching for neighboring blocks having an available motion vector.
  • the order of searching for neighboring blocks is L-> A-> AR-> BL-> AL-> T0-> T1.
  • the motion vector of the spatial neighboring block T0 or T1 may be used as the motion vector of the current block 10.
  • the reference picture list of the corresponding picture including the temporal neighboring block 15 may be different from the reference picture list of the current picture including the current block 10.
  • the motion vector of the corresponding block is scaled based on the reference picture indicated by index 0 of the reference picture list of the current picture to which the current block belongs. Can be done.
  • the motion vector may be scaled by setting index image 0 of the reference image list of the current block as the target reference image.
  • FIG. 4 is a flowchart illustrating a decoding method of a video signal for setting a target reference picture according to an embodiment of the present invention.
  • a reference picture list indicating at least one reference picture information of the current block may be obtained (S10).
  • the reference picture list may be one or two, but the present invention is not limited thereto.
  • the motion vector and the reference image information of the temporal neighboring block of the current block may be obtained (S20).
  • the temporal neighboring block may be the same as described with reference to FIG. 3, and reference image information of the temporal neighboring block may be obtained together with the motion vector of the temporal neighboring block.
  • the method of determining whether reference picture information of the temporal neighboring block is included in the reference picture list of the current picture is not limited. According to the present invention, a method of setting a target reference picture may be variously set according to whether reference picture information of the temporal neighboring block is included in the reference picture list of the current picture.
  • the temporal neighbor when reference image information of the temporal neighboring block is the same as reference image information included in the reference image list of the current image, the temporal neighbor as a target reference image used for scaling the motion vector of the temporal neighboring block.
  • a reference image of the block may be set (S40).
  • a reference image indicated by index 0 of the reference image list of the current image may be set as the target reference image. There is (S50).
  • a method of setting a target reference image is not limited thereto, and the reference included in the reference image list of the current image is not limited thereto.
  • a reference picture having the smallest difference between the reference picture information of the temporal neighboring block and the POC value may be selected among the pictures.
  • FIG. 5 is a flowchart illustrating a method of setting a target reference image according to an embodiment of the present invention.
  • a motion vector of a temporal neighboring block considered to code a current block and reference image information ColRefPic referenced when using the motion vector may be obtained.
  • the reference image information ColRefPic may be stored in the variable PicA (S21). 0 is set to the index i of the reference picture of the current picture including the current block (S31), and the number of the i th reference picture (RefPic of i-th refldx in refPicList X) included in the reference picture list of the current picture is set.
  • the variable PicB can be stored (S32).
  • the reference picture of the temporal neighboring block is not the same as all the reference pictures of the reference picture list of the current picture by continuously increasing the index i, the reference picture indicated by the index 0 of the reference picture list of the current picture including the current block Can be set as the target reference image.
  • the method of setting the target reference picture is not limited thereto.
  • the motion vector of the temporal neighboring block can be scaled using the relationship between the reference picture of the temporal neighboring block and the target reference picture, and the scaled motion vector is used for coding the current block.
  • the current block when the current block is encoded in a method such as merge mode, merge skip mode, ATMVP, STMVP, not only the scaled motion vector is used as the motion vector of the current block but also the scaled motion vector.
  • Synthesis of the motion vector may represent generating a new motion vector by synthesizing at least one or more motion vectors, or generating a new prediction block by synthesizing prediction blocks indicated by the motion vectors, but the present invention is not limited thereto.
  • FIG. 6 illustrates a method of setting a target reference image according to an embodiment of the present invention.
  • an image number (POC) of a current image including the current block 20 is 10, and an image of a collocated picture including a temporal neighboring block (corresponding block) 21 of the current block.
  • the number may be six.
  • the video number of the video ColRefPic including the block 22 referred to by ColMV as the motion vector using ColMV which is the motion vector of the T0 position in the corresponding block 21 as the temporal motion vector (TMVP) of the current block.
  • TMVP temporal motion vector
  • index 3 may be set as a target reference picture for coding the motion vector of the current block.
  • the motion vector ColMV may be scaled based on the reference image index 3 image of the reference image list of the current image that is the same as the reference image of the temporal neighboring block, and used as a motion vector for encoding the current block.
  • FIG. 7 and 8 are methods used in JEM 3.0, a method of merging using motion vectors of the corresponding block to encode the current block into one of the merge modes (FIG. 7, ATMVP) and the motion of neighboring blocks of the current block.
  • a merge mode method (STMVP) of encoding a current block using motion vectors generated by synthesizing a vector and a motion vector of a collocated block is described.
  • the first block associates the block indicated by the motion vector among the images indicated by the motion vector of the neighboring block. It may be referred to as a block (corresponding block 35).
  • the current block 30 and the associating block 35 are divided into current sub blocks (sub block 0 ... 15) of 4 x 4 units, respectively, and the current sub
  • a motion vector of an associated subblock sub T0... T15 located at the same position in the associated block may be used.
  • the current subblocks may have different temporal motion vectors.
  • the current sub block 0 uses motion information of the sub block T0 of the associated block as a temporal motion vector
  • the current sub block 1 is a motion vector of the sub block T1 of the associated block. Can be used.
  • the motion of the association subblock is used to use motion vectors of the association subblocks.
  • the information should be scaled based on index image 0 of the reference picture list used by the picture including the current subblock.
  • the motion vector of the sub-association block may be scaled by setting index image 0 of the reference image list of the current image including the current block 30 as a target reference image.
  • a process of calculating a motion vector used in STMVP which is a merge mode of JEM 3.0 is shown.
  • the current subblock divided into 4 ⁇ 4 there may also be 4 ⁇ 4 neighboring subblocks.
  • To generate a motion vector of a current subblock first, a motion vector of a left neighboring block of a current subblock, a motion vector of an upper neighboring block of the current subblock, and a motion vector obtained from a temporal neighboring block May be synthesized and used as a motion vector of the current subblock.
  • the method of generating a motion vector from the temporal neighboring block may be the same as the general TMVP generation method described with reference to FIG. 3, but is not limited thereto.
  • the motion information of Left of Sub block 0 on the left side of the current sub block the motion information of Above of Sub block 0 on the upper side, and described with reference to FIG. 3.
  • these three motion vectors may be synthesized and used as a motion vector of the current subblock Sub block 0.
  • the temporal neighboring block may be used to obtain the TMVP. It is necessary to scale the motion vector of 45) based on the index image 0 of the reference image list of the current image.
  • the index image 0 of the reference image list of the current image may be set as a target reference image.
  • a reference picture of the current picture which is less relevant to scaling of the motion vector of the temporal neighboring block, may be used, coding efficiency may be reduced.
  • the present invention proposes the following method.
  • FIG 9 illustrates a method of obtaining a motion vector using a target reference image according to another embodiment of the present invention.
  • the current block 50 is divided into current subblocks of at least two or more subblocks (Sub block 0 ... 15), and spatial neighboring blocks of the current subblock (no corresponding number).
  • Motion information can be obtained.
  • the sub block 0 may acquire motion information (MVSub0_L, L0, RefIdxSub0_L) of the left block and (MVSub0_A, L0, RefIdxSub0_A) which are motion information of the upper block.
  • motion information MVSub0_T and RefIdxSub0_T of T1 located in the temporal neighboring block 55 or the lower right corner may be obtained, and this motion information may be referred to the target reference image before being synthesized with the motion vectors of the spatial neighboring blocks.
  • the target reference image may be set according to the method described with reference to FIGS. 4 to 6. That is, when the reference picture of the picture to which the temporal neighboring block belongs is included in the reference picture list of the current picture including the current sub-block, the reference picture of the picture to which the temporal neighboring block belongs is set as a target reference picture. If a reference picture of an image to which a temporal neighboring block belongs is not included in the reference picture list of the current picture, index image 0 of the reference picture list of the current picture may be set as the target reference picture.
  • two motion vectors of the spatial neighboring block and the motion vectors of the scaled temporal neighboring block may be synthesized to generate a motion vector of the current subblock.
  • the position and number of neighboring blocks referred to by the current sub-block are not limited to the present invention, and the method of synthesizing usable motion information of the neighboring sub-blocks is not limited to the present invention.
  • 10A and 10B illustrate a method of obtaining a residual merge candidate according to another embodiment of the present invention.
  • the number of merge candidates obtained may be smaller than the maximum number of merge candidates MaxNumMergeCandidates available in the merge mode.
  • (0,0) may be allocated as the reference image and the motion vector corresponding to the smallest number of indexes for the indexes of the remaining merge candidates which are the merge candidates to which the motion information is not assigned.
  • the number of the residual merge candidates is 2 in FIG. 10A, that is, if motion information corresponding to the index 3 and the index 4 is not available
  • the merge candidate that is the first unassigned merge candidate among the remaining merge candidates is not available.
  • the index determination method of the target reference image proposed in the present invention is as described with reference to FIG. 10B.
  • the remaining merge is performed by scaling the motion information of the previously allocated merge candidate with respect to the target reference image.
  • the merge candidate of merge candidate index 4 among the remaining merge candidates is used by scaling the first available merge candidate (index 0).
  • the merge candidate of the merge candidate index 5 may be used by scaling the available second merge candidate (index 1).
  • the target reference picture used for scaling may be a reference picture that is different from the reference picture index of the merge candidate being scaled and is indicated by the smallest reference picture index of the reference picture list of the current picture.
  • the motion information of the merge candidate index 0 is scaled and used, wherein the target picture for scaling is different from the picture indicated by the merge candidate index 0.
  • a reference picture having the smallest index value among the reference picture list may be set as a target picture.
  • the method of setting the target reference picture in the present invention is not limited thereto.
  • the method of setting a target reference image according to an embodiment of the present invention may be used not only for obtaining temporal motion information but also for obtaining spatial motion information.
  • a scaling method of a motion vector, an index determination method of a target reference image, or a selection method of a usable merge candidate for generating a residual merge candidate using the available merge candidate of the present invention is not limited.
  • the present invention proposes a method for solving this.
  • FIG. 11 is a flowchart illustrating a method of setting a target reference image according to another embodiment of the present invention
  • FIG. 12 illustrates a method of setting a target reference image according to another embodiment of the present invention.
  • a reference picture list of the current block 60 may be obtained (S60).
  • the reference picture list may include type information of each of the reference pictures included in the list, and the type information may be a long-term and a short-term type.
  • the motion vector and the reference image information of the position T0 or the lower right T1 in the temporal neighboring block 65 of the current block 60 (S70).
  • Reference image information of the temporal neighboring block may include type information Type_T of the reference image.
  • the reference picture index i representing the reference picture in the reference picture list is initialized to 0 (S75). ). Thereafter, the type information Type_T of the reference picture of the temporal neighboring block is compared with the type of the i-th reference picture in the reference picture list of the current block (S80). If the type T is different from the type of the i-th reference picture (No in S80), it may be determined whether the i-th reference picture is the last reference picture in the reference picture list (S85). If the i-th reference picture is not the last reference picture, the value of i is increased (S87) to compare whether the next reference picture in the reference picture list is the same as the type information of the reference picture of the temporal neighboring block (S80).
  • the Type T and the type of the i-th reference picture are the same (Yes in S80), first, it is determined whether the type information corresponding to the type T, that is, the Type T is a short-term reference type (S90). In this case, if the Type T is a short-term reference type (Yes in S90), after scaling the motion vector of the temporal neighboring block with respect to the i th reference image (reference image of the same type as the Type T) (S100), A motion vector of the merge mode for encoding the current block is used (S130).
  • the motion vector of the temporal neighboring block is considered as a motion vector for the i th reference image without a separate scaling process. This is used as a candidate of the motion vector for encoding the current block in the merge mode (S110).
  • the obtained motion vectors may be used as merge candidates (S130). If no image in the reference picture list of the current picture is the same type as the reference picture of the temporal neighboring block, the motion vector of the temporal neighboring block is not used in the merge mode process for the current block (S120).
  • a preset value may be used as a candidate motion vector for performing the merge mode. For example, (0,0) may be used.
  • the target reference picture may be set to the reference picture indicated by index 0 in the reference picture list of the current picture.
  • a reference picture referred to by the motion vector ColMV of the temporal neighboring block 65 may be a long-term reference picture type.
  • the motion vector cannot be used as a motion vector for merge mode encoding of the current block.
  • the target reference image for scaling of the motion vector is determined.
  • a reference picture having the same type as the reference picture referenced by the motion vector in the reference picture list may be set.
  • the motion vector when the type of the reference image of the motion vector is a long term type and a reference image of a long term type exists in the reference image list 67, the motion vector may be used as it is without scaling. Only an image may be changed to a corresponding reference image in the reference image list. If there are a plurality of long term type reference pictures in the reference picture list, a reference picture assigned the smallest index number may be set as a target picture.
  • the reference picture type of the motion vector is a short-term type, and a plurality of short-term reference pictures exist in the reference picture list 67
  • the reference picture to which the smallest index number is assigned is used as a target picture.
  • the motion vector may be scaled and used for the selected target image.
  • a predetermined value may be used as a candidate motion vector for performing the merge mode. For example, (0,0) may be used, and the target reference picture may be included in the reference picture list 67 of the current picture. It can be set as the reference image indicated by the smallest index.
  • the method of setting the target reference picture is not limited thereto, and a reference picture of the same type as that of the reference picture of the motion vector may be set as the target reference picture.
  • the method of setting a target reference picture uses the reference picture in the reference picture list of the current block having the same picture type as that of the reference picture of the temporal neighboring block as the target reference picture. You can code blocks effectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호의 복호화 방법 및 이의 장치에 관한 것이다. 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득하는 단계; 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 단계; 상기 현재 블록의 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 확인하는 단계; 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 여부에 따라, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하기 위한 타겟 참조 영상을 설정하는 단계를 포함한다.

Description

비디오 신호의 복호화 방법 및 이의 장치
본 발명은 비디오 신호의 복호화 방법 및 이의 장치에 관한 것으로서, 더욱 상세하게는, 움직임 벡터를 획득하기 위한 타겟 참조 영상을 설정하는 방법 및 이의 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비하여 상대적으로 데이터량이 증가하기 때문에, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용하여 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위하여 고효율의 영상압축 기술들이 활용될 수 있다.
비디오 코딩 시스템에서, 전송될 정보를 감소시키기 위하여 공간적 및 시간적 예측을 사용하여 공간 및 시간 중복성을 이용한다. 공간 및 시간 예측은 코딩된 현재 픽셀에 대한 예측을 형성하기 위하여 동일한 영상 및 참조 영상으로부터 디코딩된 픽셀을 각각 이용한다. 종래의 코딩 시스템에서는, 공간 및 시간 예측과 연관되어 있는 보조 정보를 전송하기 때문에, 낮은 비트 레이트를 이용하는 코딩 시스템에서도 시간 예측을 위한 움직임 벡터의 전송을 위하여 많은 양의 비트율이 이용될 수 있다.
이러한 문제점을 해소하기 위하여, 최근 비디오 코딩의 분야에서는 움직임 벡터와 연관되어 있는 비트 레이트를 추가로 감소시키기 위해, 움직임 벡터 예측(Motion Vector Prediction, MVP)이라고 하는 기법을 이용하여 왔다. MVP 기법은 공간적으로 및 시간적으로 이웃하는 움직임 벡터 간의 통계 중복성을 이용한다.
현재 블록의 움직임 벡터 또는 예측 움직임 벡터를 만들기 위하여는 공간적 및/또는 시간적 이웃 블록의 움직임 벡터를 이용한다. 상기 시간적 이웃 블록은 현재 영상과 시간적으로 다른 영상 내부에 위치하기 때문에, 현재 블록의 코딩시 이용되는 참조 영상 리스트와 상기 시간적 이웃 블록의 코딩시 이용되는 참조 영상 리스트는 상이할 수 있다. 그러나, 참조 영상 리스트가 상이함에도 불구하고 현재 블록의 참조 영상 리스트를 상기 시간적 이웃 블록의 움직임 벡터의 스케일링시 사용함으로 코딩 효율이 감소될 수 있다.
본 발명이 해결하고자 하는 과제는 시간적 이웃 블록의 참조 영상을 이용함으로써, 화면 간 예측에 있어서 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 기 획득된 머지 후보를 이용하여 잔여 머지 후보를 획득함으로써, 화면 간 예측에 있어서 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 동일한 영상 타입의 참조 영상을 타겟 참조 영상으로 이용함으로써, 코딩 효율을 높일 수 있는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득하는 단계; 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 단계; 상기 현재 블록의 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 확인하는 단계; 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 여부에 따라, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하기 위한 타겟 참조 영상을 설정하는 단계를 포함한다.
상기 타겟 참조 영상을 설정하는 단계는, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되는 경우, 상기 참조 영상 정보를 상기 타겟 참조 영상으로 설정할 수 있다.
일 실시예에서, 상기 타겟 참조 영상을 설정하는 단계는, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되지 아니하는 경우, 상기 참조 영상 리스트 중 가장 작은 인덱스를 갖는 참조 영상을 상기 타겟 참조 영상으로 설정할 수 있다.
또한, 현재 블록을 적어도 두 개 이상의 서브 블록들로 분할하는 단계; 상기 서브 블록의 공간적 이웃 블록의 움직임 벡터를 획득하는 단계; 상기 타겟 참조 영상을 이용하여 상기 시간적 이웃 블록의 움직임 벡터를 스케일링 하는 단계; 및 상기 공간적 이웃 블록의 움직임 벡터 및 상기 스케일링된 시간적 이웃 블록의 움직임 벡터를 이용하여 상기 서브 블록의 움직임 벡터를 생성하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 타겟 참조 영상을 설정하는 단계는, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되는 경우, 상기 참조 영상 정보를 상기 타겟 참조 영상으로 설정할 수 있다. 상기 타겟 참조 영상을 설정하는 단계는, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되지 아니하는 경우, 상기 참조 영상 리스트에 포함된 상기 공간적 이웃 블록의 참조 영상 정보 중 더 작은 인덱스를 갖는 참조 영상 정보를 상기 타겟 참조 영상으로 설정할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 머지 모드의 머지 후보를 획득하는 방법에 있어서, 상기 머지 모드의 최대 머지 후보의 개수를 나타내는 최대 머지 개수 정보를 획득하는 단계; 현재 블록의 시간적 이웃 블록의 움직임 벡터 및 공간적 이웃 블록의 움직임 벡터 중 적어도 하나 이상을 이용하여 상기 현재 블록의 머지 후보를 획득하는 단계; 상기 획득된 머지 후보의 개수와 상기 최대 머지 개수 정보의 개수를 비교하는 단계; 및 상기 획득된 머지 후보의 개수가 상기 최대 머지 개수 정보의 개수보다 적은 경우, 상기 획득된 머지 후보를 스케일링하여 잔여 머지 후보를 획득하는 단계를 포함한다.
상기 잔여 머지 후보를 획득하는 단계는, 상기 획득된 머지 후보를 타겟 참조 영상을 이용하여 스케일링하고, 상기 타겟 참조 영상은 상기 획득된 머지 후보의 참조 영상과 상이하며, 상기 참조 영상 리스트 중 가장 작은 인덱스를 갖는 참조 영상일 수 있다.
상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득하는 단계; 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 단계; 상기 현재 블록의 시간적 이웃 블록의 참조 영상의 타입과 상기 참조 영상 리스트의 작은 인덱스를 갖는 참조 영상의 타입이 동일한지 여부를 확인하는 단계; 상기 참조 영상의 타입이 동일한 경우, 상기 시간적 이웃의 참조 영상의 타입과 동일한 타입의 참조 영상을 타겟 참조 영상으로 설정하는 단계; 및 상기 참조 영상의 타입이 상이한 경우, 상기 참조 영상 리스트의 인덱스를 하나씩 증가시켜 상기 참조 영상 리스트 내의 참조 영상과 상기 시간적 이웃 블록의 참조 영상의 타입이 동일한지 여부를 판단하는 단계를 포함한다.
일 실시예에서, 상기 동일한 타입의 참조 영상은 상기 시간적 이웃의 참조 영상의 타입과 동일한 타입의 참조 영상들 중 가장 작은 인덱스를 갖는 참조 영상일 수 있고, 상기 시간적 이웃 블록의 참조 영상의 타입과 상기 참조 영상 리스트의 작은 인덱스를 갖는 참조 영상의 타입이 동일한 경우, 상기 시간적 이웃 블록의 참조 영상의 타입이 숏텀 참조 영상인지 여부를 판단하는 단계; 상기 시간적 이웃 블록의 참조 영상의 타입이 숏텀 참조 영상인 경우, 상기 시간적 이웃 블록의 움직임 벡터를 위한 상기 타겟 참조 영상으로서 상기 참조 영상 리스트의 동일한 타입의 참조 영상을 설정하는 단계; 상기 동일한 타입의 참조 영상을 이용하여 상기 시간적 이웃 블록의 움직임 벡터를 스케일링함으로써 머지 후보로 이용하는 단계; 및 상기 시간적 이웃 블록의 참조 영상의 타입이 롱텀 참조 영상인 경우, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하지 아니하고 그대로 상기 현재 블록의 머지 후보로 이용하는 단계를 더 포함할 수 있다.
또한, 상기 참조 영상의 타입이 동일한지 여부를 판단함으로써, 상기 참조 영상의 타입이 상기 참조 영상 리스트의 모든 참조 영상의 타입과 상이한 경우, 상기 현재 블록의 움직임 벡터로서 기 설정된 값을 할당하는 단계를 더 포함할 수 있다.
상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트 및 상기 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 영상 정보 획득부; 상기 현재 블록의 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 확인하는 참조 영상 정보 판별부; 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 여부에 따라, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하기 위한 타겟 참조 영상을 설정하는 타겟 참조 영상 설정부를 포함할 수 있다.
본 발명의 실시예에 따르면, 시간적 이웃 블록의 움직임 벡터를 스케일링 하기 위한 타겟 참조 영상으로서 상기 시간적 이웃 블록의 참조 영상을 이용함으로써, 화면 간 예측에 있어서 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하고, 현재 블록의 예측 움직임 벡터를 생성하기 위하여 시간적 이웃 블록 뿐만 아니라 공간적 이웃 블록을 이용하는 경우에도 상기 시간적 이웃 블록을 포함하는 영상의 참조 영상이 상기 현재 블록의 참조 영상 리스트에 포함되는 경우, 상기 시간적 이웃 블록을 포함하는 영상의 참조 영상을 상기 움직임 벡터의 스케일링을 위한 타겟 참조 영상으로서 이용하므로, 화면 간 예측에 있어서 코딩 효율을 향상시킬 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 시간적 이웃 블록의 움직임 벡터를 스케일링하여 획득한 움직임 벡터를 머지 모드의 잔여 머지 후보로 이용함으로써, 코딩 효율을 향상시킬 수 있는 비디오 신호의 복호화 방법 및 이의 장치를 제공할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 시간적 이웃 블록의 참조 영상의 타입과 동일한 영상 타입을 갖는 현재 블록의 참조 영상 리스트 중의 참조 영상을 타겟 참조 영상으로서 이용함으로써, 현재 블록의 예측 움직임 벡터를 효과적으로 코딩할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 부호화 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 복호화 장치를 개략적으로 나타낸 블록도이다.
도 3는 일반적인 방법에 따른 현재 블록의 시간적 및 공간적 이웃 블록을 나타내는 것이다.
도 4는 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 비디오 신호의 복호화 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하는 순서도이다.
도 6는 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하기 위한 것이다.
도 7 및 도 8은 일반적인 방법에 따른 현재 서브 블록의 시간적 및 공간적 이웃 블록을 나타내는 것이다.
도 9는 본 발명의 다른 실시예에 따른 타겟 참조 영상을 이용하여 움직임 벡터를 획득하는 방법을 설명하기 위한 것이다.
도 10a 및 도 10b는 본 발명의 다른 실시예에 따른 잔여 머지 후보를 획득하는 방법을 나타내는 것이다.
도 11은 본 발명의 또 다른 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 또 다른 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하기 위한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 도면에서 각 유닛의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다 (comprise)" 및/또는 "포함하는 (comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 명세서에서 제 1, 제 2 등의 용어가 다양한 구성요소, 부재, 부품, 영역, 및/또는 부분들을 설명하기 위하여 사용되지만, 이들 구성요소, 부재, 부품, 영역, 및/또는 부분들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 하나의 구성요소, 부재, 부품, 영역 또는 부분을 다른 영역 또는 부분과 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제 1 구성요소, 부재, 부품, 영역 또는 부분은 본 발명의 가르침으로부터 벗어나지 않고서도 제 2 구성요소, 부재, 부품, 영역 또는 부분을 지칭할 수 있다. 또한, 및/또는 용어는 복수의 관련되어 기재되는 항목들의 조합 또는 복수의 관련되어 기재되는 항목들 중의 어느 항목을 포함한다.
어느 구성요소가 다른 구성요소에 "연결되어" 있거나 "접속되어" 있다고 언급되는 경우에는, 상기 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있는 경우 뿐만 아니라, 상기 어느 구성요소와 상기 다른 구성요소 사이에 다른 구성요소가 존재하는 경우를 포함하여 이해되어야 한다. 그러나, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있거나 "직접 접속되어" 있다고 지칭되는 경우에는, 중간에 다른 구성요소가 존재하지 아니하고 상기 어느 구성요소와 상기 다른 구성요소가 직접 연결 또는 접속된 것으로 이해되어야 할 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 부재들의 크기와 형상은 설명의 편의와 명확성을 위하여 과장될 수 있으며, 실제 구현시, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 부호화 장치(100)는 영상 분할부(105), 화면간 예측부(110), 화면내 예측부(115), 변환부(120), 양자화부(125), 재정렬부(130), 엔트로피 부호화부(135), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함한다.
도 1에 나타난 각 구성요소들은 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위하여 독립적으로 도시한 것이며, 각 구성요소들이 분리된 하드웨어나 각각 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수개의 구성요소로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성요소가 통합된 실시예 또는 분리된 실시예도 본 발명의 본질적인 측면에서 벗어나지 않는 한 본 발명의 권리범위에 포함될 수 있다.
영상 분할부(105)는 입력된 영상을 슬라이스 또는 타일로 분할할 수 있으며, 상기 타일은 복수 개의 슬라이스를 포함할 수 있다. 상기 슬라이스 또는 타일은 모두 복수 개의 코딩 트리 블록들의 집합일 수 있다. 상기 타일은 현재 영상에서 독립적으로 코딩 처리를 수행할 수 있으므로, 영상의 병렬 처리를 위하여 중요한 구분이라 할 수 있다.
또한, 영상 분할부(105)는 입력된 영상을 적어도 하나의 처리 단위로 분할할 수 있다. 여기서, 상기 처리 단위는 슬라이스 또는 타일과 양립 불가능한 단위가 아니며, 상기 슬라이스 또는 타일은 상기 처리 단위들을 포함하는 상위 개념일 수 있다. 상기 처리 단위는 예측 블록(Prediction Unit, 이하 'PU'라 함)일 수 있고, 변환 블록(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 블록(Coding Unit, 이하 'CU'라 함)일 수도 있다. 다만, 본 명세서에서는 설명의 편의를 위해, 예측 블록을 예측 단위, 변환 블록을 변환 단위, 부호화 또는 복호화 블록을 부호화 단위 또는 복호화 단위로 표현할 수도 있다.
일 실시예에서, 영상 분할부(105)는 하나의 영상에 대하여 복수의 부호화 블록, 예측 블록, 및 변환 블록의 조합으로 분할하고, 소정의 기준(예를 들어, 비용 함수)에 기초하여 하나의 부호화 블록, 예측 블록, 및 변환 블록의 조합을 선택하여 영상을 부호화할 수 있다.
예를 들어, 하나의 영상은 복수 개의 코딩 블록으로 분할될 수 있다. 일 실시예에서, 하나의 영상은 쿼드 트리 구조(Quad Tree Structure) 또는 바이너리 트리 구조와 같은 재귀적인 트리 구조를 사용하여 상기 코딩 블록을 분할할 수 있으며, 하나의 영상 또는 최대 크기 코딩 블록(largest coding unit)를 루트로 하여 다른 코딩 블록으로 분할되는 코딩 블록은 분할된 코딩 블록의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 이러한 과정을 통하여 더 이상 분할되지 아니하는 코딩 블록은 리프 노드가 될 수 있다.
예측 블록도 하나의 코딩 블록 내에서 동일한 크기의 적어도 하나의 정방형(square) 또는 비정방형(non-square) 등의 형태를 가지고 분할된 것일 수 있고, 하나의 코딩 블록 내에서 분할된 예측 블록 중 어느 하나의 예측 블록이 다른 하나의 예측 블록과 상이한 형태와 크기를 가지도록 분할될 수도 있다. 일 실시예에서는, 코딩 블록과 예측 블록이 동일할 수 있다. 즉, 코딩 블록과 예측 블록을 구분하지 아니하고, 분할된 코딩 블록을 기준으로 예측이 수행될 수도 있다.
예측부는 화면간 예측(inter prediction)을 수행하는 화면간 예측부(110) 및 화면내 예측(intra prediction)을 수행하는 화면내 예측부(115)를 포함할 수 있다. 코딩 효율을 높이기 위하여, 영상 신호를 그대로 부호화하는 것이 아니라, 이미 부호화 및 복호화가 완료된 영상 내부의 특정 영역을 이용하여 영상을 예측하고, 원래의 영상과와 예측 영상 사이의 레지듀얼 값을 부호화한다. 또한, 예측을 위하여 사용된 예측 모드 정보, 모션 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화부에 전달될 수 있다. 특정한 부호화 모드를 이용하는 경우에는 예측부(110, 115)를 통하여 예측 블록을 생성하지 아니하고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다.
일 실시예에서, 예측부(110, 115)는 예측 블록에 대하여 화면간 예측을 수행할 것인지 화면내 예측을 수행할 것인지를 결정하고, 화면간 예측 모드, 모션 벡터, 및 참조 영상과 같은 상기 예측 방법 각각에 따른 구체적인 정보들을 결정할 수 있다. 이 경우, 예측이 수행되는 처리 단위와 예측 방법, 그리고 세부 처리 단위는 각각 다를 수 있다. 예를 들어, 예측 모드와 예측 방법은 예측 블록에 따라 결정되더라도, 예측의 수행은 변환 블록에 따라 수행될 수 있다.
예측부(110, 115)는, 영상분할부(105)에서 분할된 영상의 처리 단위에 대하여 예측을 수행하여 예측된 샘플로 구성되는 예측 블록을 생성할 수 있다. 예측부(110, 115)에서의 영상 처리 단위는 코딩 블록 단위일 수 있고, 변환 블록 단위일 수도 있으며, 예측 블록 단위일 수도 있다.
화면간 예측부(110)는 현재 영상의 이전 영상 또는 이후 영상 중 적어도 하나 이상의 영상의 정보를 기초로 예측 블록을 예측할 수 있고, 경우에 따라 현재 영상 내의 코딩이 완료된 일부 영역의 정보를 기초로 예측 블록을 예측할 수 있다. 화면간 예측부(110)는 참조 영상보간부, 모션 예측부, 및 모션보상부를 포함할 수 있다.
화면내 예측부(115)는 화면간 예측과 달리 현재 영상 내의 픽셀 정보인 현재 블록 주변의 참조 픽셀 정보들을 기초로 하여 예측 블록을 생성할 수 있다. 상기 예측 블록의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
화면내 예측부(115)에서 생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(120)에 입력될 수 있다. 또한, 예측을 위하여 사용되는 예측 모드 정보, 보간 필터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화기로 전달될 수 있다.
변환부(120)는 변환 단위로 원본 블록과 예측부(110, 115)를 통하여 생성된 예측 단위의 레지듀얼 값 정보를 포함하는 레지듀얼 블록을 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen Loeve Transform)과 같은 변환 방법을 이용하여 변환시킬 수 있다. 양자화부(125)는 변환부(120)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 일 실시예에서, 상기 변환된 레지듀얼 값들은 주파수 영역으로 변환된 값일 수 있다.
재정렬부(130)는 양자화부(125)로부터 제공된 양자화 계수를 재정렬할 수 있다. 재정렬부(130)는 상기 양자화 계수를 재정렬함으로써 엔트로피 부호화부(135)에서의 부호화 효율을 향상시킬 수 있다. 재정렬부(130)는 계수 스캐닝(Coefficient Scanning) 방법을 통하여 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 엔트로피 부호화부(135)는 재정렬부(130)에 의하여 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Content-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 이용할 수 있다.
역양자화부(140)는 양자화부(125)에서 양자화된 값들을 역양자화하고, 역변환부(145)는 역양자화부(140)에서 역양자화된 값들을 역변화한다. 역양자화부(140) 및 역변환부(145)에서 생성된 레지듀얼 값은 예측부(110,115)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다. 상기 예측 블록들로 구성된 영상은 모션보상 영상 또는 MC 영상(Motion Compensated Picture)일 수 있다.
상기 복원 영상은 필터부(150)에 입력될 수 있다. 필터부(150)는 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset, SAO), 및 적응적 루프 필터부(Adaptive Loop Filter, ALF)를 포함할 수 있으며, 요약하자면, 상기 복원 영상은 디블록킹 필터부에서 디블록킹 필터가 적용되어 블록킹 잡음(blocking artifact)를 감소 또는 제거 시킨 후, 오프셋 보정부에 입력되어 오프셋을 보정시킬 수 있다. 상기 오프셋 보정부에서 출력된 영상은 상기 적응적 루프 필터부에 입력되어 ALF(Adaptive Loop Filter) 필터를 통과하며, 상기 필터를 통과한 영상은 메모리(155)로 전송될 수 있다.
메모리(155)는 필터부(150)을 통하여 산출된 복원 블록 또는 영상을 저장할 수 있다. 메모리(155)에 저장된 복원 블록 또는 영상은 화면간 예측을 수행하는 화면간 예측부(110) 또는 화면내 예측부(115)에 제공될 수 있다. 화면내 예측부(115)에서 사용되는 복원 블록들의 화소값은 디블록킹 필터부, 오프셋 보정부, 및 적응적 루프 필터부가 적용되지 아니한 데이터들 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 복호화 장치를 개략적으로 나타낸 블록도이다. 도 2 를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 화면간 예측부(230), 화면내 예측부(235), 필터부(240), 메모리(245)를 포함한다.
부호화 장치로부터 영상 비트스트림이 입력되는 경우, 입력된 비트스트림은 부호화 장치에서 영상 정보가 처리된 절차의 역과정으로 복호화될 수 있다. 예를 들어, 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CAVLC와 같은 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC'라 함)가 사용된 경우에는, 엔트로피 복호화부(210)도 부호화 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CABAC을 이용한 경우에는 엔트로피 복호화부(210)에서 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서는 복호화된 정보 중 예측 블록을 생성하기 위한 정보를 화면간 예측부(230) 및 화면내 예측부(235)로 제공하고, 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 영상부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 부호화 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 부호화 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통하여 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다. 역변환부(225)는 영상부호화 장치에서 수행된 양자화 결과에 대하여, 부호화 장치의 변환부가 수행한 DCT, DST, 또는 KLT 에 대해 역DCT, 역DST, 또는 역KLT를 수행할 수 있다. 역변환은 부호화 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서는 예측 방법, 현재 블록의 크기 및 예측 방향과 같은 정보에 따라 DCT, DST, 또는 KLT를 선택적으로 수행할 수 있고, 복호화 장치의 역변환부(225)는 부호화 장치의 변환부에서 수행된 변환 정보를 기초로 역변환 방법이 결정되어 역변환을 수행할 수 있다.
예측부(230, 235)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성과 관련된 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 및/또는 영상 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230, 235)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용하여 생성될 수 있다. 예측부(230, 235)에서 수행하는 구체적인 예측의 방법은 부호화 장치의 예측부(110, 115)에서 수행되는 예측의 방법과 동일할 수 있다.
예측부(230, 235)는 예측 단위 판별부(미도시), 화면간 예측부(230), 및 화면내 예측부(235)를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부(210)에서 입력되는 예측 단위 정보, 화면내 예측 방법의 예측 모드 정보, 화면간 예측 방법의 모션 예측 관련 정보와 같은 다양한 정보를 입력 받아, 현재 코딩 블록에서의 예측 블록을 구분하고, 예측 블록이 화면간 예측을 수행하는지 아니면 화면내 예측을 수행하는지 여부를 판별할 수 있다.
화면간 예측부(230)는 부호화 장치에서 제공된 현재 예측 블록의 화면간 예측에 필요한 정보를 이용하여 현재 예측 블록이 포함된 현재 영상의 이전 영상 또는 이후 영상 중 적어도 하나의 영상에 포함된 정보를 기초로 현재 예측 블록에 대한 화면간 예측을 수행할 수 있다. 현재 블록의 화면간 예측에 필요한 모션 벡터 및 참조 영상 인덱스를 포함하는 모션정보는 부호화 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
화면내 예측부(235)는 현재 영상내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면내 예측을 수행한 예측 단위인 경우에는 영상 부호화기에서 제공된 예측 단위의 화면내 예측 모드 정보를 기초로 화면내 예측을 수행할 수 있다. 상기 예측 단위의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
또한, 화면내 예측부(235)는 화면내 예측 모드를 부호화하기 위하여 이웃 블록들로부터 획득한 가장 가능성 있는 화면내 예측 모드(MPM: Most Probable Mode)을 이용할 수 있다. 일 실시예에서, 상기 가장 가능성 있는 화면내 예측 모드는 현재 블록의 공간적 이웃 블록의 화면내 예측 모드를 이용할 수 있다.
화면내 예측부(235)에는 AIS(Adaptive Intra Smoothing) 필터부, 참조 픽셀 보간부, DC 필터부를 포함할 수 있다. 상기 AIS 필터부는 현재 블록의 참조 픽셀에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 픽셀에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 아니하는 모드인 경우에는, 상기 AIS 필터부는 현재 블록에 적용되지 아니할 수 있다.
참조 픽셀 보간부는 예측 단위의 예측 모드가 참조 픽셀을 보간한 샘플값을 기초로 화면내 예측을 수행하는 예측 단위인 경우에, 참조 픽셀을 보간하여 정수값 이하의 픽셀 단위의 참조 픽셀을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 픽셀을 보간하지 아니하고 예측 블록을 생성하는 예측 모드인 경우, 참조 픽셀은 보간되지 아니할 수 있다. DC 필터부는 현재 블록의 예측 모드가 DC 모드인 경우에 필터링을 통하여 예측 블록을 생성할 수 있다.
복원된 블록 및/또는 영상은 필터부(240)로 제공될 수 있다. 필터부(240)는 복원된 블록 및/또는 영상에 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset) 및/또는 적응적 루프 필터부를 포함할 수 있다. 상기 디블록킹 필터부는 영상 부호화기로부터 해당 블록 또는 영상에 디블록킹 필터가 적용되었는지 여부를 나타내는 정보 및 디블록킹 필터가 적용된 경우 강한 필터 또는 약한 필터를 적용하였는지를 나타내는 정보를 제공받을 수 있다. 상기 디블록킹 필터부는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고, 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다.
상기 오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값 정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다. 상기 적응적 루프 필터부는 부호화기로부터 제공된 적응적 루프 필터의 적용 여부에 관한 정보, 적응적 루프 필터의 계수 정보와 같은 정보들을 기초로 부호화 단위로 적용될 수 있다. 상기 적응적 루프 필터와 관련된 정보들은 특정 파라미터 셋(parameter set)에 포함되어 제공될 수 있다.
메모리(245)는 복원된 영상 또는 블록을 저장하여 이후에 참조 영상 또는 참조 블록으로 사용할 수 있고, 또한 복원된 영상을 출력부로 제공할 수 있다.
본 명세서에서는 설명의 편의를 위하여 생략하였지만, 복호화 장치에 입력되는 비트스트림은 파싱(parsing) 단계를 거쳐 엔트로피 복호화부로 입력될 수 있다. 또한, 엔트로피 복호화부에서 파싱 과정을 수행하도록 할 수 있다.
본 명세서에서 코딩은 경우에 따라 부호화 또는 복호화로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements), 플래그(flag) 등을 모두 포함하는 것으로 이해될 수 있다. '화면' 또는 '영상(picture)'는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, '슬라이스(slice)', '프레임(frame)' 등은 실제 비디오 신호의 코딩에 있어서 영상의 일부를 구성하는 단위이며, 필요에 따라서는 영상과와 서로 혼용되어 사용될 수 있다.
'픽셀(pixel)', '픽셀' 또는 'pel'은 하나의 영상을 구성하는 최소의 단위를 나타낸다. 또한, 특정한 픽셀의 값을 나타내는 용어로서, '샘플(sample)'을 사용할 수 있다. 샘플은 휘도(Luma) 및 색차(Chroma) 성분으로 나누어질 수 있으나, 일반적으로는 이를 모두 포함하는 용어로 사용될 수 있다. 상기에서 색차 성분은 정해진 색상들 간의 차이를 나타내는 것으로 일반적으로 Cb 및 Cr로 구성된다.
'유닛(unit)'은 상술한 부호화 유닛, 예측 유닛, 변환 유닛과 같이 영상처리의 기본 단위 또는 영상의 특정 위치를 지칭하며, 경우에 따라서는 '블록' 또는 '영역(area)'등의 용어와 서로 혼용하여 사용될 수 있다. 또한, 블록은 M개의 열과 N개의 행으로 구성된 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타내는 용어로 사용될 수도 있다.
도 3은 일반적인 방법에 따른 현재 블록의 시간적 및 공간적 이웃 블록을 나타내는 것이다.
도 3을 참조하면, 현재 블록(10)의 주변에 위치하는 이웃 블록들의 움직임 정보들 중 하나를 현재 블록의 코딩시 사용하는 머지(Merge) 모드를 설명한다. 상기 이웃 블록은 현재 블록(10)의 좌측 또는 상단에 위치하는 공간적 이웃 블록(A, AR, AL, BL, L) 및 현재 블록(10)과 상이한 시간의 대응 영상(collocated picture)의 내부 중 현재 블록(10)과 동일한 공간 좌표를 갖는 대응 블록(15)을 나타내는 공간적 이웃 블록을 포함한다. 상기 머지 모드는 시간적 및 공간적 이웃 블록들 중 어느 이웃 블록의 움직임 정보를 이용하여 현재 블록을 코딩했는지를 표시하기 위한 색인(index) 정보를 코딩하여 전송할 수 있다.
먼저, 이웃 블록의 움직임 벡터를 획득하기 위하여, 이용 가능한 움직임 벡터를 가지고 있는 이웃 블록들을 탐색하여 움직임 벡터를 획득할 수 있다. 이웃 블록들을 탐색하는 순서는 L->A->AR->BL->AL->T0->T1 이다. 일 실시예에서는, 현재 블록(10)의 움직임 벡터로서 공간적 이웃 블록(T0 또는 T1)의 움직임 벡터를 이용할 수 있다.
이 경우, 시간적 이웃 블록(15)을 포함하고 있는 대응 영상의 참조 영상 리스트는 현재 블록(10)을 포함하고 있는 현재 영상의 참조 영상 리스트와 상이할 수 있다. 이와 같이 상이한 경우, 대응 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하기 전에, 대응 블록의 움직임 벡터는 현재 블록이 속한 현재 영상의 참조 영상 리스트의 0번 인덱스가 나타내는 참조 영상을 기준으로 스케일링을 수행할 수 있다. 요약하자면, 머지 모드에서는 현재 블록의 참조 영상 리스트의 0번 인덱스 영상을 타겟 참조 영상으로 설정하여 움직임 벡터를 스케일링할 수 있다.
도 4는 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 비디오 신호의 복호화 방법을 설명하는 순서도이다.
먼저 도 3을 참조하여 설명한 일반적인 타겟 참조 영상을 설정하는 방법에 따르면, 현재 블록의 움직임 벡터를 획득하기 위하여, 시간적 이웃 블록의 움직임 벡터를 스케일링 할 때, 상기 시간적 이웃 블록이 포함된 대응 영상의 참조 영상 리스트와 상이한 현재 영상의 참조 영상 리스트를 이용할 수 있다. 이러한 경우, 상기 시간적 이웃 블록과 유사도가 낮은 참조 영상을 이용하여 스케일링 될 수 있으므로, 코딩 효율이 저하될 수 있다. 따라서, 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 방법은 이러한 문제점을 해소하기 위하여 새로운 방법을 따르기로 한다.
다시 도 4를 참조하면, 현재 블록의 움직임 벡터를 획득하기 위한 타겟 참조 영상을 설정하기 위하여, 먼저 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득할 수 있다(S10). 상기 참조 영상 리스트는 하나 또는 두 개일 수 있으나, 본 발명은 이에 한정되지 아니한다. 또한, 현재 블록의 시간적 이웃 블록의 움직임 벡터와 참조 영상 정보를 획득할 수 있다(S20). 상기 시간적 이웃 블록은 도 3을 참조하여 설명한 바와 동일할 수 있고, 상기 시간적 이웃 블록의 참조 영상 정보는 상기 시간적 이웃 블록의 움직임 벡터와 함께 획득될 수 있다.
이후, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 블록이 속하는 현재 영상의 참조 영상 리스트에 포함된 참조 영상과 동일한지 여부를 판단한다(S30). 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 영상의 참조 영상 리스트에 포함되는지 여부를 판단하는 방법은 제한되지 아니한다. 본 발명에서는 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 영상의 참조 영상 리스트에 포함되는지 여부에 따라, 타겟 참조 영상을 설정하는 방법을 다양하게 설정할 수 있다.
예를 들어, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 영상의 참조 영상 리스트에 포함된 참조 영상 정보와 동일한 경우, 상기 시간적 이웃 블록의 움직임 벡터의 스케일링을 위하여 이용되는 타겟 참조 영상으로 상기 시간적 이웃 블록의 참조 영상을 설정할 수 있다(S40). 또한, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 영상의 참조 영상 리스트에 포함된 참조 영상과 상이한 경우, 상기 타겟 참조 영상으로서 상기 현재 영상의 참조 영상 리스트 중 0번 인덱스로 나타내는 참조 영상을 설정할 수 있다(S50). 그러나, 상기 시간적 이웃 블록의 참조 영상 정보가 상기 현재 영상의 참조 영상 리스트에 포함된 참조 영상과 상이한 경우 타겟 참조 영상을 설정하는 방법은 이에 한정되지 아니하며, 상기 현재 영상의 참조 영상 리스트에 포함된 참조 영상 중 상기 시간적 이웃 블록의 참조 영상 정보와 가장 POC 값의 차이가 적은 참조 영상이 선택될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하는 순서도이다.
도 5를 참조하면, 먼저 현재 블록을 코딩하기 위하여 고려되는 시간적 이웃 블록의 움직임 벡터 및 상기 움직임 벡터를 이용시 참조하는 참조 영상 정보(ColRefPic)를 획득할 수 있다. 이 때, 상기 참조 영상 정보(ColRefPic)는 변수 PicA에 저장될 수 있다(S21). 현재 블록을 포함하는 현재 영상의 참조 영상의 인덱스 i 에 0을 설정하고(S31), 상기 현재 영상의 참조 영상 리스트에 포함되는 i 번째 참조 영상의 번호(RefPic of i-th refldx in refPicList X)를 변수 PicB에 저장할 수 있다(S32).
이후, 현재 영상의 i 번째 참조 영상의 번호를 나타내는 변수 PicB와 상기 시간적 이웃 블록의 참조 영상 정보를 나타내는 변수 ColRefPic 가 동일한지 여부(PicA==PicB )를 판단한다(S33). 만일 PicA == PicB 인 경우, PicA 가 나타내는 참조 영상을 타겟 참조 영상으로서로서 설정할 수 있다(S41). 만일 PicA 와 PicB 가 상이하다면, 현재 영상의 참조 영상 리스트에 포함되는 참조 영상을 나타내는 인덱스 i 가 참조 영상 리스트에 포함된 참조 영상의 개수보다 작은지 확인하고(S34), 작은 경우 인덱스 i 를 1만큼 증가시키고(S35), 상기 i번째 참조 영상의 번호(POC)를 변수 PicB에 저장하며(S32), 변수 PicA 와 PicB 가 동일한지 판단한다(S33).
만일 인덱스 i를 계속하여 증가시켜 시간적 이웃 블록의 참조 영상이 현재 영상의 참조 영상 리스트의 모든 참조 영상과 동일하지 아니하다면, 현재 블록을 포함하는 현재 영상의 참조 영상 리스트의 0번 인덱스가 나타내는 참조 영상을 타겟 참조 영상으로서 설정할 수 있다. 그러나, 시간적 이웃 블록의 참조 영상이 현재 영상의 참조 영상 리스트에 포함된 모든 참조 영상과 동일하지 아니하다면, 타겟 참조 영상을 설정하는 방법은 이에 한정되지 아니한다.
이렇게 타겟 참조 영상이 설정되면 이를 기준으로 상기 시간적 이웃 블록의 움직임 벡터는 시간적 이웃 블록의 참조 영상과 타겟 참조 영상 간의 관계를 이용해서 스케일링될 수 있고, 상기 스케일링된 움직임 벡터가 현재 블록의 코딩에 이용될 수 있다. 상기 현재 블록의 코딩은, 현재 블록을 머지 모드, 머지 스킵 모드, ATMVP, STMVP 와 같은 방법으로 부호화 하는 경우, 상기 스케일링된 움직임 벡터를 현재 블록의 움직임 벡터로 그대로 이용하는 것 뿐만 아니라 상기 스케일링된 움직임 벡터를 이외의 다른 움직임 벡터와 합성하여 합성된 움직임 벡터를 현재 블록의 움직임 벡터로 이용할 수 있다. 상기 움직임 벡터의 합성은 적어도 하나 이상의 움직임 벡터를 합성하여 새로운 움직임 벡터를 생성하거나 또는 움직임 벡터들이 가리키는 예측 블록들을 합성하여 새로운 예측 블록을 생성하는 것을 나타낼 수도 있으나, 본 발명은 이에 한정되지 아니한다.
도 6은 본 발명의 일 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하기 위한 것이다.
도 6을 참조하면, 현재 블록(20)이 포함된 현재 영상의 영상 번호(POC)가 10 이고, 상기 현재 블록의 시간적 이웃 블록(대응 블록, 21)을 포함하는 대응 영상(collocated picture)의 영상 번호가 6일 수 있다. 또한, 대응 블록(21) 내의 T0 위치의 움직임 벡터인 ColMV 를 현재 블록의 시간적 움직임 벡터(TMVP)로 사용하고, 상기 움직임 벡터인 ColMV가 참조하는 블록(22)을 포함하는 영상 ColRefPic의 영상 번호(POC)가 0 일 수 있다. 이 경우, 현재 영상의 참조 영상 리스트 중 3 번 인덱스가 나타내는 참조 영상이 POC=0 으로 상기 ColRefPic 의 영상 번호와 동일하므로, 현재 블록의 움직임 벡터의 코딩을 위한 타겟 참조 영상으로 인덱스 3을 설정할 수 있다.
즉, 현재 블록을 포함하는 현재 영상의 참조 영상 리스트(25)에 상기 시간적 이웃 블록의 참조 영상과 동일한 영상이 존재할 수 있다. 그러므로, 상기 시간적 이웃 블록의 참조 영상과 동일한 상기 현재 영상의 참조 영상 리스트의 참조 영상 인덱스 3 번 영상을 기준으로 하여 상기 움직임 벡터인 ColMV를 스케일링하여 현재 블록을 부호화하기 위한 움직임 벡터로 이용할 수 있다. 만일 상기 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상과 동일한 영상이 포함되지 아니하는 경우, 상기 움직임 벡터 ColMV를 스케일링하기 위한 타겟 참조 영상은 기존의 방법으로 설정된 영상을 이용할 수 있다. 예를 들면, 상기 시간적 이웃 블록의 참조 영상과 동일한 영상이 상기 참조 영상 리스트에 없으면, 참조 영상 리스트의 인덱스 0인 영상인 POC=8의 영상을 타겟 참조 영상으로 이용할 수 있다.
도 7 및 도 8은 JEM 3.0에서 사용되는 방법들로써, 현재 블록을 머지 모드들 중에 하나로 부호화하기 위해 corresponding block의 움직임 벡터들을 이용해서 머지하는 방법 (도 7, ATMVP) 및 현재 블록의 이웃 블록들의 움직임 벡터와 collocated block의 움직임 벡터를 합성하여 만들어진 움직임 벡터들을 이용하여 현재 블록을 부호화하는 머지 모드 방법(도 8, STMVP)를 설명하고 있다.
도 7을 참조하면, 먼저 현재 블록(30)의 주변 블록들 중 움직임 벡터를 갖는 주변 블록이 있는지를 확인하며, 가장 먼저 확인된 주변 블록의 움직임 벡터가 가리키는 영상 중 상기 움직임 벡터가 가리키는 블록을 연관 블록(corresponding block, 35)으로 지칭할 수 있다. 상기 연관 블록(35)이 결정된 후, 상기 현재 블록(30) 및 상기 연관 블록(35)을 각각 4 x 4 단위의 현재 서브 블록들(sub block 0...15)로 분할하고, 상기 현재 서브 블록의 움직임 벡터로서 상기 연관 블록 내의 동일한 위치에 있는 연관 서브 블록(sub T0...T15)이 가지고 있는 움직임 벡터를 이용할 수 있다.
이후, 현재 서브 블록은 각각 서로 다른 시간적 움직임 벡터를 가질 수 있다. 예를 들면, 현재 서브 블록 0(Sub block 0)은 연관 블록의 서브 블록 T0 의 움직임 정보를 시간적 움직임 벡터로 이용하고, 현재 서브 블록 1(Sub block 1)은 연관 블록의 서브 블록 T1의 움직임 벡터를 이용할 수 있다. 이 경우, 상기 연관 블록을 포함하고 있는 영상의 참조 영상 리스트와 상기 현재 블록을 포함하는 현재 영상의 참조 영상 리스트가 상이하기 때문에, 상기 연관 서브 블록들의 움직임 벡터들을 이용하기 위하여 상기 연관 서브 블록의 움직임 정보를 현재 서브 블록을 포함하는 영상이 사용하는 참조 영상 리스트의 0 번 인덱스 영상을 기준으로 스케일링하여 이용하여야 한다. 다시 말하면, 상기 현재 블록(30)을 포함하는 현재 영상의 참조 영상 리스트의 0 번 인덱스 영상을 타겟 참조 영상으로 설정하여 상기 서브 연관 블록의 움직임 벡터를 스케일링할 수 있다.
도 8을 참조하면, JEM 3.0의 머지 모드인 STMVP에서 이용되는 움직임 벡터를 계산하는 과정을 나타낸다. 4 x 4 로 분할된 현재 서브 블록은 주변에도 4 x 4 의 주변 서브 블록이 존재할 수 있다. 현재 서브 블록의 움직임 벡터를 생성하기 위하여는, 먼저, 현재 서브 블록의 왼쪽 이웃 블록의 움직임 벡터와 상기 현재 서브 블록의 상단 이웃 블록의 움직임 벡터, 및 시간적 이웃 블록(collocated block)으로부터 획득된 움직임 벡터를 합성하여 이를 상기 현재 서브 블록의 움직임 벡터로 이용할 수 있다.
상기 시간적 이웃 블록(collocated block)으로부터 움직임 벡터를 생성하는 방법은 도 3을 참조하여 설명한 일반적인 TMVP 생성 방법과 동일할 수 있으나, 이에 제한되지는 아니한다. 예를 들어, 상기 현재 서브 블록이 Sub block 0 인 경우, 상기 현재 서브 블록의 좌측의 Left of Sub block 0의 움직임 정보, 상단의 Above of Sub block 0의 움직임 정보, 및 도 3을 참조하여 설명된 시간적 이웃 블록으로부터 TMVP를 획득한 후, 이 세 움직임 벡터들을 합성하여 상기 현재 서브 블록 Sub block 0 의 움직임 벡터로 사용할 수 있다. 이 경우, 상기 시간적 이웃 블록(collocated block)을 포함하는 영상의 참조 영상 리스트와 상기 현재 블록(40)을 포함하는 현재 영상의 참조 영상 리스트는 상이하기 때문에, 상기 TMVP를 얻기 위하여 상기 시간적 이웃 블록(45)의 움직임 벡터를 상기 현재 영상의 참조 영상 리스트 중 0 번 인덱스 영상을 기준으로 스케일링 하는 과정이 필요하다.
즉, 상기 시간적 이웃 블록(45) 내의 T0 위치 또는 우측 하단에 위치한 T1의 움직임 벡터를 스케일링 하기 위하여, 상기 현재 영상의 참조 영상 리스트의 0 번 인덱스 영상을 타겟 참조 영상으로 설정할 수 있다. 그러나, 이러한 경우 상기 시간적 이웃 블록의 움직임 벡터의 스케일링에 연관성이 낮은 현재 영상의 참조 영상이 이용될 수 있으므로 코딩 효율이 저하될 수 있다. 이러한 문제점을 해소하기 위하여 본 발명은 아래와 같은 방법을 제안한다.
도 9는 본 발명의 다른 실시예에 따른 타겟 참조 영상을 이용하여 움직임 벡터를 획득하는 방법을 나타내는 것이다.
도 9를 참조하면, 현재 블록(50)을 적어도 두 개 이상의 서브 블록들(Sub block 0...15)인 현재 서브 블록들로 분할하고, 상기 현재 서브 블록의 공간적 이웃 블록들(해당 번호 없음)의 움직임 정보를 획득할 수 있다. 예를 들어, Sub block 0은 좌측 블록의 움직임 정보(MVSub0_L, L0, RefIdxSub0_L) 및 상측 블록의 움직임 정보인 (MVSub0_A, L0, RefIdxSub0_A)를 획득할 수 있다. 또한 시간적 이웃 블록(55) 내의 T0 위치 또는 우측 하단에 위치한 T1의 움직임 정보(MVSub0_T, RefIdxSub0_T)를 획득할 수 있고, 이 움직임 정보는 공간적 이웃 블록들의 움직임 벡터들과 합성되기 전에 타겟 참조 영상을 기준으로 스케일링 될 수 있다.
상기 타겟 참조 영상은 도 4 내지 도 6을 참조하여 설명하였던 방법에 따라 설정될 수 있다. 즉, 상기 시간적 이웃 블록이 속한 영상의 참조 영상이 현재 서브 블록이 포함되는 현재 영상의 참조 영상 리스트 내에 포함되는 경우, 상기 시간적 이웃 블록이 속한 영상의 참조 영상을 타겟 참조 영상으로 설정할 수 있다. 만일 시간적 이웃 블록이 속한 영상의 참조 영상이 상기 현재 영상의 참조 영상 리스트 내에 포함되지 아니하는 경우에는, 상기 타겟 참조 영상으로서 상기 현재 영상의 참조 영상 리스트의 0번 인덱스 영상을 설정할 수 있다.
이후, 상기 공간적 이웃 블록의 움직임 벡터 두 개 및 상기 스케일링된 시간적 이웃 블록의 움직임 벡터를 합성하여 상기 현재 서브 블록의 움직임 벡터를 생성할 수 있다. 이 때, 현재 서브 블록이 참조하는 주변 블록의 위치 및 수는 본 발명에 제한하지 아니하며, 상기 주변 서브 블록의 사용가능한 움직임 정보들의 합성 방법도 본 발명에 제한되지 아니한다.
이와 같이, 현재 블록의 시간적 이웃 블록의 움직임 정보를 이용하여 현재 블록의 움직임 블록을 생성하는 경우, 상기 시간적 이웃 블록을 포함하는 영상의 참조 영상이 상기 현재 블록의 참조 영상 리스트 내에 존재하는 경우, 이를 타겟 참조 영상으로 이용함으로써 코딩 효율을 향상시킬 수 있다.
이하에서는, 머지 모드에서 움직임 정보가 할당되지 아니한 머지 후보 인덱스에 잔여 머지 후보 값을 설정하는 방법에 대하여 설명한다.
도 10a 및 도 10b는 본 발명의 다른 실시예에 따른 잔여 머지 후보를 획득하는 방법을 나타내는 것이다.
도 10a 를 참조하면, 머지 모드에서 사용 가능한 최대 머지 후보의 개수(MaxNumMergeCandidates)보다 획득된 머지 후보의 수가 더 작을 수 있다. 이 경우, 움직임 정보가 할당되지 아니한 머지 후보인 잔여 머지 후보의 인덱스에 대하여 가장 작은 수의 인덱스에 해당하는 참조 영상 및 움직임 벡터로서 (0,0)을 할당할 수 있다. 예를 들어, 도 10a에서 상기 잔여 머지 후보의 개수가 2 개 이면, 즉, 인덱스 3과 인덱스 4에 해당되는 움직임 정보가 이용 가능하지 않다면, 상기 잔여 머지 후보 중 첫번째 할당되지 아니한 머지 후보인 머지 후보 인덱스 3에 인덱스 0의 참조 영상인 POC=16 및 MV=(0,0)을 할당할 수 있다. 또한, 상기 잔여 머지 후보 중 두번째 할당되지 아니한 머지 후보인 머지 후보 인덱스 4에는 인덱스 1의 참조 영상인 POC=12 및 MV=(0,0)을 할당할 수 있다.
그러나, 본 발명에서 제안하는 타겟 참조 영상의 인덱스 결정 방법은 이하 도 10b를 참조하여 설명한 바와 같다. 도 10b 에서 나타난 바와 같이, 현재 블록의 머지 후보에 대하여 잔여 머지 후보(인덱스 3과 인덱스 4에 해당하는 후보들) 가 있는 경우, 이미 할당된 머지 후보의 움직임 정보를 타겟 참조 영상에 대해 스케일링하여 잔여 머지 후보의 움직임 정보로 사용할 수 있다. 예를 들어, 5개의 머지 후보를 이용하는 머지 모드에서 기 할당된 사용 가능한 머지 후보가 3 개인 경우, 잔여 머지 후보 중 머지 후보 인덱스 4의 머지 후보는 사용 가능한 첫번째 머지 후보(인덱스 0)를 스케일링하여 이용하고, 머지 후보 인덱스 5의 머지 후보는 사용 가능한 두번째 머지 후보(인덱스 1)를 스케일링하여 이용할 수 있다.
상기 스케일링에 이용되는 타겟 참조 영상은 스케일링되는 머지 후보의 참조 영상 인덱스와는 상이하고 현재 픽쳐의 참조 영상 리스트 중 가장 작은 참조 영상 인덱스가 나타내는 참조 영상일 수 있다. 예를 들면, 4번째 머지 후보(머지 후보 인덱스 3)를 구성할 때, 머지 후보 인덱스 0의 움직임 정보를 스케일링해서 사용하고, 이때 스케일링하기 위한 타겟 픽쳐는 머지 후보 인덱스 0이 가르키는 픽쳐와 다르면서 참조영상 리스트 중 가장 작은 인덱스 값을 갖는 참조영상을 타겟 픽쳐로 설정할 수 있다. 도 10b에서 머지 후보 인덱스 0가 RefIdx =0 (POC 16) 이므로, 머지 후보 인덱스 3은 RefIdx = 1인 영상을 타겟 참조 영상으로 설정할 수 있고, 이는 POC 12를 머지 후보 인덱스 3의 타겟 참조 영상으로 설정할 수 있음을 의미한다.
또한, 5번째 머지 후보(머지 인덱스 4)는 머지 후보 인덱스 1의 움직임 벡터를 스케일링 해서 구성하는데, 이때 타겟 참조 영상은 머지 후보 인덱스 1이 나타내는 참조 영상(RefIdx=1, POC 12)과 다르면서, 현재 영상의 참조 영상 리스트에서 가장 작은 리스트 값인 RefIdx=0 으로 설정할 수 있다. 이는 POC=16을 머지 후보 인덱스 4의 타겟 참조 영상으로 설정함을 의미한다. 그러나, 본 발명에서 타겟 참조 영상을 설정하는 방법은 이에 한정되지 아니한다.
본 발명의 일 실시예에 따른 타겟 참조 영상의 설정 방법은 시간적 움직임 정보의 획득 뿐만 아니라 공간적 움직임 정보의 획득을 위한 방법에서도 사용될 수 있다. 또한, 본 발명의 사용 가능한 머지 후보를 사용하여 잔여 머지 후보를 생성하기 위한 움직임 벡터의 스케일링 방법, 타겟 참조 영상의 인덱스 결정 방법, 또는 사용 가능한 머지 후보의 선택 방법은 제한되지 아니한다.
이와 같이, 본 발명의 잔여 머지 후보 획득 방법에 있어서, 기 획득된 머지 후보를 이용하여 잔여 머지 후보를 획득함으로써, 화면 간 예측에 있어서 코딩 효율을 향상시키는 비디오 신호의 복호화 방법 및 이의 장치를 제공하는 것이다.
또한, 일반적인 방법에 있어서 머지 모드에서 시간적 이웃 블록의 움직임 정보를 이용한 TMVP를 머지 후보로 이용하는 경우, 상기 시간적 이웃 블록의 참조 영상의 타입과 현재 블록을 포함하는 현재 영상의 타겟 참조 영상의 타입이 상이한 경우, 상기 TMVP는 머지 후보로 이용할 수 없다. 본 발명은 이를 해결하는 방법을 제안한다.
도 11는 본 발명의 또 다른 실시예에 따른 타겟 참조 영상을 설정하는 방법을 나타내는 순서도이고, 도 12는 본 발명의 또 다른 실시예에 따른 타겟 참조 영상을 설정하는 방법을 설명하기 위한 것이다.
도 11 및 도 12를 참조하면, 먼저 현재 블록(60)의 참조 영상 리스트를 획득할 수 있다(S60). 상기 참조 영상 리스트는 리스트 내에 포함되는 참조 영상들 각각의 타입 정보를 포함할 수 있으며, 상기 타입 정보는 롱-텀(long-term) 및 숏-텀(short-term) 타입일 수 있다. 또한, 현재 블록(60)의 시간적 이웃 블록(65) 내의 T0 위치 또는 우측 하단에 위치한 T1의 움직임 벡터 및 참조 영상 정보를 획득할 수 있다(S70). 상기 시간적 이웃 블록의 참조 영상 정보는 상기 참조 영상의 타입 정보(Type_T)를 포함할 수 있다.
상기 시간적 이웃 블록의 참조 영상의 타입 정보(Type_T)와 현재 블록의 참조 영상 리스트의 참조영상들의 타입과 비교하기 위해, 먼저 참조 영상 리스트 내의 참조 영상을 나타내는 참조 영상 인덱스 i를 0으로 초기화한다(S75). 이후, 상기 시간적 이웃 블록의 참조 영상의 타입 정보(Type_T)와 현재 블록의 참조 영상 리스트 내의 i번째 참조 영상의 타입을 비교한다(S80). 만일 상기 Type T 와 상기 i 번째 참조 영상의 타입이 상이한 경우(S80의 No), 상기 i 번째 참조 영상이 상기 참조 영상 리스트 내의 마지막 참조 영상인지를 판단할 수 있다(S85). 상기 i 번째 참조 영상이 마지막 참조 영상이 아닌 경우에는 i 값을 증가시켜(S87) 상기 참조 영상 리스트 내의 다음 참조 영상과 상기 시간적 이웃 블록의 참조 영상의 타입 정보가 동일한지 비교한다(S80).
만일 상기 Type T 와 상기 i 번째 참조 영상의 타입이 동일한 경우에는(S80의 Yes) 먼저 일치하는 타입 정보, 즉, 상기 Type T 가 숏텀 레퍼런스 타입인지를 판별한다(S90). 이 경우, 상기 Type T 가 숏텀 레퍼런스 타입이라면(S90의 Yes), 상기 시간적 이웃 블록의 움직임 벡터를 상기 i 번째 참조 영상(상기 Type T와 동일한 타입의 참조 영상)에 대해 스케일링한 후(S100), 현재 블록을 부호화하기 위한 머지 모드의 움직임 벡터로 사용한다(S130). 그렇지 않고, 상기 일치하는 타입 정보(Type_T)가 롱텀 레퍼런스 타입이라면(S90의 No), 별도의 스케일링 과정이 없이, 상기 시간적 이웃 블록의 움직임 벡터를 상기 i 번째 참조 영상에 대한 움직임 벡터로 고려하고, 이를 현재 블록을 머지 모드로 부호화하기 위한 움직임 벡터의 후보로 사용한다(S110).
이와 같이, 획득된 움직임 벡터들은 머지 후보로 이용될 수 있다(S130). 만일 현재 영상의 참조 영상 리스트 내의 어떠한 영상도 상기 시간적 이웃 블록의 참조 영상과 타입이 같지 않다면, 상기 시간적 이웃 블록의 움직임 벡터는 현재 블록을 위한 머지 모드 과정에서 사용되지 않는다(S120).
상기 시간적 이웃 블록의 움직임 벡터를 머지 모드로 사용하지 않는 경우(S120), 머지 모드 수행을 위한 후보 움직임 벡터로 기 설정된 값을 이용할 수 있으며, 예를 들면, (0,0)을 사용할 수 있다. 이 경우, 타겟 참조 영상은 현재 영상의 참조 영상 리스트 내의 인덱스 0이 가리키는 참조 영상으로 설정할 수 있다.
도 12를 참조하면, 시간적 이웃 블록(65)의 움직임 벡터(ColMV)가 참조하는 참조 영상은 롱-텀 참조 영상 타입일 수 있다. 이러한 경우, 종래의 방법에 따르면, 현재 영상의 참조 영상 리스트의 0번 인덱스 영상이 숏-텀 참조 영상 타입이면 상기 움직임 벡터는 현재 블록의 머지 모드 부호화를 위한 움직임 벡터로 이용될 수 없다. 그러나, 본 발명의 일 실시예에 따르면, 상기 움직임 벡터가 참조하는 참조 영상과 상기 현재 영상의 참조 영상 리스트의 0번 인덱스 영상의 타입이 상이한 경우, 상기 움직임 벡터의 스케일링을 위한 타겟 참조 영상으로서 상기 참조 영상 리스트 내의 상기 움직임 벡터가 참조하는 참조 영상과 동일한 타입을 갖는 참조 영상을 설정할 수 있다.
예를 들어, 대응 블록(65) 내의 T0 위치 또는 우측 하단 위치 T1의 움직임 벡터 ColMV가 롱-텀 타입의 참조 영상인 POC=45의 영상을 참조하고, 현재 블록(60)의 참조 영상 리스트 내에 롱-텀 타입의 참조 영상이 존재하는 경우에는 상기 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 생성하기 위하여 이용되는 타겟 참조 영상의 인덱스는 0(POC=98) 에서 3(POC=0)으로 변경될 수 있다. 만일 상기 움직임 벡터의 참조 영상의 타입과 동일한 타입의 참조 영상이 상기 참조 영상 리스트(67) 내에 적어도 두 개 이상 존재하는 경우에는, 상기 타겟 참조 영상으로서 인덱스 값이 가장 작은 참조 영상이 설정될 수 있다.
일 실시예에서, 상기 움직임 벡터의 참조 영상의 타입이 롱텀 타입이고, 상기 참조 영상 리스트(67) 내에 롱텀 타입인 참조 영상이 존재할 경우, 상기 움직임 벡터는 스케일링 되지 않고 그대로 사용될 수 있으며, 이때, 참조 영상만 상기 참조 영상 리스트 내의 해당 참조 영상으로 변경될 수 있다. 만약, 상기 참조 영상 리스트 내에 복수개의 롱텀 타입 참조 영상들이 존재한다면, 가장 작은 인덱스 번호가 할당된 참조 영상을 타겟 영상으로 설정할 수 있다.
일 실시예에서, 상기 움직임 벡터의 참조 영상의 타입이 숏텀 타입이고, 상기 참조 영상 리스트(67) 내에 숏텀 타입인 참조 영상이 복수개가 존재할 경우, 가장 작은 인덱스 번호가 할당된 참조 영상을 타겟 영상으로 설정할 수 있으며, 이때, 상기 움직임 벡터는 선택된 타겟 영상을 대상으로 스케일링 되어 사용될 수 있다. 또한, 상기 움직임 벡터의 참조 영상의 타입이 상기 참조 영상 리스트(67) 내의 모든 참조 영상들의 타입들과 일치하지 않는다면, 상기 움직임 벡터는 현재 블록을 머지 모드로 부호화하는 과정에서 사용되지 않는다. 이 경우 머지 모드를 수행하기 위한 후보 움직임 벡터로 기 설정된 값을 이용할 수 있으며, 예를 들면, (0,0)이 사용될 수 있으며, 이때 타겟 참조 영상은 현재 영상의 참조 영상 리스트(67) 내에서 가장 작은 인덱스로 가리키는 참조 영상으로 설정할 수 있다.
그러나, 이러한 타겟 참조 영상을 설정하는 방법은 이에 제한되지 아니하며, 상기 움직임 벡터의 참조 영상의 타입과 동일한 타입의 참조 영상을 상기 타겟 참조 영상으로 설정하는 것이면 무방하다.
이와 같이 본 발명의 일 실시예에 따른 타겟 참조 영상의 설정 방법은, 시간적 이웃 블록의 참조 영상의 타입과 동일한 영상 타입을 갖는 현재 블록의 참조 영상 리스트 중의 참조 영상을 타겟 참조 영상으로 이용함으로써, 현재 블록을 효과적으로 코딩할 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (17)

  1. 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득하는 단계;
    현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 단계;
    상기 현재 블록의 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 확인하는 단계;
    상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 여부에 따라, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하기 위한 타겟 참조 영상을 설정하는 단계를 포함하는 비디오 신호의 복호화 방법.
  2. 제 1 항에 있어서,
    상기 타겟 참조 영상을 설정하는 단계는,
    상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되는 경우, 상기 참조 영상 정보를 상기 타겟 참조 영상으로 설정하는 비디오 신호의 복호화 방법.
  3. 제 1 항에 있어서,
    상기 타겟 참조 영상을 설정하는 단계는,
    상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되지 아니하는 경우, 상기 참조 영상 리스트 중 가장 작은 인덱스를 갖는 참조 영상을 상기 타겟 참조 영상으로 설정하는 비디오 신호의 복호화 방법.
  4. 제 1 항에 있어서,
    현재 블록을 적어도 두 개 이상의 서브 블록들로 분할하는 단계;
    상기 서브 블록의 공간적 이웃 블록의 움직임 벡터를 획득하는 단계;
    상기 타겟 참조 영상을 이용하여 상기 시간적 이웃 블록의 움직임 벡터를 스케일링 하는 단계; 및
    상기 공간적 이웃 블록의 움직임 벡터 및 상기 스케일링된 시간적 이웃 블록의 움직임 벡터를 이용하여 상기 서브 블록의 움직임 벡터를 생성하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  5. 제 4 항에 있어서,
    상기 타겟 참조 영상을 설정하는 단계는,
    상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되는 경우, 상기 참조 영상 정보를 상기 타겟 참조 영상으로 설정하는 비디오 신호의 복호화 방법.
  6. 제 4 항에 있어서,
    상기 타겟 참조 영상을 설정하는 단계는,
    상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되지 아니하는 경우, 상기 참조 영상 리스트에 포함된 상기 공간적 이웃 블록의 참조 영상 정보 중 더 작은 인덱스를 갖는 참조 영상 정보를 상기 타겟 참조 영상으로 설정하는 비디오 신호의 복호화 방법.
  7. 머지 모드의 머지 후보를 획득하는 방법에 있어서,
    상기 머지 모드의 최대 머지 후보의 개수를 나타내는 최대 머지 개수 정보를 획득하는 단계;
    현재 블록의 시간적 이웃 블록의 움직임 벡터 및 공간적 이웃 블록의 움직임 벡터 중 적어도 하나 이상을 이용하여 상기 현재 블록의 머지 후보를 획득하는 단계;
    상기 획득된 머지 후보의 개수와 상기 최대 머지 개수 정보의 개수를 비교하는 단계; 및
    상기 획득된 머지 후보의 개수가 상기 최대 머지 개수 정보의 개수보다 적은 경우, 상기 획득된 머지 후보를 스케일링하여 잔여 머지 후보를 획득하는 단계를 포함하는 비디오 신호의 복호화 방법.
  8. 제 7 항에 있어서,
    상기 잔여 머지 후보를 획득하는 단계는,
    상기 획득된 머지 후보를 타겟 참조 영상을 이용하여 스케일링하고,
    상기 타겟 참조 영상은 상기 획득된 머지 후보의 참조 영상과 상이하며, 상기 참조 영상 리스트 중 가장 작은 인덱스를 갖는 참조 영상인 비디오 신호의 복호화 방법.
  9. 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트를 획득하는 단계;
    현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 단계;
    상기 현재 블록의 시간적 이웃 블록의 참조 영상의 타입과 상기 참조 영상 리스트의 작은 인덱스를 갖는 참조 영상의 타입이 동일한지 여부를 확인하는 단계;
    상기 참조 영상의 타입이 동일한 경우, 상기 시간적 이웃의 참조 영상의 타입과 동일한 타입의 참조 영상을 타겟 참조 영상으로 설정하는 단계; 및
    상기 참조 영상의 타입이 상이한 경우, 상기 참조 영상 리스트의 인덱스를 하나씩 증가시켜 상기 참조 영상 리스트 내의 참조 영상과 상기 시간적 이웃 블록의 참조 영상의 타입이 동일한지 여부를 판단하는 단계를 포함하는 비디오 신호의 복호화 방법.
  10. 제 9 항에 있어서,
    상기 동일한 타입의 참조 영상은 상기 시간적 이웃의 참조 영상의 타입과 동일한 타입의 참조 영상들 중 가장 작은 인덱스를 갖는 참조 영상인 비디오 신호의 복호화 방법.
  11. 제 9 항에 있어서,
    상기 시간적 이웃 블록의 참조 영상의 타입과 상기 참조 영상 리스트의 작은 인덱스를 갖는 참조 영상의 타입이 동일한 경우,
    상기 시간적 이웃 블록의 참조 영상의 타입이 숏텀 참조 영상인지 여부를 판단하는 단계;
    상기 시간적 이웃 블록의 참조 영상의 타입이 숏텀 참조 영상인 경우,
    상기 시간적 이웃 블록의 움직임 벡터를 위한 상기 타겟 참조 영상으로서 상기 참조 영상 리스트의 동일한 타입의 참조 영상을 설정하는 단계;
    상기 동일한 타입의 참조 영상을 이용하여 상기 시간적 이웃 블록의 움직임 벡터를 스케일링함으로써 머지 후보로 이용하는 단계; 및
    상기 시간적 이웃 블록의 참조 영상의 타입이 롱텀 참조 영상인 경우, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하지 아니하고 그대로 상기 현재 블록의 머지 후보로 이용하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  12. 제 9 항에 있어서,
    상기 참조 영상의 타입이 동일한지 여부를 판단함으로써, 상기 참조 영상의 타입이 상기 참조 영상 리스트의 모든 참조 영상의 타입과 상이한 경우, 상기 현재 블록의 움직임 벡터로서 기 설정된 값을 할당하는 단계를 더 포함하는 비디오 신호의 복호화 방법.
  13. 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트 및 상기 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 영상 정보 획득부;
    상기 현재 블록의 참조 영상 리스트에 상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 확인하는 참조 영상 정보 판별부;
    상기 시간적 이웃 블록의 참조 영상 정보가 포함되는지 여부에 따라, 상기 시간적 이웃 블록의 움직임 벡터를 스케일링하기 위한 타겟 참조 영상을 설정하는 타겟 참조 영상 설정부를 포함하는 비디오 신호의 복호화 장치.
  14. 제 13 항에 있어서,
    상기 타겟 참조 영상 설정부는 상기 시간적 이웃 블록의 참조 영상 정보가 상기 참조 영상 리스트에 포함되는 경우, 상기 참조 영상 정보가 나타내는 참조 영상을 상기 타겟 참조 영상으로 설정하는 비디오 신호의 복호화 장치.
  15. 제 13 항에 있어서,
    상기 현재 블록을 적어도 두 개 이상의 서브 블록들로 분할하는 블록 분할부;
    상기 서브 블록의 공간적 이웃 블록의 움직임 벡터를 획득하고, 상기 시간적 이웃 블록의 움직임 벡터를 상기 타겟 참조 영상을 이용하여 스케일링 하는 움직임 벡터 획득부; 및
    상기 공간적 이웃 블록의 움직임 벡터 및 상기 시간적 이웃 블록의 움직임 벡터를 이용하여 상기 서브 블록의 움직임 벡터를 생성하는 움직임 벡터 생성부를 더 포함하는 비디오 신호의 복호화 장치.
  16. 머지 모드의 머지 후보를 획득하는 장치에 있어서,
    상기 머지 모드의 최대 머지 후보의 개수를 나타내는 최대 머지 개수 정보를 획득하고, 현재 블록의 시간적 이웃 블록의 움직임 벡터 및 공간적 이웃 블록의 움직임 벡터 중 적어도 하나 이상을 이용하여 상기 현재 블록의 머지 후보를 획득하는 머지 후보 획득부; 및
    상기 획득된 머지 후보의 개수와 상기 최대 머지 개수 정보의 개수를 비교하고, 상기 획득된 머지 후보의 개수가 상기 최대 머지 개수 정보의 개수보다 적은 경우, 상기 획득된 머지 후보를 스케일링하여 잔여 머지 후보를 획득하는 잔여 머지 후보 획득부를 포함하는 비디오 신호의 복호화 장치.
  17. 현재 블록의 적어도 하나 이상의 참조 영상 정보를 나타내는 참조 영상 리스트, 및 현재 블록의 시간적 이웃 블록의 움직임 벡터와 상기 시간적 이웃 블록의 참조 영상 정보를 획득하는 정보 획득부;
    상기 현재 블록의 시간적 이웃 블록의 참조 영상의 타입과 상기 참조 영상 리스트의 작은 인덱스를 갖는 참조 영상의 타입이 동일한지 여부를 확인하는 타입 판별부; 및
    상기 참조 영상의 타입이 동일한 경우, 상기 시간적 이웃의 참조 영상의 타입과 동일한 타입의 참조 영상을 타겟 참조 영상으로 설정하는 타겟 참조 영상 설정부를 포함하고,
    상기 참조 영상의 타입이 상이한 경우, 상기 참조 영상 리스트의 인덱스를 하나씩 증가시켜 상기 참조 영상 리스트 내의 참조 영상과 상기 시간적 이웃 블록의 참조 영상의 타입이 동일한지 여부를 판단하는 비디오 신호의 복호화 장치.
PCT/KR2017/010699 2016-10-06 2017-09-27 비디오 신호의 복호화 방법 및 이의 장치 WO2018066874A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/339,483 US20190313112A1 (en) 2016-10-06 2017-09-27 Method for decoding video signal and apparatus therefor
CN201780075648.7A CN110050467A (zh) 2016-10-06 2017-09-27 视频信号的解码方法及其装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0129138 2016-10-06
KR20160129138 2016-10-06
KR1020170122651A KR102435500B1 (ko) 2016-10-06 2017-09-22 비디오 신호의 복호화 방법 및 이의 장치
KR10-2017-0122651 2017-09-22

Publications (1)

Publication Number Publication Date
WO2018066874A1 true WO2018066874A1 (ko) 2018-04-12

Family

ID=61831043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010699 WO2018066874A1 (ko) 2016-10-06 2017-09-27 비디오 신호의 복호화 방법 및 이의 장치

Country Status (1)

Country Link
WO (1) WO2018066874A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021516502A (ja) * 2018-06-27 2021-07-01 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置
CN113507612A (zh) * 2019-01-03 2021-10-15 深圳市大疆创新科技有限公司 视频处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113583A (ko) * 2010-04-09 2011-10-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20140018953A (ko) * 2011-05-31 2014-02-13 파나소닉 주식회사 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
KR20150138352A (ko) * 2013-04-02 2015-12-09 브이아이디 스케일, 인크. 스케일러블 비디오 코딩용의 향상된 시간적 움직임 벡터 예측
KR20150146471A (ko) * 2012-07-02 2015-12-31 삼성전자주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치
KR101635111B1 (ko) * 2014-05-15 2016-06-30 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113583A (ko) * 2010-04-09 2011-10-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20140018953A (ko) * 2011-05-31 2014-02-13 파나소닉 주식회사 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
KR20150146471A (ko) * 2012-07-02 2015-12-31 삼성전자주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치
KR20150138352A (ko) * 2013-04-02 2015-12-09 브이아이디 스케일, 인크. 스케일러블 비디오 코딩용의 향상된 시간적 움직임 벡터 예측
KR101635111B1 (ko) * 2014-05-15 2016-06-30 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021516502A (ja) * 2018-06-27 2021-07-01 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置
JP7141463B2 (ja) 2018-06-27 2022-09-22 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置
JP2022168139A (ja) * 2018-06-27 2022-11-04 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置
US11653004B2 (en) 2018-06-27 2023-05-16 Lg Electronics Inc. Method for processing image on basis of inter-prediction mode and device therefor
JP7395683B2 (ja) 2018-06-27 2023-12-11 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法およびそのための装置
CN113507612A (zh) * 2019-01-03 2021-10-15 深圳市大疆创新科技有限公司 视频处理方法和装置

Similar Documents

Publication Publication Date Title
WO2018174402A1 (ko) 영상 코딩 시스템에서 변환 방법 및 그 장치
WO2018062921A1 (ko) 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2017043786A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2013069975A1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2018056603A1 (ko) 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2017034331A1 (ko) 영상 코딩 시스템에서 크로마 샘플 인트라 예측 방법 및 장치
WO2018070632A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2013032074A1 (ko) 머지 모드 움직임 정보 복호화 장치
US20190313112A1 (en) Method for decoding video signal and apparatus therefor
WO2011149291A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2019045445A1 (ko) 타일 구조의 구성 방법 및 이의 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2019112071A1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2017048008A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2016085229A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018056602A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2018062699A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2018066791A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2018128222A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2017052272A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2018212430A1 (ko) 영상 코딩 시스템에서 주파수 도메인 필터링 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858668

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858668

Country of ref document: EP

Kind code of ref document: A1