WO2011149291A2 - 비디오 신호의 처리 방법 및 장치 - Google Patents

비디오 신호의 처리 방법 및 장치 Download PDF

Info

Publication number
WO2011149291A2
WO2011149291A2 PCT/KR2011/003876 KR2011003876W WO2011149291A2 WO 2011149291 A2 WO2011149291 A2 WO 2011149291A2 KR 2011003876 W KR2011003876 W KR 2011003876W WO 2011149291 A2 WO2011149291 A2 WO 2011149291A2
Authority
WO
WIPO (PCT)
Prior art keywords
unit
prediction
value
current unit
motion vector
Prior art date
Application number
PCT/KR2011/003876
Other languages
English (en)
French (fr)
Other versions
WO2011149291A3 (ko
Inventor
임재현
김정선
박승욱
성재원
전병문
박준영
전용준
최영희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020217008798A priority Critical patent/KR102344855B1/ko
Priority to CN201180026053.5A priority patent/CN102934440B/zh
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020197021418A priority patent/KR102108078B1/ko
Priority to KR1020177026701A priority patent/KR101873767B1/ko
Priority to KR1020187018137A priority patent/KR102004836B1/ko
Priority to KR1020207012433A priority patent/KR102233820B1/ko
Priority to KR1020127033166A priority patent/KR101782929B1/ko
Priority to KR1020217042452A priority patent/KR102439252B1/ko
Publication of WO2011149291A2 publication Critical patent/WO2011149291A2/ko
Publication of WO2011149291A3 publication Critical patent/WO2011149291A3/ko
Priority to US13/685,116 priority patent/US9042450B2/en
Priority to US13/772,144 priority patent/US9020032B2/en
Priority to US14/690,660 priority patent/US9407930B2/en
Priority to US15/217,687 priority patent/US10491892B2/en
Priority to US16/694,769 priority patent/US11057618B2/en
Priority to US17/342,033 priority patent/US12028511B2/en
Priority to US18/608,059 priority patent/US20240223752A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a method and apparatus for processing a video signal, and more particularly, to a video signal processing method and apparatus for encoding or decoding a video signal.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or for storing in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • Compression coding on a video signal is performed by removing redundant information in consideration of spatial correlation, temporal correlation, and stochastic correlation.
  • inter-screen prediction obtains a unit prediction value through a reference unit indicated by the motion vector of the current unit, and uses the same to decode the current unit. As the accuracy of the unit prediction value increases, The information transmitted can be reduced.
  • the image prediction accuracy may decrease and the prediction efficiency may decrease according to the characteristics of the image.
  • the information of the reference unit is increased for more accurate image prediction, the information transmitted for this purpose is increased.
  • the present invention has been devised to solve the above requirements, and has as its object to improve the accuracy of image prediction by obtaining a plurality of reference units for image prediction of a current unit and combining them to obtain a unit prediction value.
  • the present invention provides a method of deriving various reference units using a motion vector prediction value or a motion vector used for existing inter-screen prediction, and a method of combining the reference units to obtain a prediction value of a current unit. It has a purpose to provide.
  • Another object of the present invention is to provide a method for performing image prediction using a plurality of reference units even in a merge mode of inter prediction.
  • another object of the present invention is to provide a method for storing motion information of a unit that performs a merge mode using a plurality of reference units for decoding of a next unit.
  • the prediction value of the current unit is obtained by combining a plurality of reference units and decoding is performed using the reference unit, the accuracy of image prediction can be improved. Accordingly, the amount of information transmitted for the restoration of the video signal can be reduced.
  • FIG. 1 is a schematic block diagram of a video signal encoder apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a video signal decoder device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of splitting a coding unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an embodiment of a method for hierarchically representing the partition structure of FIG. 3.
  • FIG. 5 is a diagram illustrating a partitioning form into various sub-prediction units within a prediction unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a spatial neighbor unit of a current unit.
  • FIG. 7 is a diagram illustrating a temporal neighboring unit of a current unit.
  • FIG. 8 is a diagram illustrating a motion vector prediction value of a current unit and a reference unit indicated by a motion vector, respectively.
  • FIG. 9 is a diagram illustrating a method of scaling a motion vector according to a temporal distance between frames.
  • 10 to 12 are flowcharts illustrating a process of obtaining a prediction value of a current unit by combining a plurality of reference units according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an embodiment of a neighbor unit that may be merged with a current unit.
  • FIG. 14 illustrates an embodiment for acquiring whether to merge with one neighbor unit among two neighboring units of FIG. 13 through a flag value.
  • 15 is a diagram illustrating reference units that may be used for multi-guess merge of a current unit.
  • 16 illustrates an embodiment for obtaining a combination of neighboring units used for multi-guess merge through an index value.
  • FIG. 17 schematically illustrates a temporal distance between a current frame and reference frames.
  • 19 shows a current unit having as a neighboring unit a unit that has performed multi-guess merge.
  • a method of processing a video signal includes: determining whether a current unit performs multi-guessing inter prediction; When the current unit performs multi-guessing inter prediction, obtaining a plurality of reference units for inter prediction; Combining the obtained plurality of reference units to obtain a prediction value of a current unit; And reconstructing a pixel value of the current unit by using the prediction value of the current unit. It includes, but the multi-inference inter prediction is characterized in that a combination of a plurality of reference units to use as a prediction value of the current unit.
  • the obtaining of the plurality of reference units for inter-screen prediction may include: a motion vector prediction value and a motion vector value for the L0 prediction direction of the current unit, a motion vector prediction value and a motion vector value for the L1 prediction direction of the current unit; It can be obtained through a combination of the reference units obtained by.
  • the obtaining of the plurality of reference units for the inter prediction may be obtained through a combination of the reference units obtained by the motion vector value of the current unit and the scaled motion vector value of the motion vector.
  • the method includes: obtaining a merge flag indicating whether a current unit uses a merge mode; If the merge flag indicates that the current unit is a merge mode and the number of valid merge candidate units is greater than 1, obtaining an index value indicating a combination of neighboring units to be used for merging; Obtaining a plurality of reference units to be used for multi-guess merge using the motion information of the selected neighboring units based on the index value; Combining the obtained plurality of reference units to obtain a prediction value of a current unit; And reconstructing a pixel value of the current unit by using the prediction value of the current unit. It includes, but the multi-inference merge is characterized in that to obtain the respective reference units using the motion information of a plurality of neighboring units, and to combine the reference units to use as a prediction value of the current unit.
  • the obtaining of the prediction value of the current unit may be obtained as the prediction value of the current unit by averaging the image values of the reference units.
  • the obtaining of the prediction value of the current unit may be performed by applying a weight that is inversely proportional to the temporal distance between the reference units and the current frame to the image value of each reference unit and linearly combining them to obtain the prediction value of the current unit. have.
  • Coding can be interpreted as encoding or decoding in some cases, and information is a term that includes values, parameters, coefficients, elements, and the like. May be interpreted otherwise, the present invention is not limited thereto.
  • 'Unit' is used to mean a basic unit of image processing or a specific position of an image, and in some cases, may be used interchangeably with terms such as 'block', 'partition' or 'region'.
  • a unit may be used as a concept including a coding unit, a prediction unit, and a transform unit.
  • the encoding apparatus 100 of the present invention is largely composed of a transformer 110, a quantizer 115, an inverse quantizer 120, an inverse transformer 125, a filter 130, and a predictor ( 150 and the entropy coding unit 160.
  • the converter 110 obtains a transform coefficient value by converting a pixel value of the input video signal.
  • Discrete Cosine Transform DCT
  • Wavelet Transform DCT
  • the discrete cosine transform divides the input image signal into blocks having a predetermined size and performs the conversion.
  • the coding efficiency may vary depending on the distribution and the characteristics of the values in the transform domain.
  • the quantization unit 115 quantizes the transform coefficient value output from the transform unit 110.
  • the inverse quantization unit 120 inverse quantizes the transform coefficient value, and the inverse transform unit 125 restores the original pixel value by using the inverse quantized transform coefficient value.
  • the filtering unit 130 performs a filtering operation for improving the quality of the reconstructed image.
  • a deblocking filter and an adaptive loop filter may be included.
  • the filtered image is stored in the storage unit 156 for output or use as a reference image.
  • a method of predicting an image by using an already coded region and adding a residual value between the original image and the predicted image to a reconstructed image is used instead of coding the image signal as it is.
  • the intra predictor 152 performs intra prediction within the current image
  • the inter predictor 154 predicts the current image using the reference image stored in the storage 156.
  • the intra prediction unit 152 performs intra prediction from the reconstructed regions in the current image, and transmits the intra encoding information to the entropy coding unit 160.
  • the inter predictor 154 may further include a motion compensator 162 and a motion estimator 164.
  • the motion estimator 164 obtains a motion vector value of the current region by referring to the restored specific region.
  • the motion estimator 164 transmits the position information (reference frame, motion vector, etc.) of the reference region to the entropy coding unit 160 so that the motion estimation unit 164 may be included in the bitstream.
  • the motion compensator 162 performs inter-screen motion compensation by using the motion vector value transmitted from the motion estimator 164.
  • the entropy coding unit 160 entropy codes the quantized transform coefficients, inter picture encoding information, intra picture encoding information, and reference region information input from the inter prediction unit 154 to generate a video signal bitstream.
  • the entropy coding unit 160 may use a variable length coding (VLC) method, arithmetic coding, or the like.
  • VLC variable length coding
  • the variable length coding (VLC) scheme converts input symbols into consecutive codewords, which may have a variable length. For example, frequently occurring symbols are represented by short codewords and infrequently occurring symbols by long codewords.
  • a context-based adaptive variable length coding (CAVLC) method may be used as a variable length coding method.
  • Arithmetic coding converts consecutive data symbols into a single prime number, which can obtain the optimal fractional bits needed to represent each symbol.
  • Context-based Adaptive Binary Arithmetic Code (CABAC) may be used as arithmetic coding.
  • the decoding apparatus 200 of the present invention largely includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
  • the entropy decoding unit 210 entropy decodes the video signal bitstream and extracts transform coefficients, motion vectors, and the like for each region.
  • the inverse quantization unit 220 inverse quantizes the entropy decoded transform coefficient, and the inverse transform unit 225 restores the original pixel value by using the inverse quantized transform coefficient.
  • the filtering unit 230 performs filtering on the image to improve the image quality. This may include a deblocking filter to reduce block distortion and / or an adaptive loop filter to remove distortion of the entire image.
  • the filtered image is output or stored in the frame storage unit 256 for use as a reference image for the next frame.
  • the predictor 250 of the present invention includes an intra predictor 252 and an inter predictor 254, and includes a coding type decoded by the entropy decoder 210 described above, a transform coefficient for each region, The prediction image is reconstructed by using information such as a motion vector.
  • the intra prediction unit 252 performs the intra prediction from the decoded samples in the current image.
  • the inter predictor 254 estimates a motion vector by using the reference image stored in the frame storage 256 and generates a predicted image.
  • the inter predictor 254 may again include a motion compensator 262 and a motion estimator 264.
  • the motion estimator 264 obtains a motion vector indicating a relationship between a current block and a reference block of a reference frame used for coding and transfers the motion vector to the motion compensator 262.
  • the predicted value output from the intra predictor 252 or the inter predictor 254 and the pixel value output from the inverse transform unit 225 are added to generate a reconstructed video frame.
  • a coding unit is a process such as intra / inter prediction, transform, quantization and / or entropy coding in the processing of the video signal described above. Means the basic unit for processing the image. The size of the coding unit used to code one image may not be constant. The coding unit may have a rectangular shape, and one coding unit may be further divided into several coding units.
  • FIG. 3 illustrates an example of splitting a coding unit according to an embodiment of the present invention.
  • one coding unit having a size of 2N ⁇ 2N may be divided into four coding units having a size of N ⁇ N.
  • the splitting of such coding units can be done recursively, and not all coding units need to be split in the same form.
  • FIG. 4 illustrates an embodiment of a method for hierarchically representing a division structure of a coding unit illustrated in FIG. 3 using 0 and 1.
  • FIG. Information indicating whether a coding unit is divided may be allocated to a value of '1' when the corresponding unit is divided and '0' when it is not divided.
  • a flag value indicating whether to split is 1, a coding unit corresponding to a corresponding node is divided into 4 coding units, and when 0, a processing process for the coding unit is performed without being divided further. Can be.
  • the coding unit may not necessarily be divided into four forward regions.
  • a code for a predetermined partitioning scheme may be mapped to the partitioning information. For example, if the information value is 1, the coding unit is divided into two horizontal rectangular sub-coding units, if 2, the coding unit is divided into two vertical rectangular sub-coding units, and 3 is four square sub-coding units. It can also be set to divide by.
  • Such a method shows some embodiments of a division method, and does not limit the present invention.
  • the structure of the coding unit described above may be represented using a recursive tree structure. That is, a coding unit split into another coding unit with one picture or maximum size coding unit as a root has as many child nodes as the number of split coding units. Thus, coding units that are no longer split become leaf nodes. Assuming that only square division is possible for one coding unit, one coding unit may be divided into up to four other coding units, so the tree representing the coding unit may be in the form of a quad tree.
  • an optimal coding unit size may be selected according to the characteristics (eg, resolution) of the video image or in consideration of coding efficiency, and information about the coding unit may be included in the bitstream. For example, the size of the largest coding unit and the maximum depth of the tree can be defined. In the case of square division, since the height and width of the coding unit are half the height and width of the coding unit of the parent node, the minimum coding unit size can be obtained using the above information. Alternatively, the minimum coding unit size and the maximum depth of the tree may be defined in advance, and the maximum coding unit size may be derived and used if necessary. Since the size of the unit changes in a multiple of 2 in square division, the size of the actual coding unit is represented by a logarithm of the base of 2, thereby improving transmission efficiency.
  • the decoder may obtain information indicating whether the current coding unit is split. This information can be obtained only if the information is obtained (transmitted) under certain conditions, thereby increasing efficiency.
  • the condition that the current coding unit can be divided is information indicating whether the current coding unit size is divided in this case because the current coding unit size is smaller than the picture size and the current unit size is larger than the preset minimum coding unit size. Can be obtained.
  • the size of the coding unit to be split is half of the current coding unit, and is split into four square coding units based on the current processing position. The above process can be repeated for each divided coding units.
  • Picture prediction (motion compensation) for coding is directed to coding units (i.e. leaf nodes of the coding unit tree) that are no longer divided.
  • the basic unit for performing such prediction is hereinafter referred to as a prediction unit or a prediction block.
  • the prediction unit may be divided into various forms, and may be divided into symmetrical forms such as squares, rectangles, sub-prediction units of asymmetrical forms, or geometrical forms.
  • one prediction unit may not be split (2Nx2N) or may be divided into sub-prediction units of size NxN, 2NxN, Nx2N, etc. as shown in FIG.
  • the possible division forms of the prediction unit may be defined differently in the intra coding unit and the inter coding unit.
  • the bitstream may include information about whether the prediction unit is divided or in what form. Or this information may be derived from other information.
  • the term unit as used herein may be used as a term to replace the prediction unit or the sub-prediction unit, which is a basic unit for performing prediction.
  • the present invention is not limited thereto and may be broadly understood as a concept including the coding unit.
  • the decoded portion of the current picture or other pictures in which the current unit is included may be used to reconstruct the current unit in which decoding is performed.
  • a picture using a predictive picture or a P picture (slice), up to two motion vectors, and a reference index (slice) is called a bi-predictive picture or a B picture (slice).
  • the intra prediction unit performs intra prediction to predict the pixel value of the target unit from the reconstructed regions in the current picture.
  • the pixel value of the current unit can be predicted from the encoded pixels of units located at the top, left, top left and / or top right with respect to the current unit.
  • the intra mode may be divided into vertical, horizontal, DC, and angular modes according to the direction and prediction method of the reference region where the reference pixels used for pixel value prediction are located.
  • the vertical mode is used as the prediction value of the current unit by referring to the value of the vertically adjacent area of the target unit
  • the horizontal mode is used as the prediction value by referring to the value of the horizontally adjacent area.
  • the DC mode the average value of the reference regions is used as a prediction value.
  • the reference region is located in an arbitrary direction and may indicate the corresponding direction by an angle between the current pixel and the reference pixel.
  • a predetermined angle and prediction mode number may be used, and the number of angles used may vary depending on the size of the target unit.
  • the prediction mode may be transmitted as a value indicating the mode itself, but in order to increase transmission efficiency, a method of predicting a prediction mode value of the current unit may be used.
  • the decoder may acquire the prediction mode of the current unit using information using whether the prediction value for the prediction mode is used as it is or how much the difference with the actual value is.
  • the inter prediction unit performs inter prediction for predicting a pixel value of a target unit by using information of other reconstructed pictures other than the current picture.
  • a picture used for prediction is referred to as a reference picture.
  • Which reference region is used to predict the current unit in the inter prediction process may be indicated by using an index indicating a reference picture including the reference region, motion vector information, and the like.
  • the inter prediction may include forward direction prediction, backward direction prediction, and bi-prediction.
  • Forward prediction is prediction using one reference picture displayed (or output) before the current picture in time
  • backward prediction means prediction using one reference picture displayed (or output) after the current picture in time.
  • one motion information eg, a motion vector and a reference picture index
  • up to two reference regions may be used, and these two reference regions may exist in the same reference picture or may exist in different pictures, respectively. That is, in the pair prediction method, up to two motion information (eg, a motion vector and a reference picture index) may be used.
  • the two motion vectors may have the same reference picture index or may have different reference picture indexes. .
  • the reference pictures may be displayed (or output) before or after the current picture in time.
  • the motion information of the current unit may include motion vector information and a reference picture index.
  • the motion vector information may include a motion vector, a motion vector prediction (mvp), a motion vector difference (mvd), or mean index information for specifying the motion vector prediction value.
  • the differential motion vector means a difference value between the motion vector and the motion vector prediction value.
  • the reference unit of the current unit may be obtained using the motion vector and the reference picture index.
  • the reference unit exists in a reference picture having the reference picture index.
  • a pixel value or an interpolated value of a unit specified by the motion vector may be used as a predictor of the current unit. That is, using motion information, motion compensation is performed to predict an image of the current unit from a previously decoded picture.
  • a reference picture list may be configured of pictures used for inter prediction for the current picture.
  • two reference picture lists are required, and in the following, each of them is referred to as reference picture list 0 (or L0) and reference picture list 1 (or L1).
  • a method of obtaining a motion vector prediction value mvp by using motion information of previously coded units and transmitting only a difference value mvd thereof may be used.
  • the decoder obtains a motion vector prediction value of the current unit using motion information of other decoded units, and obtains a motion vector value for the current unit using the transmitted difference value.
  • a motion vector competition method may be used in which various motion vector candidate values are obtained using motion information of previously coded units, and one of them is obtained as the motion vector prediction value.
  • the motion vector candidates used for such motion vector competition may include a motion vector of a spatial neighboring unit or a temporal neighboring unit.
  • a spatial neighbor unit refers to units adjacent to the current unit within the same picture as the current unit (see FIG. 6), and a temporal neighbor unit is a unit existing at a position co-located with the current unit in a picture different from the current unit. (See FIG. 7).
  • the motion vector of the spatial neighboring unit a unit selected from the left group, which is a set of neighboring units A 0 , A 1 ,.
  • the motion vector c 'of the unit selected from the corner group which is the set of the fields C, D, and E may be included.
  • median values (median (a ', b', c ')) of the motion vectors a', b ', and c' may be derived, and the median may also be included in the motion vector candidate.
  • the motion vector prediction value of the current unit can be obtained from the motion vector candidates including the motion vector of the spatial neighboring unit and the temporal neighboring unit of the current unit, and the motion vector value for the current unit can be obtained in addition to the transmitted difference value.
  • the current picture (or slice) is a P picture (slice)
  • a motion vector prediction value and a motion vector for a prediction direction (reference picture list) of either L0 or L1 may be obtained, and the current picture (or slice) may be obtained.
  • the motion vector prediction value and the motion vector for the prediction directions of both L0 and L1 can be obtained.
  • a reference unit for image prediction of the current unit may be obtained using the obtained motion vector prediction value and the motion vector of the current unit.
  • a reference unit obtained through the motion vector prediction value mvp of the current unit is called Pred_a, and a motion vector mv obtained by adding the motion vector prediction value mvp and the motion vector difference value mvd is obtained. If the reference unit obtained through Pred_b is used, the following reference unit candidates may be used for image prediction of the current unit.
  • Pred_a for L0 prediction
  • Pred_a for L1 prediction
  • Pred_a for pair prediction
  • Pred_b for L0 prediction
  • Pred_b for L1 prediction
  • Pred_b for pair prediction
  • Pred_a in skip / direct mode.
  • Pred_a for pair prediction can be obtained by averaging Pred_a for L0 prediction and Pred_a for L1 prediction
  • Pred_b for pair prediction can be obtained by averaging Pred_b for L0 prediction and Pred_b for L1 prediction.
  • Pred_a of the skip / direct mode may use Pred_a for L0 or L1 prediction of the corresponding picture (slice), and the current unit is a B picture (or slice).
  • Pred_a for L0 prediction and Pred_a for L1 prediction may be obtained by averaging. This is because the skip mode or the direct mode transmits only the flag for the corresponding mode without transmitting motion information separately, and thus the motion vector prediction direction of the current unit is not specified.
  • multi-hypothesis inter prediction may be performed using the reference unit candidates.
  • multi-guessing inter prediction is a combination of two or more plurality of reference units to predict an image of a current unit.
  • the present invention may obtain a prediction value of the current unit by combining two or more valid reference unit candidates in a) to g) and perform image prediction using the prediction unit.
  • the prediction value of the current unit can be obtained by combining Pred_a for the L0 prediction and Pred_b for the L0 prediction, and it is also possible to combine Pred_b for the L0 prediction and Pred_b for the pair prediction.
  • the combination of the reference units can be obtained by averaging the pixel values of the respective reference units, and can be added by weighting.
  • the reference unit candidate group for the multi-inference inter prediction may be further extended to use a plurality of motion vectors for each prediction direction of L0 and L1. That is, a plurality of motion vector prediction values and a motion vector can be obtained for each of the L0 and L1 prediction directions from neighboring units of the current unit, and a plurality of reference units can be obtained through the combination of the reference units. You can get it.
  • all valid motion vectors existing in the spatial neighboring unit and the temporal neighboring unit of the current unit may be used as the motion vector prediction value of the current unit. have.
  • a plurality of motion vectors may be obtained by summing the plurality of motion vector prediction values with a motion vector difference value for each transmitted.
  • the reference unit obtained through the motion vector prediction value mvp of the current unit is called Pred_a
  • the reference unit obtained through the motion vector mv obtained by adding the motion vector prediction value mvp and the motion vector difference value mvd is Pred_b. If so, the reference unit candidate for image prediction of the current unit can be extended as follows.
  • Pred_a for one motion information of L0 prediction
  • b' N for L0 prediction
  • Pred_a for zero motion information
  • c ' Pred_b for one motion information for L0 prediction
  • d' N for L0 prediction
  • Pred_b for 0 motion information
  • e ' Pred_a for one motion information of L1 prediction
  • f' Pred_a for N 1 motion information of L1 prediction
  • g ') Pred_b for one motion information of L1 prediction combination
  • h ') Pred_b i for N 1 of the motion prediction information of L1') wherein a ') to h').
  • the combination of the reference units included in the reference unit candidate group may be obtained by averaging pixel values of each reference unit as described above, and may be added by weighting.
  • a motion vector scaling technique may be used to obtain a plurality of reference units for the multi-guess inter prediction.
  • Motion vector scaling refers to a technique of scaling up or scaling down a motion vector according to a temporal distance between reference frames and a current frame.
  • one reference unit may be obtained from different reference frames, and a combination thereof may be performed to perform multi-guessing inter prediction.
  • the decoder can obtain a plurality of reference units using only one motion vector, and combine them to perform more accurate image prediction.
  • mvL0N_scaled which scales mvL0 with respect to another reference frame ref1 may be expressed as follows.
  • mvL0N_scaled mvL0 * (td / tb)
  • tb represents the temporal distance between the current frame and ref0
  • td represents the temporal distance between the current frame and ref1.
  • the temporal distance between each frame can be obtained through the difference of POC (Picture Order Count) values between each frame.
  • the two reference units are obtained after acquiring the first reference unit in the ref0 frame using the motion vector mvL0 of the current unit and acquiring the second reference unit in the ref1 frame using the scaled motion vector mvL0N_scaled of the current unit.
  • the prediction value of the current unit can be obtained.
  • the number of reference units used for multi-guessing inter prediction using motion vector scaling is not limited to two. That is, when the number of reference frames stored in a decoded picture buffer (DPB) is two or more, the number of available reference units may be increased by scaling a motion vector for each frame stored in the DPB.
  • DPB decoded picture buffer
  • a method of combining each reference unit may include: i) averaging image values of each reference unit, ii) a temporal distance between each reference unit and the current frame
  • the multi-prediction inter prediction using the motion vector scaling may use a fixed number of reference units or a variable number of reference units.
  • 10 shows an embodiment of performing multi-guessing inter prediction using a fixed number of reference units.
  • the motion vector difference value is transmitted by coding the motion vector of the current unit as in the conventional inter-screen prediction method, and multi-motion using motion vector scaling.
  • a flag scaling_multi_hypothesys_flag indicating whether prediction between speculative screens is performed may be further transmitted.
  • the decoder obtains the transmitted motion vector difference value (S1010), obtains a motion vector of the current unit, and obtains a reference unit indicated by the motion vector (S1020).
  • the transmitted flag scaling_multi_hypothesys_flag
  • S1030 the transmitted flag
  • the reference unit acquired in step S1020 is set as the prediction value of the current unit (S1070), as in the normal inter-screen prediction.
  • Decoding is performed (S1080). If the flag scaling_multi_hypothesys_flag is 1, additional reference units are acquired according to a preset number (S1050). At this time, the additional reference units scale the motion vectors of the current units according to an embodiment of the present invention. Can be obtained from other frames.
  • the decoder may combine a plurality of reference units including the added reference unit to obtain a prediction value of the current unit (S1060), and use the same to decode the current unit (S1080).
  • multi-guessing inter prediction may be performed using a variable number of reference units, and FIGS. 11 and 12 illustrate embodiments thereof.
  • FIGS. 11 and 12 illustrate embodiments thereof.
  • duplicated descriptions of the same or similar components as those of the embodiment of FIG. 10 will be omitted.
  • a method of separately transmitting the number of reference units used to obtain a prediction value of the current unit may be used. That is, when the value of the flag (scaling_multi_hypothesys_flag) transmitted is 1, a variable (add_predictor_num) indicating the number of additional reference units may be additionally transmitted.
  • the decoder acquires the transmitted variable add_predictor_num (S1150), and additionally obtains a reference unit based on the value of the variable (add_predictor_num) (S1154).
  • the added reference unit may be obtained from different frames by scaling the motion vector of the current unit according to an embodiment of the present invention.
  • the decoder may combine the plurality of reference units including the added reference unit to obtain a prediction value of the current unit (S1160), and use the same to decode the current unit (S1180).
  • scaling_multi_hypothesys_flag when the transmitted flag (scaling_multi_hypothesys_flag) has a value of 1, a method of repeatedly transmitting a flag (add_predictor_flag) indicating whether to add a reference unit may be used.
  • the decoder further acquires a reference unit when the reference unit addition flag (add_predictor_flag) is 1 and one or more valid remaining reference frames of the DPB are obtained (S1254).
  • the reference unit addition process may include a valid reference capable of adding a reference unit in a corresponding prediction direction until the transmitted reference unit addition flag add_predictor_flag is 0 or no more reference units can be added (for example, a corresponding prediction direction). Repeat if the frame no longer remains in the DPB).
  • a prediction value of the current unit may be obtained (S1260), and decoding of the current unit may be performed using this (S1280).
  • the frame selected for the addition of the reference unit among the frames stored in the DPB may be determined according to various priorities. For example, i) the reference index values are selected in low order, or ii) the reference index values closest to the reference index values of the current unit actually transmitted, or iii) the reference index of the current unit actually transmitted is The temporal distance from the pointing reference frame may be selected in a close order.
  • such a method of adding a reference unit using motion vector scaling may be used in combination with a method of combining the motion vector prediction value and the motion vector for the L0 and L1 prediction directions. That is, various reference units can be obtained through motion vector scaling for each motion vector prediction value and the motion vector for the L0 and L1 prediction directions, and image prediction of the current unit can be performed by combining the obtained reference units. have.
  • prediction information (eg, reference index, motion vector, prediction direction, etc.) required for inter prediction of the current unit may not be directly included in a bitstream and transmitted, but may be derived using a neighboring unit.
  • This method has the effect of increasing the compression rate by reducing the number of bits allocated to the prediction information.
  • the prediction information of the neighboring unit coded using the inter prediction may be used as the prediction information of the current unit.
  • this prediction method it is said that the current unit has merged with the neighboring unit which obtained the prediction information, and this prediction method is called a merge mode.
  • the bitstream may include information indicating whether the current unit has been merged (for example, a flag such as merge_flag), and merge information indicating which neighboring unit has been merged (for example, whether or not to merge with a specific neighbor). Flag or index information indicating a specific neighbor). Information indicating which unit is merged can be obtained only when indicating that the current unit is merged (in the above example, merge_flag is TRUE or 1).
  • the current unit X may be merged with the top neighbor unit A or the left neighbor unit B.
  • merge_flag 1402 indicating whether the current unit is merged may be obtained. If the merge_flag is 0, general inter prediction may be performed. If the merge_flag is 1, a merge mode may be performed. In this case, when the merge_flag is 1 and the number of neighbor units valid for merging (NumMergeCandidates) is greater than 1, merge_left_flag 1404 indicating which neighboring unit is merged may be obtained.
  • the merge_left_flag includes information on which direction the neighboring unit is to be merged based on the current unit.
  • the current unit acquires the reference unit by using the motion information of the neighboring unit in which the merging is performed, and performs image prediction using the same.
  • each reference unit in this merge mode, is obtained by using motion information of two or more merged neighboring units, and the combination is used as a prediction value of the current unit. hypothesys merging). That is, in FIG. 15, when both the unit A and the unit B which are the neighboring units of the current unit X are valid (in the inter mode), the motion information of each neighboring unit is applied to the current unit to apply the Ref 0 frame and the Ref.
  • a reference unit may be acquired in one frame, and combined to perform image prediction of the current unit.
  • the neighboring unit to be merged may be variously changed. That is, in the case where the unit C neighboring the upper left corner of the current unit in FIG. 15 is valid, the unit C may also be used for merging together. Alternatively, the unit neighboring the upper right corner of the current unit and the unit neighboring the lower left corner of the current unit may also be included in the merge candidate.
  • merge_mode which is an index value representing a combination of neighboring units to be used for merging
  • merge_flag is 1 and the number of neighbor units valid for merging (NumMergeCandidates) is greater than 1
  • an index value merge_mode 1604 may be obtained, and the neighbor unit selected according to the merge_mode value. Can be combined to perform multi-guessing merging of the current unit.
  • the merge_mode informs which combination of neighboring units to perform merge. For example, when only the top neighboring unit and the left neighboring unit of the current unit are used as merge candidates as shown in FIG. 15, when the merge_mode is 0, the top neighboring unit A is 1, and the left neighboring unit B is 1. If 2, merge with the two neighboring units (A, B).
  • the merge_mode index may be defined differently.
  • the unit prediction value predX of the current unit X can be obtained as follows.
  • predX (predA + predB + 1) >> 1
  • iii) a method of linearly combining by giving weights inversely proportional to the temporal distance between each reference unit and the current frame to the image value of each reference unit. That is, in FIG. 17, when the reference frame of mvA is ref 0 and the reference frame of mvB is ref 1, the temporal distance between the reference frame ref 0 of the neighboring unit A and the current frame is 'd' and The temporal distance between the reference frame ref 1 and the current frame becomes '2d'. Therefore, the weighted value considering the temporal distance can be given to obtain the predicted value predX of the current unit X as follows.
  • predX (2 * predA + predB) / 3
  • motion information for the current unit should be stored for decoding of the next unit.
  • the current unit X which has performed multi-guess merge, merges using the motion information (motion_info (A), motion_info (B)) of two or more neighboring units A and B together. Will be performed.
  • the motion information (motion_info (A), motion_info (B)) of each unit may have different values, and if all the motion information of each different neighboring unit is stored, it should be stored as the multi-guessing merge is performed.
  • Motion information to be performed increases exponentially. Accordingly, the following method may be used to store motion information of the current unit that has performed multi-guess merge.
  • the neighboring unit A of the current unit X is a unit that has performed multi-guess merge
  • the neighboring unit A is used to process motion information of the current unit X. Since it is necessary to refer to motion information of), a method for processing motion information of a corresponding neighboring unit is needed. Accordingly, the following method may be used to refer to motion information of a neighboring unit that has performed multi-guess merge.
  • a ' reference stored motion information according to the method of a) to f) proposed for storing motion information of a unit which has performed multi-guess merge.
  • a neighboring unit that has performed multi-guess merge is considered invalid (e.g., processed in intra mode).
  • c ' refer to motion information of another neighboring unit around a neighboring unit that has performed multi-guessing merging.
  • the decoding / encoding method to which the present invention is applied may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and the computer-readable recording medium may also have multimedia data having a data structure according to the present invention. Can be stored in.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.
  • Embodiments according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller itself.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language.
  • the software code may be stored in a memory and executed by a controller.
  • the present invention can be applied to encoding or decoding a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 비디오 신호를 인코딩 또는 디코딩 하는 방법 및 장치에 관한 것이다. 본 발명에 따르면 영상 예측의 정확도를 높이기 위해, 현재 유닛의 영상 예측을 위한 다수의 참조 유닛들을 획득하고 이들을 조합하여 유닛 예측값을 획득할 수 있다. 특히, 본 발명은 기존의 화면간 예측에 사용되는 모션 벡터 예측값 또는 모션 벡터를 이용하여 다양한 참조 유닛들을 유도해 내는 방법을 제공하고, 현재 유닛의 예측값을 획득하기 위해 상기 참조 유닛들을 조합하는 방법을 제공한다. 또한, 본 발명은 병합 모드에 대해서도 다수의 참조 유닛을 획득하고 이를 조합하여 영상 예측을 수행하는 방법을 제공한다.

Description

비디오 신호의 처리 방법 및 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
비디오 신호의 처리 과정에서 화면간 예측은 현재 유닛의 모션 벡터가 가리키는 참조 유닛을 통해 유닛 예측값을 획득하고, 이를 이용하여 현재 유닛의 디코딩을 수행하게 되는데, 상기 유닛 예측값의 정확도가 높을수록 디코딩을 위해 전송되는 정보가 줄어들 수 있다.
이때, 제한된 참조 유닛을 통해 현재 유닛의 유닛 예측값을 획득하게 되면 영상의 특성에 따라 영상 예측 정확도가 떨어지고, 예측 효율이 떨어지게 될 수 있다. 그러나, 보다 정확한 영상 예측을 위해 참조 유닛의 정보를 늘리게 된다면 오히려 이를 위해 전송되는 정보가 증가하게 되는 문제점이 있다.
따라서, 디코딩이 수행되는 현재 유닛의 영상 예측 정확도를 높이면서도 이를 위해 전송되는 정보의 양을 최소화할 수 있는 효율적인 비디오 신호 처리 방법이 요구된다.
본 발명은 상기와 같은 요구를 해결하기 위해 고안된 것으로서, 현재 유닛의 영상 예측을 위한 다수의 참조 유닛들을 획득하고 이들을 조합하여 유닛 예측값을 획득함으로 영상 예측의 정확도를 높이고자 하는데 그 목적이 있다.
특히, 본 발명은 기존의 화면간 예측에 사용되는 모션 벡터 예측값 또는 모션 벡터를 이용하여 다양한 참조 유닛들을 유도해 내는 방법을 제공하고, 현재 유닛의 예측값을 획득하기 위해 상기 참조 유닛들을 조합하는 방법을 제공하고자 하는 목적을 가지고 있다.
또한, 본 발명은 화면간 예측의 병합 모드에 있어서도 다수의 참조 유닛을 이용한 영상 예측을 수행하는 방법을 제공하고자 하는 목적이 있다.
이에 더하여, 다음 유닛의 디코딩을 위하여, 다수의 참조 유닛을 이용해 병합 모드를 수행한 유닛의 모션 정보를 저장하는 방법을 제공하고자 하는데에도 그 목적이 있다.
본 발명에 따른 비디오 신호 처리 방법에 의하면, 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하고 이를 이용하여 디코딩을 수행하게 되므로 영상 예측의 정확도를 높일 수 있게 된다. 이에 따라 영상 신호의 복원을 위해 전송되는 정보의 양을 줄일 수 있게 된다.
또한, 본 발명의 실시예에 따르면 기존의 화면간 예측에 사용되는 모션 벡터 예측값 또는 모션 벡터를 이용하여 다양한 참조 유닛들을 유도해 내므로 참조 유닛의 추가를 위해 전송되는 정보의 양을 줄일 수 있게 되고 효율적인 영상 처리가 가능하게 된다.
또한, 다양한 참조 유닛 후보군들에서 참조 유닛을 적응적으로 선택하여 현재 유닛의 유닛 예측값을 획득할 수 있게 함으로 영상 예측의 효율성을 더욱 높일 수 있게 된다.
도 1은 본 발명의 실시예에 따른 비디오 신호 인코더 장치의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 비디오 신호 디코더 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따라 코딩 유닛을 분할하는 일 예를 나타내는 도면이다.
도 4는 도 3의 분할 구조를 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 도면이다.
도 5는 본 발명의 실시예에 따라 예측 유닛 내에서의 다양한 서브-예측 유닛으로의 분할 형태를 도시한 도면이다.
도 6은 현재 유닛의 공간적 이웃 유닛의 예를 나타낸 도면이다.
도 7은 현재 유닛의 시간적 이웃 유닛을 나타낸 도면이다.
도 8은 현재 유닛의 모션 벡터 예측값 및 모션 벡터가 각각 가리키는 참조 유닛을 표현한 도면이다.
도 9는 모션 벡터를 프레임간의 시간적 거리에 따라 스케일링 하는 방법을 나타내는 도면이다.
도 10 내지 도 12는 본 발명의 실시예에 따라 다수의 참조 유닛을 조합하여 현재 유닛의 예측값을 획득하는 과정을 나타내는 순서도이다.
도 13은 현재 유닛과 병합 될 수 있는 이웃 유닛의 일 실시예를 나타내는 도면이다.
도 14는 플래그 값을 통해서 도 13의 두 개의 이웃 유닛 중 하나의 이웃 유닛과의 병합 수행 여부를 획득하기 위한 일 실시예를 나타내고 있다.
도 15는 현재 유닛의 다중-추측 병합에 사용될 수 있는 참조 유닛들을 나타내는 도면이다.
도 16은 인덱스 값을 통해서 다중-추측 병합에 사용되는 이웃 유닛들의 조합을 획득하기 위한 일 실시예를 나타내고 있다.
도 17은 현재 프레임과 참조 프레임들 간의 시간적 거리를 개략적으로 나타내고 있다.
도 18은 서로 다른 이웃 유닛의 모션 정보를 이용하여 다중-추측 병합이 수행되는 현재 유닛을 도시하고 있다.
도 19는 다중-추측 병합을 수행한 유닛을 이웃 유닛으로 갖는 현재 유닛을 도시하고 있다.
상기와 같은 목적을 달성하기 위해 본 발명에 따른 비디오 신호의 처리 방법은, 현재 유닛이 다중-추측 화면간 예측을 수행하는지 여부를 판별하는 단계; 현재 유닛이 다중-추측 화면간 예측을 수행할 경우, 화면간 예측을 위한 다수의 참조 유닛들을 획득하는 단계; 상기 획득된 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하는 단계; 및 상기 현재 유닛의 예측값을 이용하여 현재 유닛의 픽셀값을 복원하는 단계; 를 포함하되, 상기 다중-추측 화면간 예측이란 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값으로 사용하는 것임을 특징으로 한다.
이 때, 상기 화면간 예측을 위한 다수의 참조 유닛을 획득하는 단계는, 현재 유닛의 L0 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터값, 현재 유닛의 L1 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터값에 의해 획득되는 참조 유닛들의 조합을 통해 획득할 수 있다.
또는, 상기 화면간 예측을 위한 다수의 참조 유닛을 획득하는 단계는, 현재 유닛의 모션 벡터값 및 상기 모션 벡터의 스케일링 된 모션 벡터값에 의해 획득되는 참조 유닛들의 조합을 통해 획득할 수 있다.
본 발명의 실시예에 따른 비디오 신호의 처리 방법에 의하면, 현재 유닛이 병합 모드를 사용하는지 여부를 나타내는 병합 플래그를 획득하는 단계; 상기 병합 플래그가 현재 유닛이 병합 모드임을 나타내고, 유효한 병합 후보 유닛의 개수가 1보다 큰 경우, 병합에 사용될 이웃 유닛들의 조합을 나타내는 인덱스 값을 획득하는 단계; 상기 인덱스 값에 기초하여 선택된 이웃 유닛들의 모션 정보를 이용하여 다중-추측 병합에 사용될 다수의 참조 유닛들을 획득하는 단계; 상기 획득된 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하는 단계; 및 상기 현재 유닛의 예측값을 이용하여 현재 유닛의 픽셀값을 복원하는 단계; 를 포함하되, 상기 다중-추측 병합이란 다수의 이웃 유닛들의 모션 정보를 이용하여 각각의 참조 유닛들을 획득하고, 상기 참조 유닛들을 조합하여 현재 유닛의 예측값으로 사용하는 것임을 특징으로 한다.
이 때, 상기 현재 유닛의 예측값을 획득하는 단계는, 상기 참조 유닛들의 이미지값을 평균하여 현재 유닛의 예측값으로 획득할 수 있다.
또는, 상기 현재 유닛의 예측값을 획득하는 단계는, 상기 참조 유닛들과 현재 프레임 간의 시간적 거리에 반비례하는 가중치를 각 참조 유닛의 이미지값에 부여하여 선형적으로 결합하여 현재 유닛의 예측값으로 획득할 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하는 의미로 사용되었으며, 경우에 따라서는 '블록', '파티션' 또는 '영역' 등의 용어와 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 크게 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력받은 비디오 신호에 대한 화소값을 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 특히 이산 코사인 변환은 입력된 영상 신호를 일정 크기의 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다.
양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 원래의 화소값을 복원한다.
필터링부(130)는 복원된 영상의 품질 개선을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 참조 영상으로 이용하기 위하여 저장부(156)에 저장된다.
코딩 효율을 높이기 위하여 영상 신호를 그대로 코딩하는 것이 아니라, 이미 코딩된 영역을 이용하여 영상을 예측하고, 예측된 영상에 원 영상과 예측 영상간의 레지듀얼 값을 더하여 복원 영상을 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 영상 내에서 화면내 예측을 수행하며, 인터 예측부(154)에서는 저장부(156)에 저장된 참조 영상을 이용하여 현재 영상을 예측한다. 인트라 예측부(152)는 현재 영상 내의 복원된 영역들로부터 화면내 예측을 수행하여, 화면내 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 움직임 보상부(162) 및 움직임 추정부(164)를 포함하여 구성될 수 있다. 움직임 추정부(164)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 움직임 추정부(164)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 움직임 추정부(164)에서 전달된 모션 벡터값을 이용하여 움직임 보상부(162)에서는 화면간 움직임 보상을 수행한다.
엔트로피 코딩부(160)는 양자화된 변환 계수, 화면간 부호화 정보, 화면내 부호화 정보 및 인터 예측부(154)로부터 입력된 참조 영역 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 여기서 엔트로피 코딩부(160)에서는 가변 길이 코딩(VLC: Variable Length Coding) 방식과 산술 코딩(arithmetic coding) 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(CAVLC: Context-based Adaptive Variable Length Coding) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(CABAC: Context-based Adaptive Binary Arithmetic Code)가 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 모션 벡터 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 영상에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 영상 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 영상은 출력되거나 다음 프레임에 대한 참조 영상으로 이용하기 위하여 프레임 저장부(256)에 저장된다.
또한, 본 발명의 예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함하고, 전술한 엔트로피 디코딩부(210)를 통해 디코딩된 부호화 타입, 각 영역에 대한 변환 계수, 모션 벡터 등의 정보를 활용하여 예측 영상을 복원하게 된다.
이와 관련하여, 상기 인트라 예측부(252)에서는 현재 영상 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다.
인터 예측부(254)는 프레임 저장부(256)에 저장된 참조 영상을 이용하여 모션 벡터를 추정하고 예측 영상을 생성한다. 인터 예측부(254)는 다시 움직임 보상부(262) 및 움직임 추정부(264)를 포함하여 구성될 수 있다. 움직임 추정부(264)에서는 현재 블록과 코딩에 사용하는 참조 프레임의 참조 블록간의 관계를 나타내는 모션 벡터를 획득하여 움직임 보상부(262)로 전달한다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 화소값이 더해져서 복원된 비디오 프레임이 생성된다.
이하에서는, 상기 인코더 장치와 디코더 장치의 동작에 있어서, 도 3 내지 도 5를 참조하여 코딩 유닛 및 예측 유닛 등을 분할하는 방법을 설명하기로 한다.
코딩 유닛이란 상기에서 설명한 비디오 신호의 처리 과정에서, 예를 들어 화면내(intra)/화면간(inter) 예측, 변환(transform), 양자화(quantization) 및/또는 엔트로피 코딩(entropy coding) 등의 과정에서 영상을 처리하기 위한 기본 단위를 의미한다. 하나의 영상을 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다. 코딩 유닛은 사각형 형태를 가질 수 있고, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다.
도 3은 본 발명의 실시 예에 따라 코딩 유닛을 분할하는 일 예를 나타낸 것이다. 예를 들어, 2N x 2N 크기를 가지는 하나의 코딩 유닛은 다시 네 개의 NxN 크기를 가지는 코딩 유닛으로 분할될 수 있다. 이러한 코딩 유닛의 분할은 재귀적으로 이루어질 수 있으며, 모든 코딩 유닛들이 동일한 형태로 분할될 필요는 없다. 다만, 코딩 및 처리과정에서의 편의를 위하여 코딩 유닛의 최대 크기(310) 또는 최소 크기(320)에 대한 제한이 있을 수 있다.
하나의 코딩 유닛에 대하여, 해당 코딩 유닛이 분할되는지 여부를 나타내는 정보를 저장할 수 있다. 예를 들어, 도 3과 같이 하나의 코딩 유닛은 4개의 정방형 코딩 유닛으로 나누어질 수 있다고 가정하자. 도 4는 도 3에서 도시하는 코딩 유닛의 분할 구조를 0과 1을 이용하여 계층적으로 나타내는 방법에 대한 일 실시예를 도시한 것이다. 코딩 유닛의 분할 여부를 나타내는 정보는 해당 유닛이 분할 된 경우 '1', 분할되지 않은 경우 '0'의 값으로 할당할 수 있다. 도 4에서 도시하듯이, 분할 여부를 나타내는 플래그 값이 1이면 해당 노드에 대응하는 코딩 유닛은 다시 4개의 코딩 유닛으로 나누어지고, 0이면 더 이상 나누어지지 않고 해당 코딩 유닛에 대한 처리 프로세스가 수행될 수 있다.
코딩 유닛이 반드시 4개의 정방향 영역으로만 나누어질 수 있는 것은 아니다. 이러한 경우에는 분할 정보에 미리 정해진 분할 방식에 대한 코드를 매핑시켜서 나타낼 수 있다. 예를 들어, 해당 정보 값이 1이면 해당 코딩 유닛은 2개의 수평 직사각형 서브 코딩 유닛으로 나누어지고, 2이면 해당 코딩 유닛은 2개의 수직 직사각형 서브 코딩 유닛으로 나누어지고, 3이면 4개의 정사각형 서브 코딩 유닛으로 나누어지도록 설정할 수도 있다. 이러한 방법은 분할 방식의 몇 가지 실시 예를 나타낸 것으로, 본 발명을 한정하는 것은 아니다.
상기에서 설명한 코딩 유닛의 구조는 재귀적인 트리 구조를 이용하여 나타낼 수 있다. 즉, 하나의 픽쳐 또는 최대 크기 코딩 유닛을 루트(root)로 하여, 다른 코딩 유닛으로 분할되는 코딩 유닛은 분할된 코딩 유닛의 개수만큼의 자식(child) 노드를 가지게 된다. 따라서, 더 이상 분할되지 않는 코딩 유닛이 리프(leaf) 노드가 된다. 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정할 때, 하나의 코딩 유닛은 최대 4개의 다른 코딩 유닛으로 분할될 수 있으므로 코딩 유닛을 나타내는 트리는 쿼드 트리(Quard tree) 형태가 될 수 있다.
인코더에서는 비디오 영상의 특성(예를 들어, 해상도)에 따라서 혹은 코딩의 효율을 고려하여 최적의 코딩 유닛의 크기를 선택하고 이에 대한 정보 또는 이를 유도할 수 있는 정보가 비트스트림에 포함될 수 있다. 예를 들면, 최대 코딩 유닛의 크기 및 트리의 최대 깊이를 정의할 수 있다. 정방형 분할을 할 경우, 코딩 유닛의 높이 및 너비는 부모 노드의 코딩 유닛의 높이 및 너비의 반이 되므로, 상기와 같은 정보를 이용하면 최소 코딩 유닛 크기를 구할 수 있다. 혹은 역으로, 최소 코딩 유닛 크기 및 트리의 최대 깊이를 미리 정의하여 이용하고, 이를 이용하여 필요할 경우에 최대 코딩 유닛의 크기를 유도하여 이용할 수 있다. 정방형 분할에서 유닛의 크기는 2의 배수 형태로 변화하기 때문에, 실제 코딩 유닛의 크기는 2를 밑으로 하는 로그값으로 나타내어 전송 효율을 높일 수 있다.
디코더에서는 현재 코딩 유닛이 분할되었는지 여부를 나타내는 정보를 획득할 수 있다. 이러한 정보는 특정 조건 하에만 획득하게(전송되게) 하면 효율을 높일 수 있다. 예를 들어 현재 코딩 유닛이 분할 가능한 조건은 현재 위치에서 현재 코딩 유닛 크기를 더한 것이 픽쳐의 크기보다 작고, 현재 유닛 크기가 기설정된 최소 코딩 유닛 크기보다 큰 경우이므로, 이러한 경우에만 분할되었는지를 나타내는 정보를 획득할 수 있다.
만약 상기 정보가 코딩 유닛이 분할되었음을 나타내는 경우, 분할될 코딩 유닛의 크기는 현재 코딩 유닛의 반이 되고, 현재 처리 위치를 기준으로 하여 4개의 정방형 코딩 유닛들로 분할된다. 각 분할된 코딩 유닛들에 대해서 상기와 같은 처리를 반복할 수 있다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 유닛 트리의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다. 예측 유닛은 다양한 형태로 분할 가능한데, 정방형, 직사각형 등의 대칭적인 형태나, 비대칭적인 형태, 혹은 기하학적 형태의 서브-예측 유닛으로의 분할이 가능하다. 예를 들면, 하나의 예측 유닛은 분할되지 않거나(2Nx2N), 도 5에 나타난 바와 같이 NxN, 2NxN, Nx2N 등의 크기의 서브-예측 유닛으로 나누어질 수 있다. 또한, 예측 유닛의 가능한 분할 형태는 인트라 코딩 유닛과 인터 코딩 유닛에서 각기 다르게 정의될 수 있다. 예를 들면, 인트라 코딩 유닛에서는 2Nx2N 또는 NxN 형태의 분할만 가능하고, 인터 코딩 유닛에서는 2Nx2N, 2NxN, Nx2N 또는 NxN 형태의 분할이 가능하도록 설정할 수 있다. 이때, 비트스트림에는 상기 예측 유닛이 분할되었는지 여부, 혹은 어떠한 형태로 분할되었는지에 대한 정보가 포함될 수 있다. 혹은 이러한 정보는 다른 정보들로부터 유도될 수도 있다.
이하, 본 명세서에서 사용되는 유닛 이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛 또는 서브-예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
디코딩이 수행되는 현재 유닛을 복원하기 위해서 현재 유닛이 포함된 현재 픽쳐 또는 다른 픽쳐들의 디코딩된 부분을 이용할 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 화면내 예측만을 수행하는 픽쳐(슬라이스)를 인트라 픽쳐 또는 I 픽쳐(슬라이스), 각 유닛을 예측하기 위하여 최대 하나의 모션 벡터 및 레퍼런스 인덱스를 이용하는 픽쳐(슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(슬라이스), 최대 두 개의 모션 벡터 및 레퍼런스 인덱스를 이용하는 픽쳐(슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(슬라이스) 라고 한다.
인트라 예측부에서는 현재 픽쳐 내의 복원된 영역들로부터 대상 유닛의 픽셀값을 예측하는 화면내 예측(Intra prediction)을 수행한다. 예를 들어, 현재 유닛을 중심으로, 상단, 좌측, 좌측 상단 및/또는 우측 상단에 위치한 유닛들의 부호화된 픽셀로부터 현재 유닛의 픽셀값을 예측할 수 있다.
인트라 모드는 픽셀값 예측에 사용되는 참조 픽셀들이 위치한 참조 영역의 방향 및 예측 방식에 따라 크게 수직(Vertical), 수평(Horizontal), DC, Angular 모드 등으로 나눌 수 있다. 수직 모드는 대상 유닛의 수직으로 인접한 영역의 값을 참조하여 현재 유닛의 예측값으로, 수평 모드는 수평으로 인접한 영역의 값을 참조하여 예측값으로 이용한다. DC 모드에서는 참조 영역들의 평균값을 예측값으로 이용하게 된다. 한편, Angular 모드는 참조 영역이 임의의 방향에 위치한 경우로, 현재 픽셀과 참조 픽셀 간의 각도로 해당 방향을 나타낼 수 있다. 편의를 위하여, 기 정해진 각도 및 예측 모드 번호를 사용할 수 있고, 사용되는 각도의 수는 대상 유닛의 크기에 따라서 달라질 수 있다.
이렇게 다양한 예측 방법들에 대하여 몇 가지 특정 모드들을 정의하여 이용할 수 있다. 예측 모드는 그 모드를 나타내는 값 자체로 전송될 수도 있으나, 전송 효율을 높이기 위하여, 현재 유닛의 예측 모드 값을 예측하는 방법을 이용할 수 있다. 이때 디코더에서는 예측 모드에 대한 예측값이 그대로 사용되는지, 실제 값과의 차이가 얼마인지를 이용한 정보로 현재 유닛의 예측 모드를 획득할 수 있다.
한편, 인터 예측부에서는 현재 픽쳐가 아닌 복원된 다른 픽쳐들의 정보를 이용하여 대상 유닛의 픽셀값을 예측하는 화면간 예측(Inter prediction)을 수행한다. 이때, 예측에 이용되는 픽쳐를 참조 픽쳐(reference picture)라고 한다. 화면간 예측 과정에서 현재 유닛을 예측하는데 어떤 참조 영역을 이용하는지는, 해당 참조 영역이 포함된 참조 픽쳐를 나타내는 인덱스 및 모션 벡터(motion vector) 정보 등을 이용하여 나타낼 수 있다.
화면간 예측에는 순방향 예측(forward direction prediction), 역방향 예측(backward direction prediction) 및 쌍예측(Bi-prediction)이 있을 수 있다. 순방향 예측은 시간적으로 현재 픽쳐 이전에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측이고, 역방향 예측은 시간적으로 현재 픽쳐 이후에 표시(또는 출력)되는 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1개의 모션 정보 (예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2개의 모션 정보(예를 들어 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스를 가질 수도 있고 서로 다른 참조 픽쳐 인덱스를 가질 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다.
현재 유닛의 모션 정보(motion information)는 모션 벡터 정보(motion vector information)와 참조 픽쳐 인덱스(reference picture index)를 포함할 수 있다. 상기 모션 벡터 정보는 모션 벡터, 모션 벡터 예측값(motion vector prediction, mvp) 또는 모션 벡터 차분값(motion vector difference, mvd)을 포함할 수 있고, 상기 모션 벡터 예측값을 특정하는 인덱스 정보를 의미할 수도 있다. 차분 모션 벡터는 상기 모션 벡터와 모션 벡터 예측값 간의 차분값을 의미한다.
모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 유닛의 참조 유닛을 획득할 수 있다. 상기 참조 유닛은 상기 참조 픽쳐 인덱스를 가진 참조 픽쳐 내에 존재한다. 또한, 상기 모션 벡터에 의해서 특정된 유닛의 픽셀값 또는 보간(interpolation)된 값이 상기 현재 유닛의 예측값(predictor)으로 이용될 수 있다. 즉, 모션 정보를 이용하여, 이전에 디코딩된 픽쳐로부터 현재 유닛의 영상을 예측하는 모션 보상(motion compensation)이 수행된다.
한편, 현재 픽쳐에 대하여, 화면 간 예측을 위하여 사용되는 픽쳐들로 참조 픽쳐 리스트를 구성할 수 있다. B 픽쳐의 경우에는 두 개의 참조 픽쳐 리스트를 필요로 하며, 이하에서는 각각을 참조 픽쳐 리스트 0(또는 L0), 참조 픽쳐 리스트 1(또는 L1)으로 지칭한다.
모션 벡터와 관련한 전송량을 줄이기 위하여, 이전에 코딩된 유닛들의 모션 정보를 이용하여 모션 벡터 예측값(mvp)을 획득하고, 이에 대한 차분값(mvd)만을 전송하는 방법을 이용할 수 있다. 디코더에서는 디코딩된 다른 유닛들의 모션 정보들을 이용하여 현재 유닛의 모션 벡터 예측값을 구하고, 전송된 차분값을 이용하여 현재 유닛에 대한 모션 벡터값을 획득하게 된다. 모션 벡터 예측값을 획득함에 있어서는, 이미 코딩된 유닛들의 모션 정보을 이용하여 다양한 모션 벡터 후보 값들을 획득하고 그 중 하나를 모션 벡터 예측값으로 획득하는 모션 벡터 경쟁(Motion vector competition) 방법을 이용할 수 있다.
이러한 모션 벡터 경쟁에 이용되는 모션 벡터 후보들로는 공간적 이웃 유닛또는 시간적 이웃 유닛의 모션 벡터를 포함할 수 있다. 공간적 이웃 유닛이란 현재 유닛과 동일한 픽쳐 내에서 현재 유닛에 인접하는 유닛들을 가리키며(도 6 참조), 시간적 이웃 유닛이란 현재 유닛과 다른 픽쳐에서 현재 유닛과 대응 되는 위치(co-located)에 존재하는 유닛을 가리킨다(도 7 참조).
예를 들어 도 6을 참조로 하면, 상기 공간적 이웃 유닛의 모션 벡터로는 현재 유닛의 좌측에 이웃하는 유닛들(A0, A1, …, AnA)의 집합인 좌측 그룹에서 선정된 유닛의 모션 벡터 a', 현재 유닛의 상단에 이웃하는 유닛들(B0, B1, …, BnB)의 집합인 상단 그룹에서 선정된 유닛의 모션 벡터 b', 및 현재 유닛의 대각선에 인접하는 유닛들(C, D, E)의 집합인 코너 그룹에서 선정된 유닛의 모션 벡터 c'가 포함될 수 있다. 또한, 상기 모션 벡터 a', b' 및 c'의 중앙값(median(a', b', c'))이 유도될 수 있으며, 상기 중앙값도 모션 벡터 후보에 포함될 수 있다.
이처럼 현재 유닛의 공간적 이웃 유닛 및 시간적 이웃 유닛의 모션 벡터를 포함하는 모션 벡터 후보들로부터 현재 유닛의 모션 벡터 예측값을 획득하며, 이를 전송된 차분값과 더하여 현재 유닛에 대한 모션 벡터값을 획득할 수 있다. 이때, 현재 픽쳐(또는 슬라이스)가 P 픽쳐(슬라이스)일 경우에는 L0 또는 L1 중 어느 하나의 예측 방향(참조 픽쳐 리스트)에 대한 모션벡터 예측값 및 모션 벡터를 획득할 수 있으며, 현재 픽쳐(또는 슬라이스)가 B 픽쳐(슬라이스)일 경우에는 L0 및 L1 모두의 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터를 획득할 수 있다.
상기 획득된 현재 유닛의 모션 벡터 예측값 및 모션 벡터를 이용하여 현재 유닛의 영상 예측을 위한 참조 유닛을 얻을 수 있다. 도 8에 도시된 바와 같이, 현재 유닛의 모션 벡터 예측값(mvp)을 통해 얻은 참조 유닛을 Pred_a라 하고, 상기 모션 벡터 예측값(mvp)과 모션 벡터 차분값(mvd)을 합한 모션 벡터(mv)를 통해 얻은 참조 유닛을 Pred_b라 한다면, 현재 유닛의 영상 예측을 위해서 다음과 같은 참조 유닛 후보를 사용할 수 있다.
a) L0 예측에 대한 Pred_a, b) L1 예측에 대한 Pred_a, c) 쌍예측에 대한 Pred_a, d) L0 예측에 대한 Pred_b, e) L1 예측에 대한 Pred_b, f) 쌍예측에 대한 Pred_b, g) 스킵/직접 모드의 Pred_a.
이때, 쌍예측에 대한 Pred_a는 L0 예측에 대한 Pred_a와 L1 예측에 대한 Pred_a를 평균하여 얻을 수 있으며, 쌍예측에 대한 Pred_b는 L0 예측에 대한 Pred_b와 L1 예측에 대한 Pred_b를 평균하여 얻을 수 있다. 또한, 스킵/직접 모드의 Pred_a는 현재 유닛이 P 픽쳐(또는 슬라이스)에 해당할 경우에는 해당 픽쳐(슬라이스)의 L0 또는 L1 예측에 대한 Pred_a를 사용할 수 있으며, 현재 유닛이 B 픽쳐(또는 슬라이스)에 해당할 경우에는 L0 예측에 대한 Pred_a와 L1 예측에 대한 Pred_a를 평균하여 얻을 수 있다. 스킵 모드 또는 직접 모드는 모션 정보를 별도로 전송하지 않고 해당 모드에 대한 플래그만을 전송하므로, 현재 유닛의 모션 벡터 예측 방향이 지정되지 않기 때문이다.
이때, 현재 유닛의 더욱 정확한 영상 예측을 위해, 상기 참조 유닛 후보들을 이용하여 다중-추측 화면간 예측(Multi-hypothesis inter prediction)을 수행할 수 있다. 본 발명에서 다중-추측 화면간 예측이란 두 개 이상의 다수의 참조 유닛들(predictor)을 조합하여 현재 유닛의 영상을 예측하는 것을 말한다. 다중-추측 화면간 예측을 수행하기 위해서는 참조하고자 하는 여러 개의 참조 유닛의 위치를 디코더에게 직접 알려주거나, 혹은 디코더가 유도해 낼 수 있어야 한다. 상기 다중-추측 화면간 예측을 수행할지의 여부는 별도의 플래그 값을 통해 전달하거나, 참조 가능한 유닛들의 개수에 따라 유도되도록 할 수 있다.
이때, 본 발명에서는 상기 a) 내지 g)에서 유효한 참조 유닛 후보들을 두 개 이상 조합하여 현재 유닛의 예측값을 획득하고 이를 이용하여 영상 예측을 수행할 수 있다. 예를 들어, L0 예측에 대한 Pred_a와 L0 예측에 대한 Pred_b를 조합하여 현재 유닛의 예측값을 구할 수 있으며, L0 예측에 대한 Pred_b와 쌍예측에 대한 Pred_b를 조합하는 것도 가능하다. 이때, 참조 유닛의 조합은 각 참조 유닛의 픽셀값을 평균하여 구할 수 있으며, 가중치를 주어 합산하는 것도 가능하다.
한편, 상기 다중-추측 화면간 예측을 위한 참조 유닛 후보군을 더욱 확장하여, L0 및 L1 각각의 예측 방향에 대하여 복수의 모션 벡터를 이용할 수도 있다. 즉, 현재 유닛의 이웃 유닛들로부터 L0 및 L1 예측 방향 각각에 대하여 다수의 모션 벡터 예측값과 모션 벡터를 획득하고 이를 통해 다수의 참조 유닛들을 얻을 수 있으며, 상기 참조 유닛들을 조합하여 현재 유닛의 예측값을 구할 수 있다. 이때, L0 및 L1 예측 방향 각각에 대하여 다수의 모션 벡터 예측값 및 모션 벡터를 획득하기 위해, 현재 유닛의 공간적 이웃 유닛과 시간적 이웃 유닛에 존재하는 모든 유효한 모션 벡터들을 현재 유닛의 모션 벡터 예측값으로 사용할 수 있다. 또한, 상기 다수의 모션 벡터 예측값을 전송된 각각에 대한 모션 벡터 차분값과 합산하여 다수의 모션 벡터를 획득할 수 있다. 따라서, 현재 유닛의 모션 벡터 예측값(mvp)을 통해 얻은 참조 유닛을 Pred_a라 하고, 상기 모션 벡터 예측값(mvp)과 모션 벡터 차분값(mvd)을 합한 모션 벡터(mv)를 통해 얻은 참조 유닛을 Pred_b라 한다면, 현재 유닛의 영상 예측을 위한 참조 유닛 후보를 다음과 같이 확장할 수 있다.
a') L0 예측의 하나의 모션 정보에 대한 Pred_a, b') L0 예측의 N0개의 모션 정보에 대한 Pred_a, c') L0 예측의 하나의 모션 정보에 대한 Pred_b, d') L0 예측의 N0개의 모션 정보에 대한 Pred_b, e') L1 예측의 하나의 모션 정보에 대한 Pred_a, f') L1 예측의 N1개의 모션 정보에 대한 Pred_a, g') L1 예측의 하나의 모션 정보에 대한 Pred_b, h') L1 예측의 N1개의 모션 정보에 대한 Pred_b, i') 상기 a') 내지 h')의 조합.
이때, 상기 참조 유닛 후보군에 포함된 참조 유닛의 조합은 전술한 바와 같이 각 참조 유닛의 픽셀값을 평균하여 구할 수 있으며, 가중치를 주어 합산하는 것도 가능하다.
본 발명의 다른 실시예에 따르면, 상기 다중-추측 화면간 예측을 위한 다수의 참조 유닛들을 획득하기 위해 모션 벡터 스케일링 기법이 사용될 수 있다. 모션 벡터 스케일링이란 참조 프레임들과 현재 프레임 간의 시간적(temporal) 거리에 따라 모션 벡터를 비례 확대 또는 비례 축소 시키는 기법을 말한다. 화면간 예측을 수행할 때 모션 벡터 스케일링 기술을 이용하면, 서로 다른 참조 프레임으로부터 각각 1개씩의 참조 유닛을 획득할 수 있으며, 이들을 조합하여 다중-추측 화면간 예측을 수행할 수 있다. 이를 통해, 디코더는 하나의 모션 벡터 만으로도 여러 개의 참조 유닛을 얻을 수 있으며, 이들을 조합함으로 더욱 정확한 영상 예측을 수행할 수 있다.
도 9는 프레임들 간의 시간적 거리를 이용하여 모션 벡터 스케일링을 수행하는 방법을 나타내고 있다. 현재 유닛의 L0 방향의 모션 벡터를 mvL0라 하고 상기 mvL0의 참조 프레임을 ref0라 할 때, 상기 mvL0를 다른 참조 프레임인 ref1에 대하여 스케일링한 mvL0N_scaled는 다음과 같이 나타낼 수 있다.
mvL0N_scaled = mvL0 * (td/tb)
여기서, tb는 현재 프레임과 ref0 간의 시간적 거리를 나타내며, td는 현재 프레임과 ref1 간의 시간적 거리를 나타낸다. 각 프레임 간의 시간적 거리는 각 프레임 간의 POC(Picture Order Count) 값의 차를 통해 구할 수 있다.
이처럼 현재 유닛의 모션 벡터 mvL0를 이용하여 ref0 프레임에서 제 1 참조 유닛을 획득하고, 현재 유닛의 스케일링된 모션 벡터 mvL0N_scaled를 이용하여 ref1 프레임에서 제 2 참조 유닛을 획득한 후, 상기 두 개의 참조 유닛을 조합하여 현재 유닛의 예측값을 구할 수 있다. 본 발명에서 모션 벡터 스케일링을 이용한 다중-추측 화면간 예측에 사용되는 참조 유닛의 개수는 두 개로 한정하지 않는다. 즉, DPB(Decoded Picture Buffer)에 저장된 참조 프레임의 개수가 두 개 이상일 경우, 모션 벡터를 상기 DPB에 저장된 각 프레임에 대하여 스케일링함으로 이용 가능한 참조 유닛의 개수를 늘릴 수 있다.
다수의 참조 유닛들을 사용하여 현재 유닛의 예측값을 구할 경우, 각각의 참조 유닛을 조합하는 방법으로는, i)각 참조 유닛의 이미지 값을 평균하는 방법, ii) 각 참조 유닛과 현재 프레임 간의 시간적 거리에 반비례하는 가중치를 각 참조 유닛의 이미지 값에 부여하여 선형적으로 결합하는 방법, iii) 각 참조 유닛과 현재 프레임 간의 시간적 거리의 제곱에 반비례하는 가중치를 각 참조 유닛의 이미지 값에 부여하여 선형적으로 결합하는 방법 등이 사용될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 모션 벡터 스케일링을 이용한 다중-추측 화면간 예측은 고정된 개수의 참조 유닛을 이용할 수도 있고, 가변적인 개수의 참조 유닛을 이용할 수도 있다. 첨부된 도 10은 고정된 개수의 참조 유닛을 이용하여 다중-추측 화면간 예측을 수행하는 실시예를 도시하고 있다.
도 10을 참조로 하면, 고정된 개수의 참조 유닛을 사용하는 경우, 기존의 화면간 예측 방법에서와 같이 현재 유닛의 모션 벡터를 코딩하여 모션 벡터 차분값을 전송하고, 모션 벡터 스케일링을 이용한 다중-추측 화면간 예측 수행 여부를 알려주는 플래그(scaling_multi_hypothesys_flag)를 추가로 전송할 수 있다.
디코더에서는 상기 전송된 모션 벡터 차분값을 획득하여(S1010), 현재 유닛의 모션 벡터를 구하고, 상기 모션 벡터가 가리키는 참조 유닛을 획득한다(S1020). 다음으로, 상기 전송된 플래그(scaling_multi_hypothesys_flag)를 획득하여(S1030), 상기 플래그가 0일 경우 일반적인 화면간 예측과 같이 S1020 단계에서 획득된 참조 유닛을 현재 유닛의 예측값으로 설정하고(S1070) 현재 유닛의 디코딩을 수행한다(S1080). 만약, 상기 플래그(scaling_multi_hypothesys_flag)가 1일 경우, 미리 설정된 개수에 따라 참조 유닛을 추가로 획득한다(S1050) 이때, 추가되는 참조 유닛은 본 발명의 실시예에 따라 현재 유닛의 모션 벡터를 스케일링하여 서로 다른 프레임으로부터 획득할 수 있다. 디코더는 상기 추가된 참조 유닛을 포함한 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하고(S1060), 이를 이용하여 현재 유닛의 디코딩을 수행할 수 있다(S1080).
한편, 본 발명의 실시예에 따르면 가변적인 개수의 참조 유닛을 이용하여 다중-추측 화면간 예측을 수행할 수도 있는데, 도 11 및 도 12는 이에 대한 실시예를 도시하고 있다. 도 11 및 도 12의 실시예에 대한 설명에 있어서 도 10의 실시예와 동일하거나 유사한 구성에 대해서는 중복된 설명을 생략하기로 한다.
먼저 도 11의 실시예에 따르면, 현재 유닛의 예측값을 획득하기 위해 사용되는 참조 유닛들의 개수를 별도로 전송하는 방법을 사용할 수 있다. 즉, 전송되는 플래그(scaling_multi_hypothesys_flag) 값이 1일 경우, 참조 유닛 추가 개수를 알려주는 변수(add_predictor_num)를 추가로 전송할 수 있다.
디코더에서는 획득된 상기 플래그(scaling_multi_hypothesys_flag)가 1일 경우, 전송된 변수(add_predictor_num)를 획득하고(S1150), 상기 변수(add_predictor_num)의 값에 기초하여 참조 유닛을 추가로 획득한다(S1154). 이때, 추가되는 참조 유닛은 본 발명의 실시예에 따라 현재 유닛의 모션 벡터를 스케일링하여 서로 다른 프레임으로부터 획득할 수 있다. 디코더는 상기 추가된 참조 유닛을 포함한 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하고(S1160), 이를 이용하여 현재 유닛의 디코딩을 수행할 수 있다(S1180).
또한 도 12를 참조 하면, 전송되는 플래그(scaling_multi_hypothesys_flag) 값이 1일 경우, 참조 유닛 추가 여부를 알려주는 플래그(add_predictor_flag)를 반복적으로 전송하는 방법을 사용할 수 있다.
디코더에서는 획득된 상기 플래그(scaling_multi_hypothesys_flag)가 1일 경우, 상기 참조 유닛 추가 여부 플래그(add_predictor_flag)가 1이고 DPB의 유효한 잔존 참조 프레임이 1개 이상일 때 참조 유닛을 추가로 획득 한다(S1254). 상기 참조 유닛 추가 과정은, 전송된 참조 유닛 추가 여부 플래그(add_predictor_flag)가 0이거나, 더 이상 참조 유닛을 추가할 수 없을 때까지(예를 들어, 해당 예측 방향의 참조 유닛을 추가할 수 있는 유효한 참조 프레임이 DPB에 더 이상 남아 있지 않는 경우) 반복 한다. 이와 같은 과정을 통해 획득된 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득할 수 있으며(S1260), 이를 이용하여 현재 유닛의 디코딩을 수행할 수 있다(S1280).
본 발명의 실시예에 있어서, DPB에 저장된 프레임 중에서 참조 유닛의 추가를 위해 선택되는 프레임은 다양한 우선 순위에 따라 결정될 수 있다. 예를 들어, i) 레퍼런스 인덱스 값이 낮은 순서대로 선택되거나, ii) 실제 전송한 현재 유닛의 레퍼런스 인덱스 값과 가까운 레퍼런스 인덱스 값을 갖는 순서대로 선택되거나, iii) 실제 전송한 현재 유닛의 레퍼런스 인덱스가 가리키는 참조 프레임과 시간적 거리가 가까운 순서대로 선택될 수 있다.
또한, 모션 벡터 스케일링을 이용하여 참조 유닛을 추가하는 이러한 방법은 L0 및 L1 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터를 조합하는 방법과 결합하여 사용할 수도 있다. 즉, L0 및 L1 예측 방향에 대한 각각의 모션 벡터 예측값 및 모션 벡터에 대하여 모션 벡터 스케일링을 통해 다양한 참조 유닛들을 획득할 수 있으며, 이렇게 획득된 참조 유닛들을 조합하여 현재 유닛의 영상 예측을 수행할 수 있다.
한편, 현재 유닛의 화면간 예측에 필요한 예측 정보(예를 들어 레퍼런스 인덱스, 모션 벡터, 예측 방향 등)는 직접 비트스트림에 포함되어 전송되지 않고, 주변 유닛을 이용하여 유도할 수 있다. 이러한 방법을 사용하면 예측 정보에 할당되는 비트 수를 줄여 압축률을 높일 수 있는 효과가 있다. 보다 구체적으로, 화면간 예측을 이용하여 코딩된 이웃 유닛의 예측 정보를 현재 유닛의 예측 정보로써 이용할 수 있다. 이러한 방식이 사용되는 경우를 현재 유닛이 예측 정보를 가져온 이웃 유닛과 병합(Merge) 되었다고 하고, 이러한 예측 방식을 병합 모드(Merge mode)라고 한다.
병합 모드를 위하여 비트스트림은 현재 유닛이 병합이 되었는지 여부를 나타내는 정보(예를 들면, merge_flag 와 같은 플래그), 어느 이웃 유닛과 병합되었는지를 나타내는 병합 정보(예를 들어 특정 이웃과의 병합 여부를 나타내는 플래그 또는 특정 이웃을 나타내는 인덱스 정보 등) 등을 포함할 수 있다. 어느 유닛과의 병합인지를 나타내는 정보는 현재 유닛이 병합되었음을 지시하는 경우(상기 예에서, merge_flag가 TRUE 또는 1인 경우)에만 획득하게 할 수 있다.
예를 들어 도 13 및 도 14를 참조로 하면, 병합 모드에서 현재의 유닛(X)은 상단 이웃 유닛(A) 또는 좌측 이웃 유닛(B)과 병합될 수 있다. 이때 상단 이웃 유닛 및 좌측 이웃 유닛 중 병합에 유효한 유닛(인터 모드인 유닛)이 있다면, 현재 유닛의 병합 여부를 나타내는 merge_flag(1402)를 획득할 수 있다. 상기 merge_flag가 0이라면 일반적인 화면간 예측을 수행할 수 있으며, 상기 merge_flag가 1이라면 병합 모드를 수행할 수 있다. 이때, 상기 merge_flag가 1이면서 병합에 유효한 이웃 유닛의 개수(NumMergeCandidates)가 1보다 크면 어느 이웃 유닛과 병합되는지를 나타내는 merge_left_flag(1404)를 획득할 수 있다. 상기 merge_left_flag는 현재 유닛을 기준으로 어느 방향의 이웃 유닛과 병합을 수행할 것인지에 대한 정보를 포함한다. 이때, 현재 유닛은 병합이 수행되는 이웃 유닛의 모션 정보를 이용하여 참조 유닛을 획득하고, 이를 이용하여 영상 예측을 수행한다.
본 발명의 실시예에 따르면, 이러한 병합 모드에서 두 개 이상의 병합 대상 이웃 유닛의 모션 정보를 이용하여 각각의 참조 유닛을 획득하고, 이들을 조합하여 현재 유닛의 예측값으로 사용하는 다중-추측 병합(Multi-hypothesys merging)을 수행할 수 있다. 즉, 도 15에서 현재 유닛(X)의 병합 대상 이웃 유닛인 유닛 A와 유닛 B가 모두 유효할 경우(인터 모드일 경우), 각 이웃 유닛의 모션 정보를 현재 유닛에 적용하여 Ref 0 프레임 및 Ref 1 프레임에서 참조 유닛을 획득하고, 이들을 조합하여 현재 유닛의 영상 예측을 수행할 수 있다.
이때, 병합 대상이 되는 이웃 유닛은 다양하게 변경할 수 있다. 즉, 도 15에서 현재 유닛의 좌측 상단 코너에 이웃하는 유닛(C)이 유효할 경우 상기 유닛 C도 함께 병합에 사용될 수 있다. 또는, 현재 유닛의 우측 상단 코너에 이웃하는 유닛과 현재 유닛의 좌측 하단 코너에 이웃하는 유닛도 유효할 경우 병합 후보에 포함시킬 수 있다.
이처럼 다수의 이웃 유닛의 모션 정보를 이용하여 다중-추측 병합을 수행할 때, 병합에 사용될 이웃 유닛들의 조합을 나타내는 인덱스 값인 merge_mode를 전송하여 이를 획득하게 할 수 있다. 즉, 도 16에 도시된 바와 같이, merge_flag가 1이면서 병합에 유효한 이웃 유닛의 개수(NumMergeCandidates)가 1보다 클 경우 인덱스 값인 merge_mode(1604)를 획득할 수 있으며, 상기 merge_mode 값에 따라 선택되는 이웃 유닛들을 조합하여 현재 유닛의 다중-추측 병합을 수행할 수 있다.
상기 merge_mode는 현재 유닛과 병합을 수행할 이웃 유닛을 택일적으로 선택하는 merge_left_flag와는 달리, 어떠한 이웃 유닛들의 조합을 이용하여 병합을 수행할지를 알려준다. 예를 들어, 도 15와 같이 현재 유닛의 상단 이웃 유닛과 좌측 이웃 유닛만이 병합 후보로 사용되는 경우에는, 상기 merge_mode가 0이면 상단 이웃 유닛(A)과, 1이면 좌측 이웃 유닛(B)과, 2이면 상기 두 개의 이웃 유닛(A, B)과 병합을 수행할 수 있다. 물론, 병합 모드의 병합 후보가 되는 이웃 유닛들이 이와 다를 경우에는 상기 merge_mode 인덱스를 다르게 정의할 수 있다.
본 발명의 실시예에 따라 다중-추측 병합을 수행할 경우, 두 개 이상의 이웃 유닛들을 이용하여 병합을 수행하기 위한 다양한 방법이 제안될 수 있다. 예를 들어, 이웃 유닛 A, B의 모션 벡터를 mvA, mvB 라 하고, 각각의 참조 유닛을 predA, predB 라고 한다면, 현재 유닛 X의 유닛 예측값 predX는 다음과 같이 구할 수 있다.
i) 각 참조 유닛의 이미지 값을 평균하는 방법.
즉, predX = (predA + predB + 1)>>1
ii) 각 참조 유닛의 모션 벡터 mvA 및 mvB를 스케일링하여 mvA', mvB'를 구한 후, 상기 스케일링 된 모션 벡터를 통해 획득한 새로운 참조 유닛 predA' 및 predB'의 이미지 값을 평균하는 방법.
iii) 각 참조 유닛과 현재 프레임 간의 시간적 거리에 반비례하는 가중치를 각 참조 유닛의 이미지 값에 부여하여 선형적으로 결합하는 방법. 즉, 도 17에서 mvA의 참조 프레임이 ref 0이고, mvB의 참조 프레임이 ref 1이라고 할 때, 이웃 유닛 A의 참조 프레임(ref 0)과 현재 프레임 간의 시간적 거리는 'd'이며, 이웃 유닛 B의 참조 프레임(ref 1)과 현재 프레임 간의 시간적 거리는 '2d'가 된다. 따라서 이러한 시간적 거리를 고려한 가중치를 부여하여 현재 유닛 X의 예측값 predX를 다음과 같이 구할 수 있다.
predX = (2*predA + predB)/3
한편, 현재 유닛이 병합 모드로 디코딩 된 경우, 다음 유닛의 디코딩을 위해 현재 유닛에 대한 모션 정보가 저장되어야 한다. 도 18에 도시된 바와 같이, 다중-추측 병합을 수행한 현재 유닛(X)은 두 개 이상의 이웃 유닛(A, B)의 모션 정보(motion_info(A), motion_info(B))를 함께 사용하여 병합을 수행하게 된다. 이때, 각 유닛의 모션 정보(motion_info(A), motion_info(B))는 서로 다른 값을 가질 수 있으며, 서로 다른 각 이웃 유닛의 모션 정보를 모두 저장하게 된다면 다중-추측 병합이 수행됨에 따라 저장해야 할 모션 정보가 기하 급수적으로 늘어나게 된다. 따라서, 다중-추측 병합을 수행한 현재 유닛의 모션 정보를 저장하기 위하여 다음과 같은 방법을 사용할 수 있다.
a) 기존 화면간 예측 코딩 방법 중 RD(Rate Distortion) 관점에서 최적이었던 모드의 정보로 저장.
b) 병합 대상이 되는 두 개 또는 그 이상의 유효한 이웃 유닛 모션 정보들의 평균값으로 저장(이때, 정수가 아닌 경우에는 올림, 내림 또는 반올림한 값을 사용할 수 있다.).
c) 병합 대상이 되는 두 개 또는 그 이상의 유효한 이웃 유닛 모션 정보들 중 가장 작은 값으로 저장.
d) 인터 모드를 갖는 이웃 유닛들의 모션 정보 중 최빈값.
e) 이웃 유닛들의 모션 정보의 중앙값.
f) 영상 특성에 따라 상기 a) 내지 e)의 방법을 선택적으로 조합.
또한, 도 19에 도시된 바와 같이, 현재 유닛(X)의 이웃 유닛(A)이 다중-추측 병합을 수행한 유닛일 경우, 현재 유닛(X)의 모션 정보를 처리하기 위해서는 상기 이웃 유닛(A)의 모션 정보를 참조해야 하기 때문에, 해당 이웃 유닛의 모션 정보를 처리하기 위한 방법이 필요하다. 따라서, 다중-추측 병합을 수행한 이웃 유닛의 모션 정보를 참조하기 위하여 다음과 같은 방법을 사용할 수 있다.
a') 다중-추측 병합을 수행한 유닛의 모션 정보를 저장하기 위하여 제안된 상기 a) 내지 f)의 방법에 따라 저장된 모션 정보를 참조.
b') 다중-추측 병합을 수행한 이웃 유닛은 유효하지 않은 유닛으로 간주(예를 들어, 인트라 모드로 처리).
c') 다중-추측 병합을 수행한 이웃 유닛 주변의 다른 이웃 유닛의 모션 정보를 참조.
d') 다중-추측 병합 적용의 연속성을 체크하여, 임계값을 넘는지의 여부에 따라 모션 정보를 다르게 참조.
e') 영상 특성에 따라 상기 a') 내지 d')의 방법을 선택적으로 조합.
이처럼 본 발명의 실시예에 따라 다중-추측 화면간 예측 또는 다중-추측 병합을 수행하게 되면, 보다 정확한 유닛 예측값을 획득할 수 있으며, 영상 복원을 위해 전송되는 비트-레이트를 줄일 수 있게 된다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 비디오 신호를 인코딩 또는 디코딩 하는데 적용될 수 있다.

Claims (6)

  1. 현재 유닛이 다중-추측 화면간 예측을 수행하는지 여부를 판별하는 단계;
    현재 유닛이 다중-추측 화면간 예측을 수행할 경우, 화면간 예측을 위한 다수의 참조 유닛들을 획득하는 단계;
    상기 획득된 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하는 단계; 및
    상기 현재 유닛의 예측값을 이용하여 현재 유닛의 픽셀값을 복원하는 단계;
    를 포함하되, 상기 다중-추측 화면간 예측이란 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값으로 사용하는 것임을 특징으로 하는 비디오 신호의 처리 방법.
  2. 제 1항에 있어서,
    상기 화면간 예측을 위한 다수의 참조 유닛들을 획득하는 단계는,
    현재 유닛의 L0 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터값, 현재 유닛의 L1 예측 방향에 대한 모션 벡터 예측값 및 모션 벡터값에 의해 획득되는 참조 유닛들의 조합을 통해 획득하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  3. 제 1항에 있어서,
    상기 화면간 예측을 위한 다수의 참조 유닛들을 획득하는 단계는,
    현재 유닛의 모션 벡터값 및 상기 모션 벡터의 스케일링 된 모션 벡터값에 의해 획득되는 참조 유닛들의 조합을 통해 획득하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  4. 현재 유닛이 병합 모드를 사용하는지 여부를 나타내는 병합 플래그를 획득하는 단계;
    상기 병합 플래그가 현재 유닛이 병합 모드임을 나타내고, 유효한 병합 후보 유닛의 개수가 1보다 큰 경우, 병합에 사용될 이웃 유닛들의 조합을 나타내는 인덱스 값을 획득하는 단계;
    상기 인덱스 값에 기초하여 선택된 이웃 유닛들의 모션 정보를 이용하여 다중-추측 병합에 사용될 다수의 참조 유닛들을 획득하는 단계;
    상기 획득된 다수의 참조 유닛들을 조합하여 현재 유닛의 예측값을 획득하는 단계; 및
    상기 현재 유닛의 예측값을 이용하여 현재 유닛의 픽셀값을 복원하는 단계;
    를 포함하되, 상기 다중-추측 병합이란 다수의 이웃 유닛들의 모션 정보를 이용하여 각각의 참조 유닛들을 획득하고, 상기 참조 유닛들을 조합하여 현재 유닛의 예측값으로 사용하는 것임을 특징으로 하는 비디오 신호의 처리 방법.
  5. 제 1항 또는 제 4항에 있어서,
    상기 현재 유닛의 예측값을 획득하는 단계는,
    상기 참조 유닛들의 이미지값을 평균하여 현재 유닛의 예측값으로 획득하는 것을 특징으로 하는 비디오 신호의 처리 방법.
  6. 제 1항 또는 제 4항에 있어서,
    상기 현재 유닛의 예측값을 획득하는 단계는,
    상기 참조 유닛들과 현재 프레임 간의 시간적 거리에 반비례하는 가중치를 각 참조 유닛의 이미지값에 부여하여 선형적으로 결합하여 현재 유닛의 예측값으로 획득하는 것을 특징으로 하는 비디오 신호의 처리 방법.
PCT/KR2011/003876 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치 WO2011149291A2 (ko)

Priority Applications (15)

Application Number Priority Date Filing Date Title
KR1020217042452A KR102439252B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
CN201180026053.5A CN102934440B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
KR1020197021418A KR102108078B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
KR1020177026701A KR101873767B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
KR1020187018137A KR102004836B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
KR1020207012433A KR102233820B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
KR1020127033166A KR101782929B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
KR1020217008798A KR102344855B1 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치
US13/685,116 US9042450B2 (en) 2010-05-26 2012-11-26 Method and apparatus for processing a video signal
US13/772,144 US9020032B2 (en) 2010-05-26 2013-02-20 Method and apparatus for processing a video signal
US14/690,660 US9407930B2 (en) 2010-05-26 2015-04-20 Method and apparatus for processing a video signal
US15/217,687 US10491892B2 (en) 2010-05-26 2016-07-22 Method and apparatus for processing a video signal
US16/694,769 US11057618B2 (en) 2010-05-26 2019-11-25 Method and apparatus for processing a video signal
US17/342,033 US12028511B2 (en) 2010-05-26 2021-06-08 Method and apparatus for processing a video signal
US18/608,059 US20240223752A1 (en) 2010-05-26 2024-03-18 Method and apparatus for processing a video signal

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US34826010P 2010-05-26 2010-05-26
US61/348,260 2010-05-26
US35468710P 2010-06-14 2010-06-14
US61/354,687 2010-06-14
US37172710P 2010-08-08 2010-08-08
US61/371,727 2010-08-08
US37528010P 2010-08-20 2010-08-20
US61/375,280 2010-08-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/685,116 Continuation US9042450B2 (en) 2010-05-26 2012-11-26 Method and apparatus for processing a video signal
US13/772,144 Continuation US9020032B2 (en) 2010-05-26 2013-02-20 Method and apparatus for processing a video signal

Publications (2)

Publication Number Publication Date
WO2011149291A2 true WO2011149291A2 (ko) 2011-12-01
WO2011149291A3 WO2011149291A3 (ko) 2012-04-19

Family

ID=45004585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/003876 WO2011149291A2 (ko) 2010-05-26 2011-05-26 비디오 신호의 처리 방법 및 장치

Country Status (4)

Country Link
US (7) US9042450B2 (ko)
KR (7) KR102439252B1 (ko)
CN (5) CN105791859B (ko)
WO (1) WO2011149291A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058207A1 (ko) * 2012-10-08 2014-04-17 엘지전자 주식회사 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2014163437A2 (ko) * 2013-04-05 2014-10-09 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
PL3637778T3 (pl) * 2010-10-06 2024-09-23 Ntt Docomo, Inc. Sposób dwupredykcyjnego dekodowania obrazu
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP5982734B2 (ja) 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
WO2013005966A2 (ko) 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR20130004173A (ko) * 2011-07-01 2013-01-09 한국항공대학교산학협력단 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
JPWO2013111596A1 (ja) * 2012-01-26 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法および動画像符号化装置
US20150172669A1 (en) * 2013-03-15 2015-06-18 KASAH Technology, Inc. System and method for processing compressed images and video for improved data communication
GB2512829B (en) 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
KR20140127177A (ko) * 2013-04-23 2014-11-03 삼성전자주식회사 시점 합성 예측을 이용한 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
CN104717512B (zh) * 2013-12-16 2019-07-23 浙江大学 一种前向双假设编码图像块的编解码方法和装置
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2016072732A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 텍스쳐 합성 기반 예측 모드를 이용하는 비디오 부호화/복호화 방법 및 장치
WO2017010073A1 (ja) * 2015-07-10 2017-01-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
CN116781932A (zh) * 2017-03-13 2023-09-19 韩国电子通信研究院 基于非典型块的运动预测和补偿的方法及其装置
CN117395394A (zh) * 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
CN118678099A (zh) * 2017-11-09 2024-09-20 三星电子株式会社 运动信息编码设备、运动信息解码设备和比特流发送方法
WO2019152283A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
CN113315975B (zh) 2018-03-29 2022-12-06 华为技术有限公司 一种双向帧间预测方法及装置
US11477474B2 (en) 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
KR102606146B1 (ko) 2018-07-02 2023-11-23 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 예측 방법 및 관련 장치
US11051010B2 (en) 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
CN112544082B (zh) * 2018-07-18 2023-12-15 寰发股份有限公司 一种视频编解码的帧间预测方法及装置
EP3844950A4 (en) * 2018-08-28 2022-05-25 FG Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
CN117082259A (zh) 2018-10-10 2023-11-17 华为技术有限公司 帧间预测方法及装置
SG11202104046TA (en) 2018-10-27 2021-05-28 Huawei Tech Co Ltd Separate merge list and intra-inter techniques harmonization for video coding
WO2020098713A1 (en) * 2018-11-13 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for prediction
CN113678434B (zh) * 2018-11-14 2024-06-28 腾讯美国有限责任公司 视频编解码的方法和装置
US10848763B2 (en) * 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
CN111263147B (zh) 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
WO2020123998A1 (en) * 2018-12-13 2020-06-18 Tencent America LLC Video decoding by determining block reconstruction based on signaling information
CN111698500B (zh) * 2019-03-11 2022-03-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023043223A1 (ko) * 2021-09-15 2023-03-23 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050281329A1 (en) * 2004-06-17 2005-12-22 Douglas Chin System and method for reducing visible artifacts in video coding using multiple reference pictures
KR100824616B1 (ko) * 2006-06-01 2008-04-24 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CN1744719A (zh) * 2002-04-09 2006-03-08 Lg电子株式会社 块的预测方法
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
WO2004064255A2 (en) 2003-01-07 2004-07-29 Thomson Licensing S.A. Mixed inter/intra video coding of macroblock partitions
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100750145B1 (ko) 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100728031B1 (ko) * 2006-01-23 2007-06-14 삼성전자주식회사 가변 블록 크기 움직임 예측을 위한 부호화 모드 결정 방법및 장치
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
JP5666293B2 (ja) * 2007-04-12 2015-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
EP2191652B1 (en) * 2007-09-02 2017-02-08 Lg Electronics Inc. A method and an apparatus for processing a video signal
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8189668B2 (en) * 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
KR20090095316A (ko) 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
EP2266318B1 (en) * 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
US20090245371A1 (en) 2008-03-28 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding information about intra-prediction mode of video
US20090274213A1 (en) 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for computationally efficient intra prediction in a video coder
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050281329A1 (en) * 2004-06-17 2005-12-22 Douglas Chin System and method for reducing visible artifacts in video coding using multiple reference pictures
KR100824616B1 (ko) * 2006-06-01 2008-04-24 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058207A1 (ko) * 2012-10-08 2014-04-17 엘지전자 주식회사 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
US9894384B2 (en) 2012-10-08 2018-02-13 Lg Electronics Inc. Multiview video signal encoding method and decoding method, and device therefor
WO2014163437A2 (ko) * 2013-04-05 2014-10-09 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
WO2014163437A3 (ko) * 2013-04-05 2014-11-27 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
CN105681810A (zh) 2016-06-15
US12028511B2 (en) 2024-07-02
US10491892B2 (en) 2019-11-26
US20210297660A1 (en) 2021-09-23
KR101782929B1 (ko) 2017-09-28
US11057618B2 (en) 2021-07-06
KR102004836B1 (ko) 2019-07-29
KR20180075711A (ko) 2018-07-04
CN102934440A (zh) 2013-02-13
KR102233820B1 (ko) 2021-03-29
US20160330444A1 (en) 2016-11-10
KR102344855B1 (ko) 2021-12-28
CN105744282B (zh) 2018-10-23
CN105681810B (zh) 2018-11-06
KR101873767B1 (ko) 2018-07-03
KR102439252B1 (ko) 2022-08-31
CN105791859B (zh) 2018-11-06
CN105791860A (zh) 2016-07-20
CN105791860B (zh) 2018-10-16
CN105744282A (zh) 2016-07-06
US9042450B2 (en) 2015-05-26
CN102934440B (zh) 2016-04-13
US20240223752A1 (en) 2024-07-04
WO2011149291A3 (ko) 2012-04-19
US9407930B2 (en) 2016-08-02
KR20190089093A (ko) 2019-07-29
US20130077689A1 (en) 2013-03-28
KR20210036420A (ko) 2021-04-02
US20130163669A1 (en) 2013-06-27
US9020032B2 (en) 2015-04-28
KR102108078B1 (ko) 2020-05-08
KR20130090785A (ko) 2013-08-14
US20200092547A1 (en) 2020-03-19
US20150229958A1 (en) 2015-08-13
KR20200047794A (ko) 2020-05-07
CN105791859A (zh) 2016-07-20
KR20170115102A (ko) 2017-10-16
KR20210158888A (ko) 2021-12-31

Similar Documents

Publication Publication Date Title
WO2011149291A2 (ko) 비디오 신호의 처리 방법 및 장치
JP7551798B2 (ja) インター予測方法および装置
WO2011139099A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2011087271A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2011099792A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2013032074A1 (ko) 머지 모드 움직임 정보 복호화 장치
WO2016200043A1 (ko) 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2010114283A9 (ko) 비디오 신호 처리 방법 및 장치
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2020251260A1 (ko) Block dpcm 예측 방법을 사용하는 비디오 신호 처리 방법 및 장치
JP2022505578A (ja) サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
WO2020185050A1 (ko) 인트라 블록 복사를 이용하는 영상 부호화 및 복호화
WO2014171770A1 (ko) 비디오 신호 처리 방법 및 장치
CN112437299B (zh) 一种帧间预测方法、装置及存储介质
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
WO2018066874A1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
WO2011149292A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2012023817A2 (ko) 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
WO2024112126A1 (ko) 코딩트리유닛의 분할구조를 예측하고 수정하는 비디오 부호화/복호화 방법 및 장치
WO2022177375A1 (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용하여 예측 블록을 생성하는 방법 및 이를 이용한 장치
WO2023022376A1 (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
WO2024219747A1 (ko) 서브블록에 기반한 기하학적 분할모드를 이용하는 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180026053.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11786923

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127033166

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 11786923

Country of ref document: EP

Kind code of ref document: A2