WO2009110721A2 - 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 - Google Patents

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2009110721A2
WO2009110721A2 PCT/KR2009/001026 KR2009001026W WO2009110721A2 WO 2009110721 A2 WO2009110721 A2 WO 2009110721A2 KR 2009001026 W KR2009001026 W KR 2009001026W WO 2009110721 A2 WO2009110721 A2 WO 2009110721A2
Authority
WO
WIPO (PCT)
Prior art keywords
estimator
candidate
predictor
hypothesis
determining
Prior art date
Application number
PCT/KR2009/001026
Other languages
English (en)
French (fr)
Other versions
WO2009110721A3 (ko
Inventor
김일구
한우진
손유미
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP09716619A priority Critical patent/EP2252062A4/en
Publication of WO2009110721A2 publication Critical patent/WO2009110721A2/ko
Publication of WO2009110721A3 publication Critical patent/WO2009110721A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding method and apparatus, and an image decoding method and apparatus, and more particularly, to a method and apparatus for predicting inter-motion motion during encoding or decoding of an image.
  • Motion prediction of the H.264 encoder performs inter prediction and intra prediction.
  • Intra prediction refers to performing block prediction of a current picture by using a reference picture stored in a buffer after deblocking filtering is already decoded. That is, prediction is performed by using information between pictures.
  • Inter prediction performs block prediction using pixel data of a block adjacent to a block to be predicted in a picture that is already decoded.
  • Intra prediction and / or inter prediction are performed according to properties of pictures such as I pictures, P pictures, and B pictures.
  • Motion estimation is a process of obtaining a motion vector indicating a difference in moving positions of both macroblocks by searching for a macroblock most similar to a macroblock in a current frame in a previous frame using a predetermined measurement function.
  • the search range is determined and the macroblock is moved by one pixel within the range, and the similarity between the two macroblocks is calculated by a predetermined measurement method to find the most similar macroblock. There is this.
  • An example of a predetermined measurement method is to take the absolute value of the difference between the respective pixel values of the macroblock in the current frame and the macroblock in the search area, and add the values to the macroblock in which the value is the smallest to the most similar macroblock. There is a way to decide.
  • the similarity between the macroblocks of the past frame and the current frame is determined using the similarity value calculated using the pixel values included in the macroblocks of the past and current frame, that is, the matching reference value.
  • the matching reference value is calculated using a predetermined measurement function, and a measurement function may be a sum of absolute difference (SAD), a sum of absolute transformed difference (SATD), or a sum of squared difference (SSD).
  • 1A shows motion prediction using a P picture in H.264 / AVC.
  • motion prediction is performed on the current block 115 in the current picture 110 using the reference block 105 in the reference picture 100.
  • 1B shows motion prediction using a B picture in H.264 / AVC.
  • Motion prediction for a B picture is performed using reference blocks on different reference pictures, respectively.
  • motion prediction may be performed on the current block 165 in the current picture 160 using two reference blocks 153 and 155 in the reference picture 150.
  • the indexes and the two motion vectors for the two reference blocks should be encoded.
  • 1A shows motion prediction using a P picture in H.264 / AVC.
  • 1B shows motion prediction using a B picture in H.264 / AVC.
  • FIG. 2A is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2B is a block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • 3 illustrates estimators in pixel units.
  • FIG. 5 illustrates one embodiment of a candidate predictor set.
  • FIG. 6 illustrates another embodiment of a candidate predictor set.
  • FIG. 7 illustrates one embodiment of a code established for a candidate predictor range and candidate predictor set determination method.
  • FIG. 8 illustrates an embodiment in which a candidate estimator range in integer pixel units is used.
  • FIG 9 illustrates an embodiment in which a candidate estimator range in units of 1/2 pixel is used.
  • FIG. 10 illustrates an embodiment in which a candidate predictor range in units of quarter pixels is used.
  • 11A is a flowchart of an image encoding method according to an embodiment of the present invention.
  • 11B is a flowchart of an image decoding method according to an embodiment of the present invention.
  • An object of the present invention is to propose a method and apparatus for determining an accurate reference block or an estimator in motion prediction that refers to a plurality of blocks in an image encoding method and apparatus and an image decoding method and apparatus.
  • a method of minimizing additional information on motion information is proposed even if a plurality of reference blocks or estimators are used.
  • the encoding method and apparatus using motion prediction according to the present invention can effectively and accurately perform motion prediction by combining a plurality of blocks or estimators.
  • information representing a plurality of reference blocks or estimators is simplified, the compression rate and the communication efficiency are improved.
  • An encoding method and apparatus using motion prediction may improve performance of inter prediction by extracting information about a reference block having a minimum error from a received data stream and performing accurate and efficient motion prediction.
  • An encoding method and apparatus using motion prediction include a video codec based on temporal prediction, a mobile phone, a camcorder, a digital camera, a multimedia player, a next generation DVD, and a software video codec using the codec. Or the like.
  • the encoding method using the motion prediction at least one candidate predictor including at least one candidate predictor range of the current predictor centered on the reference frame Determining a set of candidate predictors; Determining a reference predictor based on an error rate of hypothetical predictors determined using candidate predictors of each of the candidate predictor sets; Performing motion prediction on a current frame using a reference block and a current block corresponding to the reference estimator; And encoding image data including the current frame based on a result of the motion prediction.
  • the determining of a reference estimator of an image encoding method may include generating a hypothesis predictor list including hypothesis estimators determined for each candidate predictor set; And determining a reference estimator based on an error rate of the hypothesis estimator of the generated hypothesis estimator list.
  • the image data encoding step of the image encoding method may include encoding an index of the determined reference estimator.
  • the candidate predictor range includes a predictor at a position separated by 1/4 pixel units from the current estimator, and 1/2 pixels from the current estimator. And at least one of a range including the estimators at positions separated by a unit, and a range including the estimators at positions separated by an integer pixel unit from the current estimator, and determining to include the current estimator.
  • the determining of the candidate predictor set in the image encoding method may include: the candidate predictor set includes a set including one candidate predictor in the candidate predictor range, a set including two candidate predictors, and three candidate predictors. You can decide to include a set.
  • the determining of the reference predictor in the image encoding method may include: determining, as each hypothesized candidate predictor set, an average value of candidate predictors in the candidate predictor set as a hypothesis predictor for the candidate predictor set; And comparing the error rate of the determined hypothesis estimator to determine a hypothesis estimator having the smallest error rate as a reference estimator.
  • the generating of the hypothesis predictor list of the image encoding method may include: hypothesizing the hypothesis predictor of the candidate predictor set including the current estimator to the hypothesis estimator of the candidate predictor set not including the current estimator. It can be placed in a higher position.
  • the hypothesis predictor list includes a hypothesis predictor of a candidate predictor set having a smaller number of candidate predictors than a hypothesis predictor of a candidate predictor set having a large number of candidate predictors. It may be placed in a higher position.
  • the determining of the reference estimator of the image encoding method may include obtaining an average square error of a motion prediction result using the hypothesis estimator; And comparing the mean squared error to determine a hypothesis predictor having the smallest mean squared error as the reference estimator.
  • the determining of the candidate predictor set in the image encoding method may include: four predictors of upper, lower, left and right positions positioned at a predetermined distance from the current estimator, and two diagonal lines centering on the current estimator. Determining a candidate predictor range comprising four predictors located on either side of each diagonal line; And determining, from among the candidate predictors within the determined candidate predictor range, two candidate predictors facing each other with respect to the current predictor to configure each candidate predictor set.
  • the image encoding method of the image encoding method according to an embodiment may further include encoding information about a predetermined distance of the candidate predictor range and information about a direction of candidate predictors constituting the candidate predictor set.
  • a decoding method using motion prediction extracting the image data, the motion vector and the predictor information for motion prediction from the received image bitstream; Determining a reference estimator on a reference frame using the estimator information; Performing motion prediction on the current frame using the reference block corresponding to the reference estimator, the extracted image data, and the motion vector; And reconstructing the current frame based on the motion prediction result, wherein the reference estimator is a hypothesis determined using at least one candidate estimator from a candidate estimator range centered on the current estimator corresponding to the current block. It has the smallest error rate among the estimators.
  • the determining of the reference estimator of the image decoding method may include extracting location information from the estimator information; And determining an estimator located in the position information on the reference frame as the reference estimator.
  • the determining of the reference estimator of the image decoding method may include extracting distance information and direction information from the estimator information; Determining a candidate predictor range disposed at a predetermined distance according to the distance information from the current estimator on the reference frame using the distance information; Determining candidate predictors located in a direction according to the direction information among the candidate predictor ranges using the direction information; And determining the initial error estimator using the determined candidate estimators.
  • the encoding apparatus using the motion prediction at least one candidate predictor including at least one candidate predictor range of the current predictor centered on the reference frame
  • a candidate predictor set determining unit determining a candidate predictor set
  • a reference estimator determiner for determining a reference estimator based on an error rate of hypothesis predictors determined using candidate estimators of each of the candidate predictor sets
  • a motion prediction execution unit configured to perform motion prediction on a current frame by using a reference block and a current block corresponding to the reference estimator;
  • an encoder which encodes image data including the current frame based on a result of the motion prediction.
  • the reference estimator determiner of the image encoding apparatus generates a hypothesis estimator list including hypothesis estimators determined for each candidate estimator set, and generates a reference estimator based on an error rate of the hypothesis estimator of the generated hypothesis estimator list.
  • a reference estimator can be determined.
  • the encoder of the image encoding apparatus may include an estimator index encoder that encodes the determined index of the reference estimator.
  • the encoder of the image encoding apparatus encodes image data including the current frame based on a result of performing the motion prediction, and focuses on information about a predetermined distance of the candidate predictor range and the current estimator. Information about a direction of candidate predictors constituting the candidate predictor set may be encoded.
  • the decoding apparatus using the motion prediction the data extraction unit for extracting the image data, the motion vector and the predictor information for the motion prediction from the received image bitstream ;
  • a reference estimator determiner for determining a reference estimator on a reference frame using the estimator information;
  • a motion prediction execution unit configured to perform motion prediction on the current frame by using a reference block corresponding to the reference estimator, the extracted image data, and the motion vector;
  • an image reconstruction unit reconstructing the current frame based on the motion prediction result, wherein the reference estimator is a hypothetical estimator determined using at least one candidate estimator from a candidate estimator range centered on the current estimator on the reference frame. Has the smallest error rate.
  • the reference estimator determiner of the image decoding apparatus may extract position information from the estimator information, and determine an estimator located in the position information on the reference frame as the reference estimator.
  • the reference estimator determiner of the image decoding apparatus extracts distance information and direction information from the estimator information and uses the distance information to determine a predetermined value based on the distance information from the current estimator on the reference frame.
  • a candidate predictor range disposed at a distance is determined, and using the direction information, candidate candidates located in a direction according to the direction information among the candidate predictor ranges are determined, and the initial error estimator is determined using the determined candidate predictors. You can decide.
  • the present invention includes a computer-readable recording medium containing a program for implementing an image encoding method according to an embodiment of the present invention.
  • the present invention also includes a computer-readable recording medium containing a program for implementing an image decoding method according to an embodiment of the present invention.
  • FIG. 2A is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 200 includes a candidate predictor set determiner 210, a reference predictor determiner 220, a motion prediction performer 230, and an encoder 240.
  • the candidate estimator set determiner 210 includes at least one candidate estimator in a reference frame input to the multi-hypothesis predicting apparatus 200, including at least one candidate predictor range centered on a current predictor on a reference frame corresponding to the current block.
  • One candidate predictor set is determined, and the determined candidate predictor set is output to the reference estimator determiner 220.
  • the estimator may mean a pixel at a location representing a block or pixels for motion prediction. That is, a search point for finding reference data.
  • the estimator is present on the reference frame for the current block of the current frame to be encoded or decoded.
  • the candidate predictor set determiner 210 determines a candidate predictor range including a plurality of candidate predictors in a reference frame input to the image decoding apparatus 200 to determine a reference predictor for the current predictor.
  • the candidate estimator range may include a current estimator on the reference frame and an estimator located a distance from the current estimator.
  • the candidate estimator range may be determined as at least one of ranges including estimators at positions separated by a quarter pixel unit, a half pixel unit, and an integer pixel unit from the current predictor.
  • the candidate predictor set determiner 210 determines at least one candidate predictor set including at least one candidate predictor within the determined candidate predictor range. That is, one set of candidate predictors may include at least one candidate predictor, and there may be one or more such candidate predictors.
  • a candidate predictor set within the predictor range may include a set including one candidate predictor, a set including two candidate predictors, and a set including three candidate predictors.
  • the candidate predictor set may consist of only one candidate predictor set, and there may be a predictor set for all cases from a set of one candidate predictor to a set including N candidate predictors. In this case, N is less than or equal to the total number of candidate predictors within the candidate predictor range.
  • the reference estimator determiner 220 of the image encoding apparatus 200 receives the candidate predictor set from the candidate predictor set determiner 210 and estimates the reference based on the error rate of the hypothesis predictors determined using the candidate estimator of the candidate predictor set.
  • the ruler is determined, and the determined reference estimator is output to the motion prediction performer 230 of the image encoding apparatus 200.
  • the reference estimator determiner 220 of the image encoding apparatus 200 determines a hypothesis predictor for each candidate predictor set by using candidate predictors in each candidate predictor set.
  • a hypothesis predictor for a candidate predictor set may be an average value of candidate predictors in the candidate predictor set.
  • An embodiment of the reference estimator determiner 220 of the image encoding apparatus 200 may generate a hypothesis predictor list including hypothesis predictors determined for each candidate predictor set. On the hypothesis predictor list, the hypothesis predictor of the candidate predictor set including the current estimator may be placed higher than the hypothesis predictor of the candidate predictor set including the current predictor. In addition, a hypothesis predictor of a candidate predictor set having a small number of candidate predictors may be positioned higher than a hypothesis predictor of a candidate predictor set having a large number of candidate predictors.
  • the reference estimator determiner 220 of the image encoding apparatus 200 determines the reference estimator based on the error rate of the hypothesis predictors.
  • the block corresponding to the determined reference estimator becomes a reference block for the current block.
  • the reference estimator determiner 230 of the image encoding apparatus 200 obtains a mean squared error (MSE) of a motion prediction result using each hypothesis estimator, compares the mean squared error, and compares the smallest mean square.
  • MSE mean squared error
  • a hypothesis estimator with errors is determined as a reference estimator.
  • the motion estimation performer 230 of the image encoding apparatus 200 receives reference estimator information from the reference estimator determiner 220 and uses the reference block and the current block corresponding to the reference estimator to predict the motion of the current frame. Do this.
  • the encoder 240 encodes image data including the current frame based on the result of the motion prediction performed by the motion prediction performer 230.
  • An embodiment of the encoder 240 may encode an index indicating the position information of the reference estimator input from the reference estimator determiner 220.
  • at least one of distance information of the candidate predictor range input from the candidate predictor set determining unit 210 and direction information of the candidate predictor set may be encoded.
  • FIG. 2B is a block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 250 includes a data extractor 260, a reference estimator determiner 270, a motion prediction performer 280, and an image reconstructor 290.
  • the data extractor 260 extracts image data, a motion vector, and estimator information from the received image bitstream and outputs the image data to the reference estimator determiner 270 and the motion prediction performer 280.
  • the estimator information may be at least one of index information of the minimum error estimator, distance information of the candidate estimator range, and direction information of the candidate estimator set.
  • the reference estimator determiner 270 of the image decoding apparatus 250 determines the reference estimator for the current block in the reference frame by using the estimator information.
  • the reference estimator is a hypothesis estimator having the smallest error rate among hypothesis predictors determined using at least one candidate estimator among the candidate estimator ranges centered on the current estimator corresponding to the current block.
  • the reference estimator determiner 270 uses the distance information to determine a candidate estimator range disposed at a predetermined distance according to the distance information from the current estimator, and uses the direction information. Accordingly, candidate predictors located in the direction according to the direction information among the candidate predictor ranges may be determined. The initial error estimator may be determined using the determined candidate estimators.
  • the reference estimator determiner 270 may determine an estimator located in the location information as the reference estimator.
  • the motion prediction performer 280 of the image decoding apparatus 250 performs motion prediction on the current frame by using a reference block corresponding to the reference estimator, extracted image data, and a motion vector.
  • the reconstructor 290 reconstructs the current frame and decodes the entire image based on the prediction result.
  • 3 illustrates estimators in pixel units.
  • Candidate predictor candidates for the current predictor 300 to be included in the candidate predictor set determination unit 210 are included in the candidate predictor range by estimators 312 and 313 located at integer pixel distances from the current predictor 300 on the reference frame. , 314, 315, estimators located at distances of 1/2 pixel units 322, 324, 326, 328, estimators located at distances of 1/4 pixel units 331, 332, 333, 334, 335, 336 , 337, 338, 339, 340, 341, 342, etc.) and the current estimator 300.
  • the candidate estimator range includes estimators located some distance from the current estimator 300.
  • the candidate estimator range may include only estimators 312, 313, 314, and 315 located at an integer pixel distance from the current estimator 300.
  • estimators 312, 313, 314, and 315 located at an integer pixel distance estimators 322, 324, 326, and 328 located at a 1/2 pixel distance, and a 1/4 pixel distance It may include all of the located estimators 331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342, and so on.
  • only some of the predictors of the same distance may be selected as candidate predictor ranges.
  • the candidate estimator range shown in FIG. 3 is located at a quarter-pixel unit distance from the current estimator 300 and the estimators 335, 336, 337, 338, 339, 340, 341, and 342 surrounding the current estimator 300. And an estimator of the current estimator position 300.
  • One embodiment of the candidate estimator range shown in FIG. 4 includes a current estimator position 400 and eight estimators 410, 420, 430, 440 450, 460, 470, 480 surrounding the current estimator position 400. do.
  • the distance between the estimators may be adjusted in units of 1/4 pixels, 1/2 pixels, and integer pixels.
  • the estimators of the candidate estimator range select the current estimator position 400 among the predictors of the 1/4 pixel unit distance of the estimator of the current estimator position 400.
  • the estimators 410, 420, 430, 440 450, 460, 470, 480 and estimator 400 of the current estimator position Surrounding estimators 410, 420, 430, 440 450, 460, 470, 480 and estimator 400 of the current estimator position.
  • the estimator of the current estimator position 400 and the estimators 410, 420, 430, 440 of an integer pixel unit distance from the current estimator position 400 And predictors 450, 460, 470, and 480 with a half-pixel unit distance are included in the candidate predictor range.
  • FIG. 5 illustrates one embodiment of a candidate predictor set.
  • the candidate predictor set determiner 210 determines one or more candidate predictor sets including at least one candidate predictor within a candidate predictor range.
  • the candidate predictor range includes estimators 502, 506, 510, 522, 530, 542, 546, and 550 located at a distance of 1/4 pixels surrounding the current estimator 526 and the current estimator position ( Up to 9 estimators up to 526).
  • One candidate predictor set includes N candidate predictors in the candidate predictor range.
  • N is the total number of candidate predictors within the candidate predictor range.
  • An embodiment of a set of candidate predictors that may be generated in one candidate predictor range may include a set including one candidate predictor in the candidate predictor range and a set including n candidate predictors in the candidate predictor range.
  • n is an integer greater than 1 and less than or equal to N.
  • the candidate predictor set includes: sets comprising one candidate predictor of the candidate predictor range, sets comprising two candidate predictors of the candidate predictor range, of the candidate predictor range It may include sets that contain three candidate predictors.
  • the reference estimator determiner 220 of the encoding apparatus 200 determines a hypothesis predictor using candidate predictors in each candidate predictor set. For example, the hypothetical estimator determines the average position of candidate predictors in the candidate predictor set.
  • the hypothesis predictor value is the average of the pixel values of candidate predictors in the candidate predictor set.
  • a hypothetical estimator, determined for a candidate set of candidates of two estimators 502, 506 at a quarter pixel distance, is an estimator 504 at a distance of one eighth pixel, the average position of the two estimators 502, 506. Is determined.
  • the hypothesis estimator for the candidate estimator set 570 of the two estimators 530 and 550 in units of 1/4 pixels is determined by the estimator 540 located at a distance of 1/8 pixel units.
  • the image encoding apparatus 200 and the image decoding apparatus 250 according to the present invention can predict 1/8 pixel units even in an H.264 environment based on 1/4 pixel units.
  • the current predictor 526 becomes a hypothetical predictor for a set of candidate predictors that includes only the current predictor 526 as a candidate estimator, but for a candidate predictor set 560 that includes two candidate predictors 506, 546. It may also be a hypothesis estimator, which is the average position of the fields 506, 546. As the number of candidate predictors in the candidate predictor set increases, the predictors at predetermined positions may be redefined and detailed.
  • the hypothesis predictor 220 is included in the list from the hypothesis predictor for the candidate predictor set having the smallest number of candidate predictors in the order of the hypothesis predictor for the candidate predictor set with the large number of candidate predictors.
  • the order on the list may be a priority for determining a reference predictor for the current block.
  • the hypothesis predictor for a candidate predictor set including the current estimator is a hypothesis for a candidate predictor set that does not currently have a predictor on the hypothesis predictor list. Take priority over estimators.
  • the reference estimator determiner 220 determines, as a reference estimator, an optimal hypothesis estimator having the least error rate of hypothesis predictors with respect to candidate predictor sets. According to an exemplary embodiment of the reference estimator determiner 220, the motion compensation is performed by using each hypothesis estimator to calculate an error rate, and the mean square error (MSE) for each hypothesis estimator is compared to determine a minimum mean. The hypothesis estimator that generates the squared error is determined as the reference estimator, that is, the reference estimator. Once the reference estimator is determined, an index indicating information such as the location of the reference estimator may be transmitted.
  • MSE mean square error
  • FIG. 6 illustrates another embodiment of a candidate predictor set.
  • the candidate predictor range determiner 210 may determine that two candidate predictors facing each other centering on the current predictor among candidate predictors within the candidate predictor range form one candidate predictor set. In this case, the current predictor is not included in the candidate predictor set.
  • a candidate predictor set is formed for each of the two candidate predictors facing in the horizontal, vertical and both diagonal directions with respect to the current predictor. That is, the candidate predictor set including the candidate predictors facing in the horizontal direction about the current predictor (direction 1), the candidate predictor set including the candidate predictors facing in the vertical direction (direction 2) and the diagonal facing downwards. There may be a candidate predictor set (direction 3) including the viewing candidate predictors, and a candidate predictor set (direction 4) including the candidate predictors facing in the diagonal direction to the left.
  • FIG. 7 illustrates one embodiment of a code established for a candidate predictor range and candidate predictor set determination method.
  • the image encoding apparatus 200 may encode information about a candidate predictor range and a method of determining a candidate predictor set.
  • the image decoding apparatus 250 may obtain information about the reference estimator by decoding the information on the candidate estimator range and the candidate estimator determination method.
  • the candidate predictor range may be defined by the distance between the predictors surrounding the current predictor. For example, if the distance is 1/2 pixel, the integer estimator surrounding the current predictor and the 1/2 pixel estimator correspond to the candidate estimator range. Referring to the estimator number of FIG. 3, the integer estimator 312, 313, 314, and 315 and the half pixel unit estimators 322, 324, 326, and 328 include candidate predictor ranges. do.
  • the predictors surrounding the current predictor among the predictors located at a quarter pixel unit distance from the current predictor correspond to the candidate predictor range.
  • estimators 335, 336, 337, 338, 339, 340, 341, and 342 in quarter pixel units constitute a candidate predictor range.
  • the candidate predictor set may be defined according to directions in which the candidate predictor sets face each other with respect to the current predictor. That is, a candidate predictor set may be defined in directions 1, 2, 3, and 4, respectively.
  • a distance code setting unit configured to set information about a predetermined distance from a current estimator to a candidate estimator within a candidate estimator range as a distance code, and a candidate estimator centered on the current estimator
  • a code output unit for outputting a distance code and a direction code to set the type of direction of the candidate predictors in the set as the direction code.
  • the distance code setting unit sets the 1/4 pixel distance to the distance code 0 and the 1/2 pixel distance to the distance code 1.
  • the direction code setting unit sets the direction 1 as the direction code 100, the direction 2 as the direction code 101, the direction 3 as the direction code 110, and the direction 4 as the direction code 111.
  • the direction code 0 is set in preparation for not using a plurality of hypothesis estimators. However, the distance code setting unit sets the distance code only when the direction code is not zero.
  • the image decoding apparatus 250 Since the candidate predictor set is determined according to each code, when the direction code and the distance code indicating the reference estimator determined by the image encoding apparatus 200 are transmitted, the image decoding apparatus 250 refers to only the received direction code and the distance code. Know the estimator.
  • FIG. 8 illustrates an embodiment in which a candidate estimator range in integer pixel units is used.
  • the process for obtaining the estimator X is as follows.
  • the estimator X has an effect determined by the filtering process with a 7 tap filter for estimators in integer pixel units.
  • FIG 9 illustrates an embodiment in which a candidate estimator range in units of 1/2 pixel is used.
  • the process for obtaining the predictor X is as follows.
  • FIG. 10 illustrates an embodiment in which a candidate predictor range in units of quarter pixels is used.
  • the process for obtaining the predictor X is as follows.
  • 11A is a flowchart of an image encoding method according to an embodiment of the present invention.
  • At least one candidate predictor set including at least one candidate predictor from among candidate predictor ranges centered on the current predictor corresponding to the current block is determined in the reference frame.
  • the reference estimator is determined based on the error rate of the hypothesis predictors determined using the candidate estimator of each candidate predictor set.
  • a hypothesis predictor list including hypothesis predictors determined for each candidate predictor set may be generated.
  • the hypothesis predictor may be determined as an average value of candidate predictors in each candidate predictor set.
  • the hypothesis estimator having the smallest mean square error may be determined as the reference estimator.
  • motion prediction for the current frame is performed using the current block and the reference block corresponding to the reference estimator.
  • image data including the current frame is encoded based on the result of performing the motion prediction.
  • the index of the reference estimator may be encoded and transmitted.
  • Distance information of the candidate predictor range and direction information of the candidate predictor set may be encoded and transmitted.
  • 11B is a flowchart of an image decoding method according to an embodiment of the present invention.
  • image data, a motion vector, and estimator information for motion prediction are extracted from the received image bitstream.
  • the estimator information may be location information for the reference estimator.
  • the predictor information may be at least one of distance information of a candidate predictor range and direction information of a candidate predictor set for determining a reference predictor.
  • a reference estimator for the current block is determined using the estimator information.
  • the reference estimator is determined as an estimator having the smallest error rate among hypothesis predictors determined using at least one candidate estimator among the candidate estimator ranges centered on the current estimator corresponding to the current block.
  • motion prediction for the current frame is performed using the reference block corresponding to the reference estimator, the extracted image data, and the motion vector.
  • step 1190 the current frame is reconstructed based on the motion prediction result.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, a DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 예측에 기초한 영상 부호화 방법 및 장치, 그리고 움직임 예측에 기초한 영상 복호화 방법 및 장치에 관한 것이다. 본 발명에 따른 영상 부호화 방법은 참조 프레임에서, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 결정된 적어도 하나의 후보 추정자 집합 중 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하며, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하고, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화함으로써, 화면 간 예측의 성능을 개선시킬 수 있다.

Description

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
기술분야
본 발명은 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 영상의 부호화 또는 영상의 복호화 중 화면 간 움직임 예측 방법 및 그 장치에 관한 것이다.
 배경기술
H.264는 종래의 동영상 압축 표준들에 비해 보다 다양하고 복잡한 기술들을 사용함으로써 압축률과 화질을 획기적으로 개선하고 있다. 이러한 이유로 종래의 동영상 압축 표준을 대체하여 디지털 멀티미디어 방송(Digital Multimedia Broadcasting: DMB), DVD 등에 응용 기술로 각광을 받고 있다.
H.264 인코더의 움직임 예측(motion prediction)은, 인터 예측(inter prediction)과 인트라 예측(intra prediction)을 수행한다. 인트라 예측은, 이미 복호화된 후 디블로킹 필터링이 수행되어 버퍼에 저장되어 있는 참조 픽처(reference picture)를 이용하여, 현재 픽처의 블록 예측을 수행하는 것을 말한다. 즉, 픽처들간의 정보를 이용하여 예측을 수행한다. 인터 예측은, 이미 복호화된 픽처 내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 블록 예측을 수행한다. I 픽처, P 픽처, B 픽처 등의 픽처의 속성에 따라 인트라 예측 및/또는 인터 예측이 수행된다.
움직임 추정(motion estimation, 이하 ME)은 소정의 측정 함수를 이용하여 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색함으로써 양 매크로 블록의 이동 위치의 차이를 나타내는 움직임 벡터를 구하는 과정이다. 가장 유사한 매크로블록을 찾는 방법 중 대표적인 예로는, 탐색범위를 정해 그 범위 내에서 매크로 블록을 한 픽셀씩 움직여 가면서 소정의 측정방법에 의해 양 매크로 블록간의 유사한 정도를 계산하여 가장 유사한 매크로 블록을 찾는 방법이 있다.
소정의 측정 방법의 예로는, 현재 프레임 내의 매크로 블록과 탐색 영역내의 매크로 블록의 대응하는 각 픽셀값 간의 차의 절대값을 취해 그 값들을 더한 값이 가장 작은 경우의 매크로 블록을 가장 유사한 매크로 블록으로 정하는 방법이 있다.
보다 구체적으로, 과거 프레임과 현재 프레임의 매크로 블록의 유사도는 과거 및 현재 프레임의 매크로 블록에 포함된 픽셀값을 이용하여 계산되는 유사도값, 즉 정합 기준값을 이용하여 판단된다. 정합 기준값은 소정의 측정 함수를 이용하여 계산되며, 측정 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference) 또는 SSD(Sum of Squared Difference) 등이 사용될 수 있다.
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
현재 픽처(110)가 P 픽처인 경우, 참조 픽처(100) 내의 참조 블록(105)을 이용하여 현재 픽처(110) 내의 현재 블록(115)에 대한 움직임 예측이 수행된다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
B 픽처에 대한 움직임 예측은, 각각 다른 참조 픽처 상의 참조 블록을 이용하여 수행된다. 또한, 참조 픽처(150) 내의 두 참조 블록(153, 155)을 이용하여 현재 픽처(160) 내의 현재 블록(165)에 대한 움직임 예측이 수행될 수도 있다. 이 때 두 참조 블록에 대한 인덱스와 두 움직임 벡터가 부호화되어야 한다.
 도면의 간단한 설명
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코드의 일 실시예를 도시한다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.
 기술적 과제
본 발명이 해결하고자 하는 과제는, 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치에서 복수 개의 블록을 참조하는 움직임 예측에 있어서, 정확한 참조 블록 또는 추정자를 결정하는 방법을 제안하는 데 있다. 또한, 복수 개의 참조 블록 또는 추정자가 이용되더라도 움직임 정보에 대한 추가적 정보를 최소화하는 방법이 제안된다.
 유리한 효과
본 발명에 따른 움직임 예측을 이용한 부호화 방법 및 장치는 복수 개의 블록 또는 추정자를 조합함으로써 효과적이고 정확하게 움직임 예측을 할 수 있다. 또한, 복수 개의 참조 블록 또는 추정자를 나타내는 정보가 단순화되므로 압축률 및 통신 효율이 향상된다.
움직임 예측을 이용한 부호화 방법 및 장치는, 수신된 데이터스트림으로부터 최소 오차를 갖는 참조 블록에 대한 정보를 추출하여, 정확하고 효율적인 움직임 예측을 함으로써 화면 간 예측의 성능을 향상시킬 수 있다.
본 발명의 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 움직임 예측을 이용한 복호화 방법 및 장치는 시간적 예측에 기반한 비디오 코덱 및 이 코덱을 사용하는 핸드폰, 캠코더, 디지털 카메라, 멀티미디어 플레이어, 차세대 디브이디, 소프트웨어 비디오 코덱 등에 사용될 수 있다.
 발명의 실시를 위한 최선의 형태
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 방법은, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 단계; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 단계를 포함한다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하는 단계; 및 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 데이터 부호화 단계는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 범위가, 상기 현재 추정자로부터 1/4 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 상기 현재 추정자로부터 1/2 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 및 상기 현재 추정자로부터 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 한 범위를 포함하고, 상기 현재 추정자를 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 집합이, 상기 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 및 세 후보 추정자들을 포함하는 집합을 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 결정된 각각의 후보 추정자 집합마다, 상기 후보 추정자 집합 내의 후보 추정자의 평균 값을 상기 후보 추정자 집합에 대한 가설 추정자로 결정하는 단계; 및 상기 결정된 가설 추정자의 오차율을 비교하여 가장 작은 오차율을 갖는 가설 추정자를 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 상기 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자를 상기 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치시킬 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자를, 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치시킬 수도 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하는 단계; 상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 현재 추정자를 중심으로 소정 거리에 위치하는 상측, 하측, 좌측 및 우측의 네 추정자들 및 상기 현재 추정자를 중심으로 하는 두 대각선 중 각각의 대각선의 양쪽에 위치한 네 추정자들을 포함하는 후보 추정자 범위를 결정하는 단계; 및 상기 결정된 후보 추정자 범위 내의 후보 추정자들 중 상기 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 각각의 후보 추정자 집합을 구성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 부호화 방법은, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화 하는 단계를 더 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 방법은, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 단계; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 단계를 포함하고, 상기 참조 추정자는, 상기 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터 위치 정보를 추출하는 단계; 및 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하는 단계; 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하는 단계; 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하는 단계; 및 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 단계를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 장치는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 후보 추정자 집합 결정부; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 부호화부를 포함한다.
일 실시예에 따른 영상 부호화 장치의 상기 참조 추정자 결정부는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하고, 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자를 결정할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 추정자 인덱스 부호화부를 포함할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하고, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 현재 추정자를 중심으로 하는 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 장치는, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 데이터 추출부; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 영상 복원부를 포함하고, 상기 참조 추정자는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터 위치 정보를 추출하고, 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정할 수 있다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하고, 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하고, 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정할 수 있다.
본 발명은, 본 발명의 일 실시예에 따른 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예에 따른 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터 판독 가능한 기록 매체를 포함한다.
 발명의 실시를 위한 형태
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 후보 추정자 집합 결정부(210), 참조 추정자 결정부(220), 움직임 예측 수행부(230) 및 부호화부(240)를 포함한다.
후보 추정자 집합 결정부(210)는 멀티 가설 예측 장치(200)로 입력된 참조 프레임에서, 현재 블록에 대응되는 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 결정된 후보 추정자 집합을 참조 추정자 결정부(220)로 출력한다.
본 발명에서 추정자는 움직임 예측을 위한 블록 또는 픽셀들을 대표하는 위치의 픽셀을 의미할 수 있다. 즉, 참조 데이터를 찾기 위한 탐색점이다. 또한, 추정자는 부호화 또는 복호화될 현재 프레임의 현재 블록에 대한 참조 프레임 상에 존재한다.
후보 추정자 집합 결정부(210)는 현재 추정자를 위한 참조 추정자를 결정하기 위해, 영상 복호화 장치(200)로 입력된 참조 프레임에서 복수 개의 후보 추정자들을 포함하는 후보 추정자 범위를 결정한다. 후보 추정자 범위는 참조 프레임 상의 현재 추정자 및 현재 추정자로부터 소정 거리에 위치한 추정자들을 포함할 수 있다. 예를 들어, 후보 추정자 범위는 현재 추정자로부터 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 하나로 결정할 수 있다.
후보 추정자 집합 결정부(210)는 결정된 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정한다. 즉, 하나의 후보 추정자 집합에는 적어도 하나의 후보 추정자가 포함될 수 있으며, 그러한 후보 추정자가 하나 이상 있을 수 있다.
추정자 범위 내에서 후보 추정자 집합의 일 실시예는 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 세 후보 추정자들을 포함하는 집합을 모두 포함할 수도 있다. 또한, 후보 추정자 집합은 한 후보 추정자의 집합만으로 구성될 수 있으며, 한 후보 추정자의 집합부터 N 개의 후보 추정자들을 포함하는 집합까지 모든 경우의 추정자 집합이 있을 수 있다. 이 때, N은 후보 추정자 범위 내의 총 후보 추정자 수보다 작거나 같다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합 결정부(210)로부터 후보 추정자 집합을 입력받아, 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하고, 결정된 참조 추정자를 영상 부호화 장치(200)의 움직임 예측 수행부(230)로 출력한다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합마다, 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 후보 추정자 집합에 대한 가설 추정자는 해당 후보 추정자 집합 내의 후보 추정자의 평균 값일 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)의 일 실시예는 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성할 수 있다. 가설 추정자 리스트 상에서는, 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자가, 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치할 수 있다. 또한, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자가 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치할 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정한다. 결정된 참조 추정자에 대응되는 블록이 현재 블록에 대한 참조 블록이 된다.
영상 부호화 장치(200)의 참조 추정자 결정부(230)는, 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차(Mean Squared Error, MSE)를 구하고, 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 참조 추정자로 결정한다.
영상 부호화 장치(200)의 움직임 예측 수행부(230)는 참조 추정자 결정부(220)로부터 참조 추정자 정보를 입력받고, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행한다.
부호화부(240)는 움직임 예측 수행부(230)의 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화한다. 부호화부(240)의 일 실시예는 참조 추정자 결정부(220)로부터 입력된 참조 추정자의 위치 정보를 나타내는 인덱스를 부호화할 수도 있다. 또한, 후보 추정자 집합 결정부(210)로부터 입력된 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나가 부호화될 수도 있다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(250)는 데이터 추출부(260), 참조 추정자 결정부(270), 움직임 예측 수행부(280) 및 영상 복원부(290)를 포함한다.
데이터 추출부(260)는 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하고, 참조 추정자 결정부(270) 및 움직임 예측 수행부(280)로 출력한다. 추정자 정보는 최소 오차 추정자의 인덱스 정보, 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
영상 복호화 장치(250)의 참조 추정자 결정부(270)는 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정한다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 가설 추정자이다.
추정자 정보가 거리 정보, 방향 정보를 포함하는 경우, 참조 추정자 결정부(270)는 거리 정보를 이용하여, 현재 추정자로부터 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 방향 정보를 이용하여, 후보 추정자 범위 중 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정할 수 있다. 결정된 후보 추정자들을 이용하여 최초 오차 추정자가 결정될 수 있다.
추정자 정보로부터 위치 정보가 추출된다면, 참조 추정자 결정부(270)는 상기 위치 정보에 위치되는 추정자를 상기 참조 추정자로 결정할 수 있다.
영상 복호화 장치(250)의 움직임 예측 수행부(280)는 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측을 수행한다.
또한, 복원부(290)는 예측 결과에 기초하여 현재 프레임을 복원하고, 전체 영상을 복호화한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
후보 추정자 집합 결정부(210)가 후보 추정자 범위에 포함시킬 현재 추정자(300)에 대한 후보 추정자의 후보는, 참조 프레임 상에서 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등) 및 현재 추정자(300)일 수 있다.
후보 추정자 범위는 현재 추정자(300)로부터 소정 거리에 위치한 추정자들을 포함한다. 예를 들어, 후보 추정자 범위는 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315)만을 포함할 수 있다. 또한, 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등)을 모두 포함할 수도 있다. 또한, 동일 거리의 추정자들 중에서 일부 추정자만이 후보 추정자 범위로 선택될 수도 있다.
도 3 에 도시된 후보 추정자 범위는 현재 추정자(300)로부터 1/4 화소 단위 거리에 위치하면서 현재 추정자(300)를 둘러싼 추정자들(335, 336, 337, 338, 339, 340, 341, 342) 및 현재 추정자 위치(300)의 추정자를 포함한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 4 에 도시된 후보 추정자 범위의 일 실시예는 현재 추정자 위치(400) 및 현재 추정자 위치(400)를 둘러싼 8개의 추정자들(410, 420, 430, 440 450, 460, 470, 480)을 포함한다. 추정자들 사이의 거리는 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위로 조절될 수 있다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/4 화소 단위라면, 후보 추정자 범위의 추정자들은 현재 추정자 위치(400)의 추정자의 1/4 화소 단위 거리의 추정자들 중 현재 추정자 위치(400)를 둘러 싼 추정자들(410, 420, 430, 440 450, 460, 470, 480) 및 현재 추정자 위치의 추정자(400)이다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/2 화소 단위라면, 현재 추정자 위치(400)의 추정자 및 현재 추정자 위치(400)로부터 정수 화소 단위 거리의 추정자들(410, 420, 430, 440) 및 1/2 화소 단위 거리의 추정자들(450, 460, 470, 480)가 후보 추정자 범위에 포함된다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
후보 추정자 집합 결정부(210)는 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 후보 추정자 집합를 하나 이상 결정한다. 도 5 를 참조하면 후보 추정자 범위는, 현재 추정자(526)를 둘러싼 1/4 화소 단위의 거리에 위치한 추정자들(502, 506, 510, 522, 530, 542, 546, 550) 및 현재 추정자 위치(526)의 추정자까지 9개의 추정자들을 포함한다.
하나의 후보 추정자 집합은 후보 추정자 범위 중 N 개의 후보 추정자를 포함한다. N은 후보 추정자 범위 내의 총 후보 추정자 개수이다. 예를 들어, 도 5의 후보 추정자 범위에서는, 두 추정자(510, 522)를 포함하는 후보 추정자 집합(580)이 있을 수 있다. 후보 추정자 집합들이 포함하고 있는 모든 후보 추정자들이 동일하지 않다면, 서로 다른 후보 추정자 집합이다.
한 후보 추정자 범위에서 생성될 수 있는 후보 추정자 집합의 일 실시예는, 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합부터, 후보 추정자 범위 중 n 개의 후보 추정자를 포함하는 집합까지를 모두 포함할 수도 있다(이 때, n 은 1보다 크고 N보다 작거나 같은 정수). 예를 들어, N = 9이고 n = 3이면, 후보 추정자 집합은, 후보 추정자 범위 중 한 개의 후보 추정자를 포함하는 집합들, 후보 추정자 범위 중 두 개의 후보 추정자들을 포함하는 집합들, 후보 추정자 범위 중 세 개의 후보 추정자들을 포함하는 집합들을 포함할 수 있다.
부호화 장치(200)의 참조 추정자 결정부(220)는 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 예를 들어 후보 추정자 집합 내의 후보 추정자들의 평균 위치를 가설 추정자로 결정한다. 가설 추정자 값은 후보 추정자 집합 내의 후보 추정자들의 픽셀 값의 평균이 된다. 1/4 화소 단위 거리의 두 추정자들(502, 506)의 후보 추정자 집합에 대해 결정되는 가설 추정자는, 두 추정자들(502, 506)의 평균 위치인 1/8 화소 단위 거리의 추정자(504)가 결정된다.
마찬가지로 1/4 화소 단위의 두 추정자들(530, 550)의 후보 추정자 집합(570)에 대한 가설 추정자는 1/8 화소 단위 거리에 위치한 추정자(540)로 결정되므로, 본 발명에 일 실시예에 따른 영상 부호화 장치(200) 및 영상 복호화 장치(250)는 1/4 화소 단위 예측 기반의 H.264 환경에서도 1/8 화소 단위 예측이 가능해진다.
현재 추정자(526)는 현재 추정자(526)만을 후보 추정자로써 포함하는 후보 추정자 집합에 대해서는 가설 추정자가 되지만, 두 후보 추정자들(506, 546)를 포함하는 후보 추정자 집합(560)에 대해서는 두 후보 추정자들(506, 546)의 평균 위치인 가설 추정자가 될 수도 있다. 이렇게 후보 추정자 집합 내의 후보 추정자들의 개수가 많아지면서, 소정 위치의 추정자는 재정의되고 상세화될 수도 있다.
참조 추정자 결정부(220)가 가설 추정자 리스트를 생성하는 경우, 후보 추정자 수가 적은 후보 추정자 집합에 대한 가설 추정자로부터, 후보 추정자 수가 많은 후보 추정자 집합에 대한 가설 추정자 순서로 리스트에 수록된다. 리스트 상의 순서는 현재 블록에 대한 참조 추정자 결정을 위한 우선 순위일 수 있다.
또한, 동일한 개수의 후보 추정자를 보유하는 후보 추정자 집합에 대한 가설 추정자에 대해서는, 현재 추정자를 포함하는 후보 추정자 집합에 대한 가설 추정자가, 가설 추정자 리스트 상에서 현재 추정자를 보유하지 않은 후보 추정자 집합에 대한 가설 추정자에 비해 우선 순위를 차지한다.
참조 추정자 결정부(220)는 후보 추정자 집합들에 대한 가설 추정자들의 오차율이 가장 적은 최적의 가설 추정자를 참조 추정자로 결정한다. 참조 추정자 결정부(220)의 일 실시예는 오차율을 산정하기 위해, 각각의 가설 추정자들을 이용하여 움직임 보상을 한 결과, 각각의 가설 추정자들에 대한 평균 제곱 오차(MSE)를 비교하여, 최소 평균 제곱 오차를 발생시키는 가설 추정자를 참조 추정자, 즉 참조 추정자로 결정한다. 참조 추정자가 결정되면, 참조 추정자의 위치 등의 정보를 나타내는 인덱스가 전송될 수도 있다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
후보 추정자 범위 결정부(210)는, 후보 추정자 범위 내의 후보 추정자들 중 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 하나의 후보 추정자 집합을 구성하도록 결정할 수 있다. 이 경우 현재 추정자는 후보 추정자 집합에 포함되지 않는다.
현재 추정자를 중심으로 가로, 세로 및 양 대각선 방향으로 마주보는 두 후보 추정자들마다 각각 후보 추정자 집합을 구성하도록 결정할 수 있다. 즉, 현재 추정자를 중심으로 수평 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 1), 수직 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 2), 오른쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 3), 왼쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 4)이 있을 수 있다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코드의 일 실시예를 도시한다.
영상 부호화 장치(200)는 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대한 정보를 부호화할 수 있다. 영상 복호화 장치(250)는 후보 추정자 범위 및 후보 추정자 결정 방법에 대한 정보를 복호화함으로써, 참조 추정자에 대한 정보를 획득할 수 있다.
이하 후보 추정자 범위 및 후보 추정자 집합 결정 방법을, 도 6 에서 도시된 후보 추정자 범위 및 후보 추정자 집합을 참조하여 기술된다. 후보 추정자 범위는, 현재 추정자를 둘러싼 추정자 사이의 거리에 의해 정의될 수 있다. 예로 들면, 거리가 1/2 화소 단위라고 하면 현재 추정자를 둘러싼 정수 화소 단위의 추정자들 및 1/2 화소 단위의 추정자들이 후보 추정자 범위에 해당된다. 도 3 의 추정자 번호를 이용하여 설명하면, 정수 화소 단위의 추정자들(312, 313, 314, 315) 및 1/2 화소 단위의 추정자들(322, 324, 326, 328)이 후보 추정자 범위를 포함한다.
또한, 거리가 1/4 화소 단위라 하면, 현재 추정자로부터 1/4 화소 단위의 거리에 위치한 추정자들 중 현재 추정자를 둘러싼 추정자들이 후보 추정자 범위에 해당된다. 도 3 에서, 1/4 화소 단위의 추정자들(335, 336, 337, 338, 339, 340, 341, 342)이 후보 추정자 범위를 구성한다.
후보 추정자 집합은, 도 6 과 같이 후보 추정자 집합의 결정 방법이 제한되어 있다면, 후보 추정자 집합들이 현재 추정자를 중심으로 서로 마주 보는 방향에 따라 정의될 수 있다. 즉, 방향 1, 방향 2, 방향 3, 방향 4로 후보 추정자 집합이 정의될 수 있다.
전술한 바와 같이, 후보 추정자 범위의 거리와 후보 추정자 집합의 결정 방법에 대한 정보를 미리 부호화하면 그 유용성이 높아진다. 움직임 예측을 이용한 영상 부호화 장치(200)의 일 실시예는 현재 추정자로부터 후보 추정자 범위 내의 후보 추정자들까지의 소정 거리에 대한 정보를 거리 코드로 설정하는 거리 코드 설정부, 현재 추정자 중심으로 하는 후보 추정자 집합을 이루는 후보 추정자들의 방향의 종류에 정보를 방향 코드로 설정하는 방향 코드 설정부, 및 거리 코드 및 방향 코드를 출력하는 코드 출력부를 포함할 수 있다.
거리 코드 설정부는, 1/4 화소 거리를 거리 코드 0으로, 1/2 화소 거리를 거리 코드 1로 설정한다. 방향 코드 설정부는, 도 7 과 같이, 방향 1을 방향 코드 100, 방향 2를 방향 코드 101, 방향 3을 방향 코드 110, 방향 4를 방향 코드 111로 설정한다. 또한, 복수 개의 가설 추정자를 이용하지 않는 경우를 대비하여, 방향 코드 0을 설정한다. 단, 거리 코드 설정부는 방향 코드 0 이 아닌 경우에만 거리 코드를 설정한다.
각각의 코드에 따라 후보 추정자 집합이 결정되므로, 영상 부호화 장치(200)에 의해 결정된 참조 추정자를 나타내는 방향 코드 및 거리 코드를 전송하면, 영상 복호화 장치(250)는 수신된 방향 코드 및 거리 코드만으로 참조 추정자를 알 수 있다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 정수 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M 은 M = ( H0 + c ) / 2 로 결정되고, 추정자 N 은 N = ( H1 + c ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + 2c + H1 ) / 2 로 결정된다. H.264의 6 탭 필터 보간에 의해 추정자 H0 는 H0 = ( l - 5a + 20b + 20c - 5d + e ) / 32이고, 추정자 H1 는 H1 = ( a - 5b + 20c + 20d - 5e + f ) / 32 이다. 따라서, 추정자 X 는 X = ( H0 + 2c + H1 ) / 2 = ( l - 4a + 15b + 104c + 15d - 4e + f ) / 64 로 결정된다. 추정자 X 는 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 결정되는 효과가 발생한다.
두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( H0 + H1 ) / 2 로 결정되며, 전술된 추정자 H0 및 추정자 H1의 결정식을 대입하면 추정자 X 는 X = ( l - 4a + 15b + 40c + 15d - 4e + f ) / 64 로 결정된다. 이 경우도 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 추정자 X 가 결정되는 효과가 발생한다.
따라서, 본 발명의 멀티 가설 예측 방법에 의하면, H.264의 고정적인 6 탭 필터링 또는 보간이 아닌, 상황에 따라 다양한 필터링 결과를 얻을 수 있다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/2 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M은 M = ( c + H ) / 2 로 결정되고, 추정자 N은 N = ( d + H ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( c + 2H + d ) / 2 이다. 추정자 H 는 H.264의 6 탭 필터링에 의해 H = ( a - 5b + 20c + 20d - 5e + f + 16 ) / 32 로 결정되므로, 추정자 X 는 정수 화소 단위 추정자들인 추정자 c, 추정자 d, 추정자 H 에 대한 1:2:1 필터링이 수행되는 효과가 발생된다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( c + d ) / 2 로 결정되므로, 추정자 c 및 추정자 d 에 대한 겹선형 필터링을 통해 추정자 X 가 결정될 수 있다.
따라서, 정수 화소 단위의 추정자에 대한 고정적인 6 탭 필터링이 아닌 다양한 필터링이 수행되는 효과가 발생된다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/4 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( c + H1 ) / 2 로 결정된다. 이는 H.264 에서 1/4 화소 단위 추정자를 결정하기 위한 겹선형 필터링과 동일한 결과이다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 M은 M = ( c + H0 ) / 2 으로 결정되고, 추정자 N은 N = ( d + H1 ) / 2로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + c + H1 + d ) / 4 로 결정된다. 따라서, 전술된 H.264 에서의 추정자 H0 및 추정자 H1에 대한 결정식을 이용하면, 추정자 X 는 X = ( M + N ) / 2 = ( l - 4a + 15b + 72c + 47d - 4e + f ) / 64 로 결정되고, 정수 화소 단위의 추정자들에 대한 7 탭 필터링의 결과가 발생된다. 다양한 필터링이 수행되는 효과가 발생된다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
단계 1110에서, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합이 참조 프레임에서 결정된다.
단계 1120에서, 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자가 결정된다. 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트가 생성될 수 있다. 가설 추정자는 각각의 후보 추정자 집합 내의 후보 추정자의 평균 값으로 결정될 수 있다.
각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 비교하여, 가장 작은 평균 제곱 오차를 갖는 가설 추정자가 참조 추정자로 결정될 수 있다.
단계 1130에서, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1140에서, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터가 부호화된다. 참조 추정자의 인덱스가 부호화되어 전송될 수 있다. 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보가 부호화되어 전송될 수도 있다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.
단계 1160에서, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보가 추출된다. 추정자 정보는 참조 추정자에 대한 위치 정보일 수 있다. 또한, 추정자 정보는 참조 추정자를 결정하기 위한 후보 추정자 범위의 거리 정보 및 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
단계 1170에서, 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자가 결정된다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 추정자로 결정된다.
단계 1180에서, 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1190에서, 움직임 예측 결과에 기초하여 현재 프레임이 복원된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (25)

1. 움직임 예측을 이용한 부호화 방법에 있어서,
참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 단계;
상기 적어도 하나의 후보 추정자 집합 중 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 적어도 하나의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계;
상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및
상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
2. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
상기 적어도 하나의 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하는 단계; 및
상기 생성된 가설 추정자 리스트의 상기 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
3. 제 1 항에 있어서, 상기 영상 데이터 부호화 단계는,
상기 결정된 참조 추정자의 인덱스를 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
4. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
상기 후보 추정자 범위가, 상기 현재 추정자로부터 1/4 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 제 1 범위, 상기 현재 추정자로부터 1/2 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 제 2 범위, 및 상기 현재 추정자로부터 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 제 3 범위 중 적어도 한 범위를 포함하고, 상기 현재 추정자를 포함하도록 결정하는 것을 특징으로 하는 영상 부호화 방법.
5. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
상기 적어도 하나의 후보 추정자 집합이, 상기 후보 추정자 범위 중 한 후보 추정자를 포함하는 제 1 집합, 두 후보 추정자들을 포함하는 제 2 집합, 및 세 후보 추정자들을 포함하는 제 3집합을 포함하도록 결정하는 것을 특징으로 하는 영상 부호화 방법.
6. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
상기 결정된 적어도 하나의 후보 추정자 집합 중 각각의 후보 추정자 집합마다, 상기 각각의 후보 추정자 집합 내의 후보 추정자들의 평균 값을 가설 추정자들 중 하나로 결정하는 단계; 및
상기 적어도 하나의 후보 추정자 집합 중 각각의 후보 추정자 집합에 대한 가설 추정자들의 오차율들을 비교하여 최소 오차율을 갖는 참조 추정자로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
7. 제 2 항에 있어서, 상기 가설 추정자 리스트 생성 단계는,
상기 가설 추정자 리스트에, 상기 현재 추정자 위치의 후보 추정자를 포함하는 후보 추정자 집합의 가설 추정자를 상기 현재 추정자 위치의 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치시키는 것을 특징으로 하는 영상 부호화 방법.
8. 제 2 항에 있어서, 상기 가설 추정자 리스트 생성 단계는,
상기 가설 추정자 리스트에, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자를, 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치시키는 것을 특징으로 하는 영상 부호화 방법.
9. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하는 단계; 및
상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
10. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
상기 현재 추정자를 중심으로 소정 거리에 위치하는 상측, 하측, 좌측 및 우측의 네 추정자들 및 상기 현재 추정자를 중심으로 하는 두 대각선 중 각각의 대각선의 양쪽에 위치한 네 추정자들을 포함하는 후보 추정자 범위를 결정하는 단계; 및
상기 결정된 후보 추정자 범위 내의 후보 추정자들 중 상기 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 각각의 후보 추정자 집합을 구성하도록 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
11. 제 10 항에 있어서, 상기 영상 부호화 방법은,
상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 적어도 하나의 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화 하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
12. 움직임 예측을 이용한 복호화 방법에 있어서,
수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 단계;
상기 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정하는 단계;
상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및
상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 단계를 포함하고,
상기 참조 추정자는, 상기 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 것을 특징으로 하는 영상 복호화 방법.
13. 제 12 항에 있어서, 상기 참조 추정자 결정 단계는,
상기 추정자 정보로부터 위치 정보를 추출하는 단계; 및
상기 참조 추정자를 상기 참조 프레임 상의 상기 위치 정보에 위치하도록 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
14. 제 12 항에 있어서, 상기 참조 추정자 결정 단계는,
상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하는 단계;
상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하는 단계;
상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하는 단계; 및
상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
15. 움직임 예측을 이용한 부호화 장치에 있어서,
참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 후보 추정자 집합 결정부;
상기 적어도 하나의 후보 추정자 집합 중 각가의 후보 추정자 집합의 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자 결정부;
상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및
상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
16. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
상기 적어도 하나의 후보 추정자 집합 중 각각의 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하고, 상기 생성된 가설 추정자 리스트의 가설 추정자 리스트들의 오차율에 기초하여 참조 추정자를 결정하는 것을 특징으로 하는 영상 부호화 장치.
17. 제 15 항에 있어서, 상기 부호화부는,
상기 결정된 참조 추정자의 인덱스를 부호화하는 추정자 인덱스 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
18. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
상기 결정된 적어도 하나의 후보 추장자 집합 중 각각의 후보 추정자 집합마다, 상기 각각의 후보 추정자 집합 내의 후보 추정자들의 평균 값을 상기 가설 추정자들 중 하나로 결정하고, 상기 적어도 하나의 후보 추정자 집합 중 적어도 하나의 후보 추정자 집합에 대한 가설 추정자들의 오차율들을 비교하여, 가장 작은 오차율을 갖는 가설 추정자를 참조 추정자로 결정하는 것을 특징으로 하는 영상 부호화 장치.
19. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
상기 가설 추정자들을 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하고, 상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 것을 특징으로 하는 영상 부호화 장치.
20. 제 15 항에 있어서, 상기 부호화부는,
상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하고, 상기 후보 추정자 범위를 나타내는 소정 거리에 대한 정보 및 상기 적어도 하나의 후보 추정자 집합을 이루는 적어도 하나의 후보 추정자의 방향들에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
21. 움직임 예측을 이용한 복호화 장치에 있어서,
수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 데이터 추출부;
상기 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정하는 참조 추정자 결정부;
상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및
상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 영상 복원부를 포함하고,
상기 참조 추정자는, 상기 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 것을 특징으로 하는 영상 복호화 장치.
22. 제 21 항에 있어서, 상기 참조 추정자 결정부는,
상기 추정자 정보로부터 위치 정보를 추출하고, 상기 참조 추정자를 상기 참조 프레임 상의 상기 위치 정보에 위치하도록 결정하는 것을 특징으로 하는 영상 복호화 장치.
23. 제 21 항에 있어서, 상기 참조 추정자 결정부는,
상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하고,
상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고,
상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하고,
상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 것을 특징으로 하는 영상 복호화 장치.
24. 제 1 항의 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
25. 제 12 항의 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터 판독 가능한 기록 매체.
PCT/KR2009/001026 2008-03-03 2009-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 WO2009110721A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP09716619A EP2252062A4 (en) 2008-03-03 2009-03-03 ENCODING METHOD AND DEVICE USING MOTION PREDICTION USING MULTI-REFERENCING, AND DECODING METHOD AND DEVICE USING MOTION PREDICTION USING MULTI-REFERENCING

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080019642A KR20090094595A (ko) 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
KR10-2008-0019642 2008-03-03

Publications (2)

Publication Number Publication Date
WO2009110721A2 true WO2009110721A2 (ko) 2009-09-11
WO2009110721A3 WO2009110721A3 (ko) 2009-10-29

Family

ID=41013153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/001026 WO2009110721A2 (ko) 2008-03-03 2009-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US8204127B2 (ko)
EP (1) EP2252062A4 (ko)
KR (1) KR20090094595A (ko)
WO (1) WO2009110721A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
EP2536148B1 (en) 2010-02-09 2021-10-27 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
WO2011099468A1 (ja) 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US8588303B2 (en) * 2010-03-31 2013-11-19 Futurewei Technologies, Inc. Multiple predictor sets for intra-frame coding
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
WO2012122927A1 (en) * 2011-03-14 2012-09-20 Mediatek Inc. Method and apparatus for derivation of motion vector candidate and motion vector prediction candidate
EP2774360B1 (en) 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
KR101407832B1 (ko) 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법
KR101635111B1 (ko) * 2014-05-15 2016-06-30 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101635114B1 (ko) * 2015-01-29 2016-06-30 삼성전자주식회사 영상 복호화 방법
KR101676791B1 (ko) * 2015-04-14 2016-11-16 삼성전자주식회사 영상 복호화 방법
WO2019152283A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
KR20200008531A (ko) * 2018-07-16 2020-01-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021046692A1 (en) * 2019-09-09 2021-03-18 Alibaba Group Holding Limited Resolution-adaptive video coding with conditional interpolation filters
WO2023030504A1 (en) * 2021-09-03 2023-03-09 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
KR100238893B1 (ko) 1997-09-30 2000-01-15 전주범 참조 움직임 벡터수에 기초한 움직임 벡터 부호화 방법 및 그 장치
KR100255756B1 (ko) 1997-10-10 2000-05-01 전주범 움직임벡터부호화방법
KR100488043B1 (ko) 2002-05-03 2005-05-06 엘지전자 주식회사 Ｍｈ 픽쳐의 매크로블록 코딩정보 생성 방법
KR100824616B1 (ko) 2006-06-01 2008-04-24 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2252062A4

Also Published As

Publication number Publication date
KR20090094595A (ko) 2009-09-08
US20090220005A1 (en) 2009-09-03
EP2252062A4 (en) 2011-06-08
US8204127B2 (en) 2012-06-19
EP2252062A2 (en) 2010-11-17
WO2009110721A3 (ko) 2009-10-29

Similar Documents

Publication Publication Date Title
WO2009110721A2 (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
WO2011019247A2 (en) Method and apparatus for encoding/decoding motion vector
WO2015009039A1 (ko) 비디오 코딩에서 사선 모드의 인트라 예측 향상을 위한 방법
WO2019147079A1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2009157674A2 (ko) 움직임벡터 부호화/복호화 방법 및 그 장치
WO2011087321A2 (en) Method and apparatus for encoding and decoding motion vector
WO2019190211A1 (ko) 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
WO2011090313A2 (ko) 이전 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하는 영상 부호화, 복호화 방법 및 장치
WO2014200313A1 (ko) 움직임 정보를 획득하기 위한 방법
WO2018236031A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2010044563A2 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2011053022A2 (en) Method and apparatus for encoding/decoding image with reference to a plurality of frames
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2019194568A1 (ko) 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
WO2017048008A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2014178563A1 (ko) 인트라 예측 방법 및 장치
WO2021006617A1 (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
WO2020251324A1 (ko) 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
WO2015093810A1 (ko) 이미지 블록의 포워드 복수-가설 인코딩/디코딩 방법 및 장치
WO2019078427A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2011053054A9 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2020197243A1 (ko) Smvd(symmetric motion vector difference)를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2019117659A1 (ko) 움직임 벡터 도출을 기반으로 하는 영상 코딩 방법 및 그 장치
WO2021015512A1 (ko) Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020251340A1 (ko) 움직임 벡터 예측 기반 영상/비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09716619

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2009716619

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE