WO2011068330A2 - 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법 - Google Patents

인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법 Download PDF

Info

Publication number
WO2011068330A2
WO2011068330A2 PCT/KR2010/008386 KR2010008386W WO2011068330A2 WO 2011068330 A2 WO2011068330 A2 WO 2011068330A2 KR 2010008386 W KR2010008386 W KR 2010008386W WO 2011068330 A2 WO2011068330 A2 WO 2011068330A2
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
quarter
pixels
quarter pixel
diagonal
Prior art date
Application number
PCT/KR2010/008386
Other languages
English (en)
French (fr)
Other versions
WO2011068330A3 (ko
Inventor
김수년
임정연
이규민
최재훈
정제창
이강준
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/513,091 priority Critical patent/US20120300848A1/en
Publication of WO2011068330A2 publication Critical patent/WO2011068330A2/ko
Publication of WO2011068330A3 publication Critical patent/WO2011068330A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Definitions

  • Embodiments of the present invention relate to an inter prediction frame generation device and a method for generating the same, and a reference frame interpolation device and method used therein. More specifically, by interpolating the pixel values of the quarter pixels located at the intersection of the left diagonal and right diagonal in half pixels in a more accurate manner with respect to the reference frame to be used for prediction, the pixel of the quarter pixel compared to the general H. 264 standard.
  • the present invention relates to an inter prediction frame generating apparatus and a method for generating the same, and a reference frame interpolation apparatus used therein, which can predict a value more accurately and thereby improve the efficiency of inter prediction.
  • the basic principle of compressing data is to eliminate redundancy in the data. Accordingly, the compression of digital image data may occur due to spatial overlap such as repeating the same color or object in an image, or temporal overlap such as when there is almost no change in adjacent frames in a video frame, or the same sound is repeatedly repeated in audio.
  • the statistical properties of codes are used to remove overlapping frequency signals with high visual and perceptual power.
  • H.264 is a digital video codec standard that has a very high data compression ratio, also called MPEG-4 Part 10 or Advanced Video Coding (AVC).
  • AVC Advanced Video Coding
  • This standard is based on the Video Coding Experts Group (VCEG) of the International Telecommunication Union Telecommunication Standardization Sector (ITU-T) and the International Standardization Organization / International Electrotechnical Commission (ISO / IEC). This is the result of MPEG jointly forming and standardizing a Joint Video Team.
  • VCEG Video Coding Experts Group
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • ISO / IEC International Electrotechnical Commission
  • the H.264 standard uses motion estimation and compensation as a representative method of reducing temporal redundancy.
  • a method of reducing temporal redundancy is also referred to as a temporal prediction method, and as shown in FIG. 1, when a current block 112 of the current frame 110 is predicted, a reference block of another temporally adjacent frame 120 is shown. It is a method of predicting with reference to (reference block) 122. That is, in inter-prediction of the current block 112 of the current frame 110, the adjacent reference frame 120 is searched for in time, and the reference block (the most similar to the current block 112 in the reference frame 120) 122).
  • the reference block 122 is a block that can best predict the current block 112, and the block having the smallest sum of absolute difference (SAD) with the current block 112 may be the reference block 122.
  • the reference block 122 serves as a reference for the prediction block with respect to the current block 112, and generates a residual block by subtracting the reference block 122 from the current block 112.
  • the generated residual block is encoded and inserted into the bitstream.
  • the relative difference between the position of the current block 112 in the current frame 110 and the position of the reference block 122 in the reference frame 120 is called a motion vector 130, and the motion vector 130 is also a residual block. Is encoded as follows. Temporal prediction is also referred to as inter prediction or inter prediction.
  • the motion estimation and compensation method finds the most similar part from a previous or subsequent reference frame with respect to a specific part of the current frame, and transmits only the difference component of two parts. It reduces the data more effectively, but it requires considerable estimation time and computation to find the most similar part of the previous or subsequent screen. Therefore, efforts have been made to reduce the motion estimation time, which takes the most time when encoding a video.
  • the motion estimation method includes a pixel-by-pixel basis and a block-by-block basis, among which a block-based estimation method is widely used.
  • the block unit estimation method is a method of dividing an image into blocks having a predetermined size and finding a block that best matches the current block of the current frame in a search region (reference frame) of the previous image.
  • a motion vector indicating a difference between the reference block and the current block is encoded and processed.
  • Various matching functions can be used to calculate the matching between two blocks. The most commonly used is SAD, which is the sum of the absolute values of the difference between pixels between two blocks.
  • the H.264 standard performs motion estimation up to 4x4 block units, which are smaller block sizes than conventional methods, and performs motion compensation up to 1/4 pixel units to improve compression performance.
  • the H.264 video coding standard has twice the compression performance compared to the MPEG-4 Advanced Simple Profile (ASP), which is the existing video coding standard.
  • ASP MPEG-4 Advanced Simple Profile
  • FIG. 1 is a diagram for explaining a method of performing 1/4 pixel interpolation used for motion estimation in the H. 264 standard.
  • the H. 26 standard defines integer pixels, half pixels (1/2 pixels) and quarter pixels (1/4 pixels), as shown in FIG. At this time, the location of each pixel is shown only a portion necessary for explanation.
  • An integer pixel is a unit representing an original image, and as shown, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, Located in R, S, T, U, etc.
  • the half pixel is a unit for representing an integer pixel image up to 1/2 pixel unit, and is aa, bb, b, cc, dd, h, j, ee, ff which are 1/2 positions between each integer pixel. , gg, hh, ii, jj, etc.
  • the quarter pixel is a unit for representing an integer pixel image up to a quarter pixel unit, and each integer pixel and half pixel, and a, c, d, and e are half positions between the half pixel and the half pixel.
  • the half pixel and the quarter pixel are generated by using integer pixels, and a quarter pixel interpolation method is performed. More specifically, aa, bb, b, hh, ii, jj, cc, dd, h, ee, 6 tap Wiener filters (coefficients: 1, -5, 20, 20, -5, 1) are applied in the vertical and horizontal directions to produce half pixels at the positions ff and gg. Generate pixel values. For example, the pixel value of a half pixel located in b between two integer pixels G and H in the horizontal direction is applied by applying a six-tap winner filter to the integer pixels E, F, G, H, I, and J in the horizontal direction. It can be obtained, it can be represented by the equation (1).
  • the same 6 tap Wiener filter is applied to aa, bb, b, hh, ii, jj to generate the pixel value of the half pixel at the position of j.
  • linear interpolation means interpolation by multiplying the coefficient according to the distance from the original signal.
  • pixel values are obtained by linear interpolation of diagonal half pixels by the method of Equation 2.
  • the method of obtaining pixel values of the quarter pixels located in the left diagonal direction and the right diagonal direction such as e, g, n, and p is simply based on the linear interpolation method by referring to the pixel values of the diagonal half pixel positions. Since each pixel value can be obtained with a relatively small amount of calculation because the pixel value of each pixel is located in the left diagonal direction and the right diagonal direction calculated in this manner, the pixel values of the quarter pixels located in the left diagonal direction and the right diagonal direction have a large error. There is a problem that the efficiency of inter prediction is much lowered.
  • One embodiment of the present invention is to solve the above-described problem, and by interpolating the pixel values of the quarter pixels located at the intersection of the left diagonal and the right diagonal in half pixels in a more accurate manner with respect to the reference frame to be used for prediction, Compared with the H. 264 standard, an inter prediction frame generator and a method for generating the same, and a reference frame interpolator used therein, which can predict the pixel value of the corresponding quarter pixel more accurately and thereby improve the efficiency of inter prediction. It aims to provide the method.
  • an interpolation apparatus is an interpolation apparatus that interpolates a reference frame in quarter pixel units, and includes a quarter pixel positioned at an intersection of left and right diagonal lines in a half pixel unit.
  • a directional determination unit that determines a directionality of the quarter pixel based on pixel values of pixels positioned in both up, down, left, and right directions, left and right directions, and right and right directions of the corresponding quarter pixel;
  • an interpolation processor for interpolating pixel values of the quarter pixels by applying a linear interpolation method differently according to the direction determined by the directional decision unit.
  • the interpolator includes a horizontal calculation unit for calculating an absolute value of the pixel value difference of the pixels located to the left and right of the quarter pixel;
  • a vertical calculation unit configured to calculate an absolute value of a pixel value difference between pixels positioned above and below the quarter pixel;
  • a left diagonal calculation unit configured to calculate an absolute value of a pixel value difference between pixels positioned at both ends of a left diagonal of the quarter pixel;
  • a right diagonal calculation unit for calculating an absolute value of the pixel value difference between the pixels positioned at the right diagonal ends of the quarter pixel.
  • the directional determination unit determines the directionality in the direction corresponding to the one having the smallest value among the horizontal direction calculation unit, the vertical direction calculation unit, the left diagonal direction calculation unit, and the right diagonal direction calculation unit.
  • the interpolation processor may predict the pixel value of the quarter pixel as follows.
  • e is a quarter pixel
  • d is a pixel located to the left of the quarter pixel
  • f is a pixel located to the right of the quarter pixel
  • >> is a shift operation considering rounding.
  • the interpolation processor may predict the pixel value for the quarter pixel in the following manner when the direction of the quarter pixel is determined in the vertical direction by the direction determiner.
  • e is a quarter pixel
  • a is a pixel located above the quarter pixel
  • i is a pixel located below the quarter pixel
  • >> is a shift operation considering rounding.
  • the interpolation processor may predict the pixel value for the quarter pixel in the following manner when the direction of the quarter pixel is determined in the right diagonal direction by the direction determiner.
  • e is a quarter pixel
  • G is a pixel located on the upper left side of the quarter pixel
  • j is a pixel located on the lower right side of the quarter pixel
  • >> is a shift operation considering rounding.
  • the interpolation processor may predict the pixel value of the quarter pixel in the following manner when the direction of the quarter pixel is determined in the left diagonal direction by the direction determiner.
  • e is a quarter pixel
  • b is a pixel located on the upper right side of the quarter pixel
  • h is a pixel located on the lower left side of the quarter pixel
  • >> is a shift operation considering rounding.
  • an apparatus for generating an inter prediction frame is based on a quarter pixel located at an intersection of a left diagonal and a right diagonal in units of half pixels.
  • An interpolation unit for determining a direction of a corresponding quarter pixel based on pixel values of pixels positioned in left and right diagonal directions and interpolating a reference frame by applying a linear interpolation method differently according to the determined direction;
  • a motion estimator for estimating the motion of the current frame based on the interpolated reference frame and determining a motion vector;
  • a motion compensator for performing motion compensation on the interpolated reference frame using the motion vector determined by the motion estimator.
  • the interpolation method for interpolating the reference frame in units of quarter pixels, the quarter pixel located at the intersection of the left diagonal and right diagonal in the half pixel unit Determining directionality of the corresponding quarter pixel based on pixel values of pixels positioned in up, down, left, and right directions, left and right diagonal directions, and right and right bidirectional directions of the corresponding quarter pixel; And interpolating pixel values with respect to the quarter pixel by applying a linear interpolation method differently according to the direction determined by the direction determining step.
  • the directional determination step may include the absolute value of the pixel value difference of the pixels positioned to the left and right of the quarter pixel, the absolute value of the pixel value difference of the pixels positioned above and below the quarter pixel, and the pixels located at the left diagonal ends of the quarter pixel. Calculating the absolute value of the pixel value difference between the absolute value of the pixel value difference and the right diagonal of the quarter pixel; And comparing the respective calculated absolute values to select the smallest absolute value. In this case, the directionality is determined in the direction corresponding to the selected absolute value.
  • the inter prediction frame generation method for achieving the above object, the upper and lower directions, left and right directions, left diagonal directions of the quarter pixel located at the intersection of the left diagonal and right diagonal in the unit of half pixel and Determining directionality of the corresponding quarter pixel based on pixel values of pixels located in right diagonal directions; Interpolating a reference frame by applying a linear interpolation method differently according to the direction determined by the directional determination step; Estimating the motion of the current frame based on the interpolated reference frame and determining a motion vector; And generating a prediction frame for the current frame by performing motion compensation on the interpolated reference frame using the motion vector determined by the motion estimation step.
  • 1 is a diagram illustrating a relationship between a quarter pixel and an integer pixel.
  • FIG. 2 is a diagram schematically illustrating an inter prediction frame generation device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a reference frame interpolation method used in the inter prediction frame generating apparatus of FIG. 2.
  • FIG. 4 is a flowchart illustrating a method of generating an inter prediction frame by the inter prediction frame generating apparatus of FIG. 3.
  • FIG. 2 is a diagram schematically illustrating an inter prediction frame generation device according to an embodiment of the present invention.
  • the inter prediction frame generating apparatus includes an interpolator 210, a motion estimator 220, and a motion compensator 230.
  • the interpolator 210 determines the direction of the quarter pixel based on pixels located around the quarter pixel located at the intersection of the left diagonal and the right diagonal in the unit of half pixel, and applies the linear interpolation method differently according to the determined direction. Interpolate the frame.
  • the interpolator 210 may be implemented as one component in the inter prediction frame generator, but as illustrated, the directional determiner 211, the interpolator 213, the horizontal calculator 215, and the vertical
  • the direction calculator 216, the left diagonal calculator 217, and the right diagonal calculator 218 may be included.
  • the direction determination unit 211 determines the direction with respect to the quarter pixel based on the pixels located around the quarter pixel located at the intersection of the left diagonal and the right diagonal in the half pixel unit.
  • half pixels are located at b, h, j, ee, and hh. Further, between the integer pixels G, H, M, N, and the half pixels b, h, j, ee, hh, the quarter pixels a, c, d, e, f, g, kk, I, k, m, n, o, p, mm, nn and oo are located.
  • the left diagonal line in half pixel units leads to pixels b, e and h, pixels H, g, j, n and M, and pixels ee, p and hh, respectively.
  • the right diagonal line in half pixel units leads to pixels b, g and ee, pixels G, e, j, p and N, and pixels h, n and hh, respectively.
  • the quarter pixels located at the intersections of the left diagonal and the right diagonal in units of half pixels are e, g, n, and p.
  • the directional determination unit 211 determines the directionality of the quarter pixel e based on the pixels G, a, b, d, f, h, i and j located in the periphery thereof.
  • the interpolation processor 213 interpolates pixel values for the corresponding quarter pixels by applying a linear interpolation method differently according to the direction determined by the direction determiner 211.
  • the horizontal calculation unit 215 calculates the absolute value of the pixel value difference of the pixels located on the left and right of the quarter pixel. For example, in the case of the quarter pixel e, since the pixels located at the left and right sides are d and f, the horizontal calculation unit 215 calculates the absolute value of the pixel value difference between the pixels d and f as shown in Equation 3 below. .
  • Hor is a value calculated by the horizontal direction calculator 215 and means a calculated value in the horizontal direction.
  • the vertical calculation unit 216 calculates an absolute value of the pixel value difference between the pixels positioned above and below the quarter pixel. For example, in the case of the quarter pixel e, the pixels located above and below are a and i, so the vertical calculation unit 216 calculates the absolute value of the pixel value difference between the pixels a and i as shown in Equation 4. .
  • Ver is a value calculated by the vertical direction calculator 216 and means a calculated value in the vertical direction.
  • the left diagonal calculation unit 217 calculates an absolute value of pixel value differences between pixels positioned at both ends of the left diagonal line of the quarter pixel. For example, in the case of the quarter pixel e, the pixels located at both ends of the left diagonal line are b and h, and thus the left diagonal calculation unit 217 determines the absolute value of the pixel value difference between the pixels b and h as shown in Equation 5 below. Calculate
  • Dig_left is a value calculated by the left diagonal calculation unit 217 and means a calculated value with respect to the left diagonal direction.
  • the right diagonal calculation unit 218 calculates the absolute value of the pixel value difference of the pixels located at both ends of the right diagonal of the quarter pixel. For example, in the case of the quarter pixel e, the pixels located at both ends of the right diagonal are G and j, so the right diagonal calculation unit 218 calculates the absolute value of the pixel value difference between the pixels G and j as shown in Equation (6). Calculate
  • Dig_right is a value calculated by the right diagonal calculation unit 218 and means a calculated value for the right diagonal direction.
  • the directional determination unit 211 is each absolute value calculated by the horizontal calculation unit 215, the vertical calculation unit 216, the left diagonal direction calculation unit 217 and the right diagonal direction calculation unit 218. After selecting the calculated value having the smallest absolute value among them, the direction of the corresponding quarter pixel is determined in the corresponding direction. This is because the smaller the absolute value of the difference between pixels around the quarter pixel, the greater the correlation with the corresponding quarter pixel.
  • the quarter pixel e has been described as an example, the same method may be applied to the case of the quarter pixels g, n, and p.
  • the interpolation processing unit 213 interpolates the quarter pixel by applying a linear interpolation method corresponding thereto according to the direction of the quarter pixel determined by the direction determination unit 211. For example, in the case of the quarter pixel e, if the direction of the quarter pixel e is determined in the horizontal direction by the direction determining unit 211, the interpolation processing unit 213 may determine the quarter pixel e by the linear interpolation method as shown in Equation (7). You can predict pixel values.
  • Equation 7 means (d + f) / 2, so the pixel value of the quarter pixel e is divided by 2 after adding the pixel values of the pixels d and f. Can be predicted.
  • the interpolation processor 213 may predict the pixel value of the quarter pixel e according to the linear interpolation method as shown in Equation (8).
  • Equation 8 means (a + i) / 2, so the pixel value of the quarter pixel e is divided by 2 after adding the pixel values of the pixels a and i. Can be predicted.
  • the interpolation processor 213 may predict the pixel value of the quarter pixel e according to the linear interpolation method as shown in Equation (9). .
  • Equation 9 means (b + h) / 2, so the pixel value of the quarter pixel e is divided by 2 after adding the pixel values of the pixels b and h. Can be predicted by value.
  • the interpolation processor 213 may predict the pixel value of the quarter pixel e according to a linear interpolation method as shown in Equation 10. FIG. .
  • Equation 10 means (G + j) / 2, so the pixel value of the quarter pixel e is divided by 2 after adding the pixel values of the pixels G and j. Can be predicted by value.
  • the motion estimator 220 estimates the motion of the current frame based on the interpolated reference frame and determines a motion vector.
  • a widely used algorithm for such motion estimation is a block matching algorithm. That is, the displacement when the error is the lowest while moving the given motion block in the unit of a specific search region of the reference frame is estimated as a motion vector.
  • a motion block of fixed size may be used for motion estimation, but motion estimation may be performed using a motion block having a variable size by Hierarchical Variable Size Block Matching (HVSBM).
  • HVSBM Hierarchical Variable Size Block Matching
  • the motion estimator 220 provides data such as a motion vector, a motion block size, a reference frame number, and the like, which are obtained as a result of the motion estimation, to the entropy encoder (not shown) for encoding.
  • the motion vector may be a difference from the motion vector in the neighboring block.
  • the motion compensator 230 reduces temporal redundancy of the input video frame.
  • the motion compensator 230 generates an inter prediction frame with respect to the current frame by performing motion compensation on the reference frame using the motion vector calculated by the motion estimator 220.
  • FIG. 3 is a flowchart illustrating a method of interpolating a reference frame in units of quarter pixels by the interpolation unit of FIG. 2.
  • the interpolation unit 210 determines the direction of the quarter pixel based on the pixels located at the periphery of the quarter pixel located at the intersection of the left and right diagonal lines between the half pixels.
  • the horizontal calculation unit 215 calculates the absolute value of the pixel value difference of the pixels located at the left and right of the quarter pixel
  • the vertical calculation unit 216 is the pixel of the pixels located above and below the quarter pixel.
  • the absolute value of the value difference is calculated
  • the left diagonal calculation unit 217 calculates the absolute value of the pixel value difference of pixels positioned at both ends of the left diagonal of the quarter pixel.
  • the right diagonal calculation unit 218 calculates the absolute value of the pixel value difference of the pixels located at both ends of the right diagonal of the quarter pixel (S301).
  • the horizontal calculation unit 215, the vertical calculation unit 216, the left diagonal calculation unit 217, and the right diagonal calculation unit 218 are represented by Equations 3 to 3 below. We can calculate each absolute value as shown in 6.
  • the directional determination unit 211 is each absolute value calculated by the horizontal calculation unit 215, the vertical calculation unit 216, the left diagonal direction calculation unit 217 and the right diagonal direction calculation unit 218. After selecting the calculated value having the smallest absolute value among them (S303), the direction of the corresponding quarter pixel is determined in the corresponding direction (S305).
  • the quarter pixel e has been described as an example, the same method may be applied to the case of the quarter pixels g, n, and p.
  • the interpolation processing unit 213 interpolates the quarter pixel by applying a linear interpolation method corresponding thereto according to the direction of the quarter pixel determined by the direction determination unit 211 (S307).
  • a linear interpolation method such as Equations 7 to 10 may be applied by the direction determining unit 211 according to the direction of the quarter pixel e.
  • the applied linear interpolation method is not limited to the equation described, other linear interpolation method may be applied.
  • the linear interpolation method when predicting a pixel value for a quarter pixel, is performed in consideration of pixels having the highest correlation in relation to surrounding pixels, instead of calculating the same linear interpolation method as conventionally. As a result, it is possible to obtain a more accurate value in predicting the pixel value of the quarter pixel.
  • FIG. 4 is a flowchart illustrating a method of generating an inter prediction frame according to another embodiment of the present invention.
  • steps S401 to S405 are performed by applying the interpolation method of FIG. 3, a detailed description thereof will be omitted.
  • the interpolation processing unit 213 interpolates the quarter pixel by applying a linear interpolation method corresponding thereto according to the direction of the quarter pixel determined by the direction determination unit 211. In this manner, the interpolation processor 213 performs interpolation on the quarter pixel in the reference frame while searching for the reference frame (S407).
  • the motion estimator 220 estimates the motion of the current frame based on the interpolated reference frame and determines a motion vector (S409).
  • the motion estimator 220 provides data such as a motion vector, a motion block size, a reference frame number, etc., which are obtained as a result of the motion estimation, to the entropy encoder (not shown) for encoding.
  • the motion vector may be a difference from the motion vector in the neighboring block.
  • the motion compensator 230 reduces temporal redundancy of the input video frame.
  • the motion compensator 230 generates an inter prediction frame with respect to the current frame by performing motion compensation on the reference frame using the motion vector calculated by the motion estimator 220 (S411). .
  • the embodiment of the present invention is applied to an image device using inter prediction, so that the pixel values of the quarter pixels located at the intersections of the left diagonal and the right diagonal in half pixels in a more accurate manner with respect to the reference frame to be used for prediction.
  • interpolate it is a very useful invention that can improve the efficiency of inter prediction accordingly.

Abstract

인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법이 개시된다. 본 발명에 따른 참조 프레임 보간장치는, 참조 프레임을 쿼터 픽셀 단위로 보간하는 보간장치에 있어서, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀의 주변에 위치한 픽셀들에 기초하여, 쿼터 픽셀에 대한 방향성을 결정하는 방향성 결정부; 및 방향성 결정부에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 쿼터 픽셀에 대한 픽셀 값을 보간하는 보간 처리부를 포함하는 것을 특징으로 한다.

Description

인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
본 발명의 실시예는 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 예측에 활용할 참조 프레임에 대하여 보다 정확한 방법으로 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀들의 픽셀 값을 보간함으로써, 일반적인 H. 264 표준에 비하여 해당 쿼터 픽셀의 픽셀 값을 보다 정확하게 예측할 수 있으며, 그에 따른 인터 예측의 효율을 향상시킬 수 있는 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이에 따라 디지털 영상 데이터의 압축은 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 발생 부호의 통계적 특성을 이용하여 시각 및 지각 능력이 높은 주파수 신호의 중복을 제거하는 방법으로 대별된다.
특히, 동영상 압축 방법으로서 최근에는 MPEG-4(Moving Picture Experts Group-4)에 비해 압축 효율을 한층 향상시킨 H. 264/AVC에 대한 관심이 높아지고 있다.
H. 264는 매우 높은 데이터 압축률을 가지는 디지털 비디오 코덱 표준으로 MPEG-4 파트 10 또는 AVC(Advanced Video Coding)라고 부르기도 한다. 이 표준은 ITU-T(International Telecommunication Union Telecommunication Standardization Sector: 국제전기통신연합 전기통신 표준화 부문)의 VCEG(Video Coding Experts Group: 비디오 코딩 전문가 그룹)와 ISO/IEC(International Standardization Organization/International Electrotechnical Commission)의 MPEG가 공동으로 합동 비디오 팀(Joint Video Team)을 구성하고 표준화를 진행하여 나온 결과물이다.
H. 264 표준은 시간적인 중복성을 줄이는 대표적인 방법으로서 움직임 추정 및 보상 방법을 사용한다. 시간적인 중복성을 줄이는 방법은 시간적 예측(temporal prediction) 방법이라고도 하는데, 도 1에 도시한 바와 같이 현재 프레임(110)의 현재 블록(112)을 예측할 때 시간적으로 인접하는 다른 프레임(120)의 참조 블록(reference block)(122)을 참조하여 예측하는 방식이다. 즉, 현재 프레임(110)의 현재 블록(112)을 인터 예측함에 있어서, 시간적으로 인접하는 참조 프레임(120)을 검색하고, 참조 프레임(120) 내에서 현재 블록(112)과 가장 유사한 참조 블록(122)을 검색한다. 여기서, 참조 블록(122)은 현재 블록(112)을 가장 잘 예측할 수 있는 블록으로서, 현재 블록(112)과의 SAD(Sum of Absolute Difference)가 가장 작은 블록이 참조 블록(122)이 될 수 있다. 참조 블록(122)은 현재 블록(112)에 대한 예측 블록의 기준이 되며, 현재 블록(112)에서 참조 블록(122)을 감산하여 잔차 블록(residual block)을 생성한다. 생성된 잔차 블록이 부호화되어 비트스트림에 삽입된다. 이때, 현재 프레임(110)에서 현재 블록(112)의 위치와 참조 프레임(120)에서 참조 블록(122)의 위치 사이의 상대적인 차이는 움직임 벡터(130)라 하며, 움직임 벡터(130)도 잔차 블록과 같이 부호화된다. 시간적 예측은 인터 예측(inter prediction) 또는 화면간 예측이라고도 한다.
움직임 추정 및 보상 방법은 현재 프레임의 특정 부분에 대해 이전 또는 이후의 참조 프레임으로부터 가장 유사한 부분을 찾고, 두 부분의 차이 성분만을 전송하는 방법으로서, 가능한 한 움직임 벡터를 정밀하게 찾을수록 전송할 차이 성분이 줄어들어 데이터를 더욱 효과적으로 줄일 수 있지만, 이전 또는 이후의 화면에서 가장 유사한 부분을 찾기 위해서는 상당한 추정시간과 계산량이 요구된다. 따라서, 동영상의 부호화 시 시간이 가장 많이 소요되는 움직임 추정시간을 줄이기 위한 노력이 계속되고 있다.
한편, 움직임 추정방법은 크게 픽셀 단위(pixel-by-pixel basis)의 추정방법과 블록 단위(block-by-block basis)의 추정방법이 있으며, 이 중에서 블록단위 추정방법이 널리 사용된다.
블록 단위 추정방법은 전술한 바와 같이, 영상을 일정한 크기의 블록으로 분할하고 이전 영상의 탐색영역(참조 프레임) 내에서 현재 프레임의 현재 블록과 가장 잘 정합되는 블록을 찾는 방법이다. 이때, 참조 블록과 현재 블록의 차를 나타내는 움직임 벡터를 부호화하여 처리한다. 두 블록간의 정합 계산에는 여러 가지 정합함수들이 사용될 수 있으며, 가장 일반적으로 사용되는 것이 두 블록간의 픽셀들 차의 절대값을 모두 합한 값인 SAD이다.
또한, H. 264 표준은 압축 성능을 높이기 위하여 기존의 방식에 비해 더 작은 블록 사이즈인 4x4 블록단위까지 움직임 추정을 수행하고, 1/4 픽셀 단위까지 움직임 보정을 수행한다. 이러한 기술들을 기반으로 H. 264 비디오 부호화 표준은 기존의 비디오 부호화 표준인 MPEG-4 ASP(Advanced Simple Profile)에 비하여 2배의 압축 성능을 가진다.
도 1은 H. 264 표준에서 움직임 추정을 위해 사용하는 1/4 픽셀 보간 수행방법을 설명하기 위해 도시한 도면이다. H. 26 표준은 도 1에 도시한 바와 같이, 정수 픽셀(integer pixel), 하프 픽셀(half pixel)(1/2 픽셀) 및 쿼터 픽셀(quarter pixel)(1/4 픽셀)을 정의한다. 이때, 각각의 픽셀의 위치는 설명을 위해 필요한 부분만 도시하였다.
정수 픽셀은 본래의 영상을 표현하는 단위로서, 도시한 바와 같이 A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U 등에 위치한다. 또한, 하프 픽셀은 정수 픽셀의 영상을 1/2 픽셀 단위까지 표현하기 위한 단위로서, 각각의 정수 픽셀 사이의 1/2 위치인 aa, bb, b, cc, dd, h, j, ee, ff, gg, hh, ii, jj 등에 위치한다. 또한, 쿼터 픽셀은 정수 픽셀의 영상을 1/4 픽셀 단위까지 표현하기 위한 단위로서, 각각의 정수 픽셀과 하프 픽셀, 및 하프 픽셀과 하프 픽셀 사이의 1/2 위치인 a, c, d, e, f, g, kk, i, k, m, n, o, p, mm, nn, oo 등에 위치한다.
정수 픽셀을 이용하여 하프 픽셀과 쿼터 픽셀이 생성됨으로써, 1/4 픽셀 보간 방법이 이루어지는데, 보다 상세하게는 먼저, aa, bb, b, hh, ii, jj, cc, dd, h, ee, ff, gg의 위치에 있는 하프 픽셀을 생성하기 위하여 6탭 위너 필터(6 tap Wiener filter)(계수: 1, -5, 20, 20, -5, 1)를 수직, 수평 방향에 적용하여 각각의 픽셀 값을 생성한다. 예를 들어, 수평방향으로 두 개의 정수 픽셀 G 및 H 사이의 b에 위치한 하프 픽셀의 픽셀 값은, 수평방향으로 정수 픽셀 E, F, G, H, I 및 J에 6탭 위너 필터를 적용하여 얻을 수 있는데, 이를 수식으로 나타내면 수학식 1과 같이 나타낼 수 있다.
수학식 1
Figure PCTKR2010008386-appb-M000001
동일한 방법으로, j의 위치에 있는 하프 픽셀의 픽셀 값을 생성하기 위해서는 aa, bb, b, hh, ii, jj에 동일한 6 tap Wiener 필터를 적용한다.
다음에, a, c, i 및 k에 위치한 쿼터 픽셀은 수평으로 선형보간법을 적용하여 픽셀 값을 계산하고, d, f, m 및 o에 위치한 쿼터 픽셀은 수직으로 선형보간법을 적용하여 픽셀 값을 계산한다. 여기서, 선형보간이란 원신호와의 거리에 따른 계수를 곱해서 보간을 하는 것을 말한다.
또한, e, g, n 및 p에 위치한 쿼터 픽셀에 대해서는 수학식 2의 방법에 의해서 대각선 방향의 하프 픽셀들의 선형보간법에 의해 픽셀 값을 구한다.
수학식 2
Figure PCTKR2010008386-appb-M000002
그런데, 전술한 바와 같이 e, g, n 및 p와 같은 좌 대각선 방향 및 우 대각선 방향에 위치한 쿼터 픽셀의 픽셀 값을 구하는 방법은, 단순히 대각선 방향의 하프 픽셀 위치의 픽셀 값을 참조하여 선형보간법에 의해 각각의 픽셀 값을 구하는 것이므로 비교적 적은 연산량으로 각각의 픽셀 값을 구할 수 있기는 하지만, 이와 같은 방법으로 계산된 좌 대각선 방향 및 우 대각선 방향에 위치한 쿼터 픽셀의 픽셀 값은 오차가 많기 때문에 그로 인해 인터 예측의 효율이 많이 떨어진다는 문제점이 있다.
본 발명의 일 실시예는 전술한 문제점을 해결하기 위한 것으로서, 예측에 활용할 참조 프레임에 대하여 보다 정확한 방법으로 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀들의 픽셀 값을 보간함으로써, 일반적인 H. 264 표준에 비하여 해당 쿼터 픽셀의 픽셀 값을 보다 정확하게 예측할 수 있으며, 그에 따른 인터 예측의 효율을 향상시킬 수 있는 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 보간장치는, 참조 프레임을 쿼터 픽셀 단위로 보간하는 보간장치에 있어서, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로 해당 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양 방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 해당 쿼터 픽셀의 방향성을 결정하는 방향성 결정부; 및 방향성 결정부에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 쿼터 픽셀에 대한 픽셀 값을 보간하는 보간 처리부를 포함하는 것을 특징으로 한다.
바람직하게는, 보간장치는 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 수평방향 계산부; 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 수직방향 계산부; 쿼터 픽셀의 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 좌 대각선방향 계산부; 및 쿼터 픽셀의 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 우 대각선방향 계산부를 포함한다. 이때, 방향성 결정부는 수평방향 계산부, 수직방향 계산부, 좌 대각선방향 계산부 및 우 대각선방향 계산부 중 가장 작은 값을 갖는 것에 대응하는 방향으로 방향성을 결정한다.
이때, 보간 처리부는, 방향성 결정부에 의해 쿼터 픽셀에 대한 방향성이 수평방향으로 결정된 경우, 다음과 같은 식으로 쿼터 픽셀에 대한 픽셀 값을 예측할 수 있다.
e = (d + f + 1) >> 1
여기서, e는 쿼터 픽셀, d는 쿼터 픽셀의 좌측에 위치하는 픽셀, f는 쿼터 픽셀의 우측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
또한, 보간 처리부는, 방향성 결정부에 의해 쿼터 픽셀에 대한 방향성이 수직방향으로 결정된 경우, 다음과 같은 식으로 쿼터 픽셀에 대한 픽셀 값을 예측할 수 있다.
e = (a + i + 1) >> 1
여기서, e는 쿼터 픽셀, a는 쿼터 픽셀의 상측에 위치하는 픽셀, i는 쿼터 픽셀의 하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
또한, 보간 처리부는, 방향성 결정부에 의해 쿼터 픽셀에 대한 방향성이 우 대각선방향으로 결정된 경우, 다음과 같은 식으로 쿼터 픽셀에 대한 픽셀 값을 예측할 수 있다.
e = (G + j + 1) >> 1
여기서, e는 쿼터 픽셀, G는 쿼터 픽셀의 좌상측에 위치하는 픽셀, j는 쿼터 픽셀의 우하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
또한, 보간 처리부는, 방향성 결정부에 의해 쿼터 픽셀에 대한 방향성이 좌 대각선방향으로 결정된 경우, 다음과 같은 식으로 쿼터 픽셀에 대한 픽셀 값을 예측할 수 있다.
e = (b + h + 1) >> 1
여기서, e는 쿼터 픽셀, b는 쿼터 픽셀의 우상측에 위치하는 픽셀, h는 쿼터 픽셀의 좌하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 인터 예측 프레임 생성장치는, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로 해당 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 해당 쿼터 픽셀의 방향성을 결정하고, 결정된 방향성에 따라 선형보간법을 다르게 적용하여 참조 프레임을 보간하는 보간부; 보간된 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정하는 움직임 추정부; 및 움직임 추정부에 의해 결정된 움직임 벡터를 이용하여 보간된 참조 프레임에 대한 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 보간방법은, 참조 프레임을 쿼터 픽셀 단위로 보간하는 보간방법에 있어서, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로 해당 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 해당 쿼터 픽셀의 방향성을 결정하는 단계; 및 방향성 결정단계에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 쿼터 픽셀에 대한 픽셀 값을 보간하는 단계를 포함하는 것을 특징으로 한다.
여기서, 방향성 결정단계는, 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값, 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값, 쿼터 픽셀의 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값 및 쿼터 픽셀의 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 단계; 및 계산된 각각의 절대값들을 비교하여 가장 작은 절대값을 선택하는 단계를 포함하는 것이 바람직하다. 이 경우, 선택된 절대값에 대응하는 방향으로 방향성을 결정한다.
전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 인터 예측 프레임 생성방법은, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 해당 쿼터 픽셀의 방향성을 결정하는 단계; 방향성 결정단계에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 참조 프레임을 보간하는 단계; 보간된 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정하는 단계; 및 움직임 추정단계에 의해 결정된 움직임 벡터를 이용하여 보간된 참조 프레임에 대한 움직임 보상을 수행하여 현재 프레임에 대한 예측 프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 예측에 활용할 참조 프레임에 대하여 보다 정확한 방법으로 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀들의 픽셀 값을 보간할 수 있게 됨으로써, 그에 따른 인터 예측의 효율을 향상시킬 수 있게 된다.
도 1은 쿼터 픽셀과 정수 픽셀의 관계를 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인터 예측 프레임 생성장치를 개략적으로 도시한 도면이다.
도 3은 도 2의 인터 예측 프레임 생성장치에 이용되는 참조 프레임 보간방법을 나타낸 흐름도이다.
도 4는 도 3의 인터 예측 프레임 생성장치에 의한 인터 예측 프레임 생성방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 인터 예측 프레임 생성장치를 개략적으로 도시한 도면이다.
도면을 참조하면, 인터 예측 프레임 생성장치는 보간부(210), 움직임 추정부(220) 및 움직임 보상부(230)를 구비한다.
보간부(210)는 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀의 주변에 위치한 픽셀들에 기초하여 쿼터 픽셀에 대한 방향성을 결정하고, 결정된 방향성에 따라 선형보간법을 다르게 적용하여 참조 프레임을 보간한다. 여기서, 보간부(210)는 인터 예측 프레임 생성장치 내에 하나의 구성요소로 구현될 수도 있지만, 도시된 바와 같이 방향성 결정부(211), 보간 처리부(213), 수평방향 계산부(215), 수직방향 계산부(216), 좌 대각선방향 계산부(217) 및 우 대각선방향 계산부(218)를 포함하여 구성될 수도 있다.
이때, 방향성 결정부(211)는 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀의 주변에 위치하는 픽셀들에 기초하여, 해당 쿼터 픽셀에 대한 방향성을 결정한다.
예를 들어, 도 1에 도시한 정수 픽셀 G, H, M 및 N에 대하여 하프 픽셀은 b, h, j, ee 및 hh에 위치한다. 또한, 정수 픽셀 G, H, M, N과 하프 픽셀 b, h, j, ee, hh의 각각의 사이에는 쿼터 픽셀 a, c, d, e, f, g, kk, I, k, m, n, o, p, mm, nn 및 oo가 위치한다. 여기서, 하프 픽셀 단위의 좌 대각선은 각각 픽셀 b, e 및 h와, 픽셀 H, g, j, n 및 M과, 픽셀 ee, p 및 hh로 이어진다. 또한, 하프 픽셀 단위의 우 대각선은 각각 픽셀 b, g 및 ee와, 픽셀 G, e, j, p 및 N과, 픽셀 h, n 및 hh로 이어진다. 이때, 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀은 e, g, n 및 p가 된다. 방향성 결정부(211)는 쿼터 픽셀 e의 경우, 그 주변에 위치하는 픽셀들 G, a, b, d, f, h, i, j에 기초하여 쿼터 픽셀 e에 대한 방향성을 결정한다.
보간 처리부(213)는 방향성 결정부(211)에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 해당 쿼터 픽셀에 대한 픽셀 값을 보간한다.
한편, 쿼터 픽셀 e, g, n, p에 대한 방향성을 결정하기 위하여, 수평방향 계산부(215)는 해당 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다. 예를 들어, 쿼터 픽셀 e의 경우, 그 좌우에 위치하는 픽셀들은 d 및 f이므로, 수평방향 계산부(215)는 수학식 3과 같이 픽셀들 d 및 f의 픽셀 값 차의 절대값을 계산한다.
수학식 3
Figure PCTKR2010008386-appb-M000003
여기서, Hor은 수평방향 계산부(215)에 의해 계산된 값으로서, 수평방향에 대한 계산값임을 의미한다.
또한, 수직방향 계산부(216)는 해당 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다. 예를 들어, 쿼터 픽셀 e의 경우, 그 상하에 위치하는 픽셀들은 a 및 i이므로, 수직방향 계산부(216)는 수학식 4와 같이 픽셀들 a 및 i의 픽셀 값 차의 절대값을 계산한다.
수학식 4
Figure PCTKR2010008386-appb-M000004
여기서, Ver은 수직방향 계산부(216)에 의해 계산된 값으로서, 수직방향에 대한 계산값임을 의미한다.
또한, 좌 대각선방향 계산부(217)는 해당 쿼터 픽셀의 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다. 예를 들어, 쿼터 픽셀 e의 경우, 그 좌 대각선 양단에 위치하는 픽셀들은 b 및 h이므로, 좌 대각선방향 계산부(217)는 수학식 5와 같이 픽셀들 b 및 h의 픽셀 값 차의 절대값을 계산한다.
수학식 5
Figure PCTKR2010008386-appb-M000005
여기서, Dig_left는 좌 대각선방향 계산부(217)에 의해 계산된 값으로서, 좌 대각선방향에 대한 계산값임을 의미한다.
또한, 우 대각선방향 계산부(218)는 해당 쿼터 픽셀의 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다. 예를 들어, 쿼터 픽셀 e의 경우, 그 우 대각선 양단에 위치하는 픽셀들은 G 및 j이므로, 우 대각선방향 계산부(218)는 수학식 6과 같이 픽셀들 G 및 j의 픽셀 값 차의 절대값을 계산한다.
수학식 6
Figure PCTKR2010008386-appb-M000006
여기서, Dig_right는 우 대각선방향 계산부(218)에 의해 계산된 값으로서, 우 대각선방향에 대한 계산값임을 의미한다.
이때, 방향성 결정부(211)는 수평방향 계산부(215), 수직방향 계산부(216), 좌 대각선방향 계산부(217) 및 우 대각선방향 계산부(218)에 의해 계산된 각각의 절대값들 중 가장 작은 절대값을 갖는 계산값을 선택한 후, 그에 대응하는 방향으로 해당 쿼터 픽셀의 방향성을 결정한다. 이것은, 쿼터 픽셀 주변에 있는 픽셀들 차의 절대값이 작을수록 해당 쿼터 픽셀과의 상관성이 큰 것을 의미하기 때문이다. 여기서는, 쿼터 픽셀 e를 예로서 설명하였지만, 이와 같은 방법은 쿼터 픽셀 g, n, p의 경우에도 동일하게 적용될 수 있다.
보간 처리부(213)는 방향성 결정부(211)에 의해 결정된 해당 쿼터 픽셀의 방향성에 따라, 그에 대응하는 선형보간법을 적용하여 해당 쿼터 픽셀을 보간한다. 예를 들어, 쿼터 픽셀 e의 경우, 방향성 결정부(211)에 의해 해당 쿼터 픽셀 e의 방향성이 수평방향으로 결정되면, 보간 처리부(213)는 수학식 7과 같은 선형보간법에 의해 쿼터 픽셀 e의 픽셀 값을 예측할 수 있다.
수학식 7
Figure PCTKR2010008386-appb-M000007
즉, 쿼터 픽셀 e의 방향성이 수평방향으로 결정된 경우에 수학식 7은 (d + f)/2를 의미하므로, 쿼터 픽셀 e의 픽셀 값은 픽셀 d 및 f의 픽셀 값을 더한 후에 2로 나눈 값으로 예측할 수 있다.
또한, 방향성 결정부(211)에 의해 해당 쿼터 픽셀 e의 방향성이 수직방향으로 결정되면, 보간 처리부(213)는 수학식 8과 같은 선형보간법에 따라 해당 쿼터 픽셀 e의 픽셀 값을 예측할 수 있다.
수학식 8
Figure PCTKR2010008386-appb-M000008
즉, 쿼터 픽셀 e의 방향성이 수직방향으로 결정된 경우에 수학식 8은 (a + i)/2를 의미하므로, 쿼터 픽셀 e의 픽셀 값은 픽셀 a 및 i의 픽셀 값을 더한 후에 2로 나눈 값으로 예측할 수 있다.
또한, 방향성 결정부(211)에 의해 해당 쿼터 픽셀 e의 방향성이 좌 대각선방향으로 결정되면, 보간 처리부(213)는 수학식 9과 같은 선형보간법에 따라 해당 쿼터 픽셀 e의 픽셀 값을 예측할 수 있다.
수학식 9
Figure PCTKR2010008386-appb-M000009
즉, 쿼터 픽셀 e의 방향성이 좌 대각선방향으로 결정된 경우에 수학식 9는 (b + h)/2를 의미하므로, 쿼터 픽셀 e의 픽셀 값은 픽셀 b 및 h의 픽셀 값을 더한 후에 2로 나눈 값으로 예측할 수 있다.
또한, 방향성 결정부(211)에 의해 해당 쿼터 픽셀 e의 방향성이 우 대각선방향으로 결정되면, 보간 처리부(213)는 수학식 10과 같은 선형보간법에 따라 해당 쿼터 픽셀 e의 픽셀 값을 예측할 수 있다.
수학식 10
Figure PCTKR2010008386-appb-M000010
즉, 쿼터 픽셀 e의 방향성이 우 대각선방향으로 결정된 경우에 수학식 10은 (G + j)/2를 의미하므로, 쿼터 픽셀 e의 픽셀 값은 픽셀 G 및 j의 픽셀 값을 더한 후에 2로 나눈 값으로 예측할 수 있다.
움직임 추정부(220)는 보간된 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 움직임 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀 단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정한다. 움직임 추정을 위하여 고정된 크기의 움직임 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 움직임 블록을 이용하여 움직임 추정을 수행할 수도 있다.
움직임 추정부(220)는 움직임 추정 결과 구해지는 움직임 벡터, 움직임 블록의 크기, 참조 프레임 번호 등의 데이터를 엔트로피 부호화부(도시하지 않음)에 제공하여 부호화하도록 한다. 여기서, 움직임 벡터는 주변 블록에서의 움직임 벡터와의 차분일 수도 있다.
움직임 보상부(230)는 입력 비디오 프레임의 시간적 중복성을 감소시킨다. 이 경우, 움직임 보상부(230)는 움직임 추정부(220)에서 계산된 모션 벡터를 이용하여 참조 프레임에 대하여 움직임 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 인터 예측 프레임을 생성한다.
도 3은 도 2의 보간부에 의해 참조 프레임을 쿼터 픽셀 단위로 보간하는 방법을 나타낸 흐름도이다.
도면을 참조하면, 보간부(210)는 하프 픽셀 사이의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀의 주변에 위치하는 픽셀들에 기초하여, 해당 쿼터 픽셀의 방향성을 결정한다. 이를 위하여, 수평방향 계산부(215)는 해당 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하며, 수직방향 계산부(216)는 해당 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하고, 좌 대각선방향 계산부(217)는 해당 쿼터 픽셀의 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다. 또한, 우 대각선방향 계산부(218)는 해당 쿼터 픽셀의 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산한다(S301). 예를 들어, 쿼터 픽셀 e의 경우, 수평방향 계산부(215), 수직방향 계산부(216), 좌 대각선방향 계산부(217) 및 우 대각선방향 계산부(218)는 수학식 3 내지 수학식 6과 같이 각각의 절대값을 계산할 수 있다.
이때, 방향성 결정부(211)는 수평방향 계산부(215), 수직방향 계산부(216), 좌 대각선방향 계산부(217) 및 우 대각선방향 계산부(218)에 의해 계산된 각각의 절대값들 중 가장 작은 절대값을 갖는 계산값을 선택한 후(S303), 그에 대응하는 방향으로 해당 쿼터 픽셀의 방향성을 결정한다(S305). 여기서는, 쿼터 픽셀 e를 예로서 설명하였지만, 이와 같은 방법은 쿼터 픽셀 g, n, p의 경우에도 동일하게 적용될 수 있다.
보간 처리부(213)는 방향성 결정부(211)에 의해 결정된 해당 쿼터 픽셀의 방향성에 따라, 그에 대응하는 선형보간법을 적용하여 해당 쿼터 픽셀을 보간한다(S307). 예를 들어, 쿼터 픽셀 e의 경우, 방향성 결정부(211)에 의해 해당 쿼터 픽셀 e의 방향성에 따라 수학식 7 내지 수학식 10과 같은 선형보간법이 적용될 수 있다. 이때, 적용되는 선형보간법은 기재된 식에 한정되는 것이 아니며, 다른 선형보간법이 적용될 수도 있다.
전술한 바와 같이, 본 발명의 실시예에서는, 쿼터 픽셀에 대한 픽셀 값을 예측할 때 종래와 같이 동일한 선형보간법으로 계산하는 것이 아니라, 주변 픽셀과의 관계에서 상관성이 가장 큰 픽셀들을 고려하여 선형보간법을 적용하기 때문에, 쿼터 픽셀의 픽셀 값을 예측하는 데 있어, 보다 정확한 값을 얻을 수 있게 된다.
도 4는 본 발명의 다른 실시예에 따른 인터 예측 프레임 생성방법을 나타낸 흐름도이다. 여기서, 단계 S401 내지 단계 S405의 과정은 도 3의 보간방법을 적용하여 실행되므로, 그에 대한 상세한 설명은 생략한다.
보간 처리부(213)는 방향성 결정부(211)에 의해 결정된 해당 쿼터 픽셀의 방향성에 따라, 그에 대응하는 선형보간법을 적용하여 해당 쿼터 픽셀을 보간한다. 이와 같은 방법으로 보간 처리부(213)는 참조 프레임을 탐색하면서, 참조 프레임 내의 쿼터 픽셀에 대한 보간을 수행한다(S407).
움직임 추정부(220)는 보간된 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정한다(S409). 또한, 움직임 추정부(220)는 움직임 추정 결과 구해지는 움직임 벡터, 움직임 블록의 크기, 참조 프레임 번호 등의 데이터를 엔트로피 부호화부(도시하지 않음)에 제공하여 부호화하도록 한다. 여기서, 움직임 벡터는 주변 블록에서의 움직임 벡터와의 차분일 수도 있다.
움직임 보상부(230)는 입력 비디오 프레임의 시간적 중복성을 감소시킨다. 이 경우, 움직임 보상부(230)는 움직임 추정부(220)에서 계산된 모션 벡터를 이용하여 참조 프레임에 대하여 움직임 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 인터 예측 프레임을 생성한다(S411).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는 인터 예측을 이용하는 영상 장치에 적용되어, 예측에 활용할 참조 프레임에 대하여 보다 정확한 방법으로 하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치한 쿼터 픽셀들의 픽셀 값을 보간할 수 있게 됨으로써, 그에 따른 인터 예측의 효율을 향상시킬 수 있게 되는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 12월 01일 한국에 출원한 특허출원번호 제 10-2009-0117873호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (11)

  1. 참조 프레임을 쿼터 픽셀 단위로 보간하는 보간장치에 있어서,
    하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로, 상기 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여 상기 쿼터 픽셀의 방향성을 결정하는 방향성 결정부; 및
    상기 방향성 결정부에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 상기 쿼터 픽셀에 대한 픽셀 값을 보간하는 보간 처리부
    를 포함하는 것을 특징으로 하는 보간장치.
  2. 제 1항에 있어서,
    상기 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 수평방향 계산부;
    상기 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 수직방향 계산부;
    상기 쿼터 픽셀의 상기 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 좌 대각선방향 계산부; 및
    상기 쿼터 픽셀의 상기 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 우 대각선방향 계산부
    를 포함하며,
    상기 방향성 결정부는 상기 수평방향 계산부, 상기 수직방향 계산부, 상기 좌 대각선방향 계산부 및 상기 우 대각선방향 계산부 중 가장 작은 값을 갖는 것에 대응하는 방향으로 방향성을 결정하는 것을 특징으로 하는 보간장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 보간 처리부는,
    상기 방향성 결정부에 의해 상기 쿼터 픽셀에 대한 방향성이 수평방향으로 결정된 경우, 다음과 같은 식으로 상기 쿼터 픽셀에 대한 픽셀 값을 예측하는 것을 특징으로 하는 보간장치:
    e = (d + f + 1) >> 1
    여기서, e는 상기 쿼터 픽셀, d는 상기 쿼터 픽셀의 좌측에 위치하는 픽셀, f는 상기 쿼터 픽셀의 우측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
  4. 제 1항 또는 제 2항에 있어서,
    상기 보간 처리부는,
    상기 방향성 결정부에 의해 상기 쿼터 픽셀에 대한 방향성이 수직방향으로 결정된 경우, 다음과 같은 식으로 상기 쿼터 픽셀에 대한 픽셀 값을 예측하는 것을 특징으로 하는 보간장치:
    e = (a + i + 1) >> 1
    여기서, e는 상기 쿼터 픽셀, a는 상기 쿼터 픽셀의 상측에 위치하는 픽셀, i는 상기 쿼터 픽셀의 하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
  5. 제 1항 또는 제 2항에 있어서,
    상기 보간 처리부는,
    상기 방향성 결정부에 의해 상기 쿼터 픽셀에 대한 방향성이 우 대각선방향으로 결정된 경우, 다음과 같은 식으로 상기 쿼터 픽셀에 대한 픽셀 값을 예측하는 것을 특징으로 하는 보간장치:
    e = (G + j + 1) >> 1
    여기서, e는 상기 쿼터 픽셀, G는 상기 쿼터 픽셀의 좌상측에 위치하는 픽셀, j는 상기 쿼터 픽셀의 우하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
  6. 제 1항 또는 제 2항에 있어서,
    상기 보간 처리부는,
    상기 방향성 결정부에 의해 상기 쿼터 픽셀에 대한 방향성이 좌 대각선방향으로 결정된 경우, 다음과 같은 식으로 상기 쿼터 픽셀에 대한 픽셀 값을 예측하는 것을 특징으로 하는 보간장치:
    e = (b + h + 1) >> 1
    여기서, e는 상기 쿼터 픽셀, b는 상기 쿼터 픽셀의 우상측에 위치하는 픽셀, h는 상기 쿼터 픽셀의 좌하측에 위치하는 픽셀, 그리고 >>는 반올림을 고려한 쉬프트연산을 의미한다.
  7. 인터 예측 프레임 생성장치에 있어서,
    하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로, 상기 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 상기 쿼터 픽셀의 방향성을 결정하고, 결정된 방향성에 따라 선형보간법을 다르게 적용하여 참조 프레임을 보간하는 보간부;
    보간된 상기 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정하는 움직임 추정부; 및
    상기 움직임 추정부에 의해 결정된 상기 움직임 벡터를 이용하여 보간된 상기 참조 프레임에 대한 움직임 보상을 수행하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 인터 프레임 생성장치.
  8. 참조 프레임을 쿼터 픽셀 단위로 보간하는 보간방법에 있어서,
    하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로, 상기 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여, 상기 쿼터 픽셀의 방향성을 결정하는 단계; 및
    상기 방향성 결정단계에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 상기 쿼터 픽셀에 대한 픽셀 값을 보간하는 단계
    를 포함하는 것을 특징으로 하는 보간방법.
  9. 제 8항에 있어서,
    상기 방향성 결정단계는,
    상기 쿼터 픽셀의 좌우에 위치하는 픽셀들의 픽셀 값 차의 절대값, 상기 쿼터 픽셀의 상하에 위치하는 픽셀들의 픽셀 값 차의 절대값, 상기 쿼터 픽셀의 상기 좌 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값 및 상기 쿼터 픽셀의 상기 우 대각선 양단에 위치하는 픽셀들의 픽셀 값 차의 절대값을 계산하는 단계; 및
    계산된 각각의 상기 절대값들을 비교하여 가장 작은 절대값을 선택하는 단계
    를 포함하며,
    상기 선택된 절대값에 대응하는 방향으로 방향성을 결정하는 것을 특징으로 하는 보간방법.
  10. 인터 예측 프레임 생성방법에 있어서,
    하프 픽셀 단위의 좌 대각선 및 우 대각선의 교차점에 위치하는 쿼터 픽셀을 기준으로, 상기 쿼터 픽셀의 상하 양방향, 좌우 양방향, 좌 대각 양방향 및 우 대각 양방향에 위치하는 픽셀들의 픽셀 값에 기초하여 상기 쿼터 픽셀의 방향성을 결정하는 단계;
    상기 방향성 결정단계에 의해 결정된 방향성에 따라 선형보간법을 다르게 적용하여 참조 프레임을 보간하는 단계;
    보간된 상기 참조 프레임을 기준으로 현재 프레임의 움직임을 추정하고 움직임 벡터를 결정하는 단계; 및
    상기 움직임 추정단계에 의해 결정된 상기 움직임 벡터를 이용하여 보간된 상기 참조 프레임에 대한 움직임 보상을 수행하여 상기 현재 프레임에 대한 예측 프레임을 생성하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 프레임 생성방법.
  11. 제 8항 또는 제 9항의 참조 프레임 보간방법을 수행하는, 컴퓨터에 의해 실행 가능한 프로그램을 저장하는 기록매체.
PCT/KR2010/008386 2009-12-01 2010-11-25 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법 WO2011068330A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/513,091 US20120300848A1 (en) 2009-12-01 2010-11-25 Apparatus and method for generating an inter-prediction frame, and apparatus and method for interpolating a reference frame used therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090117873A KR101601848B1 (ko) 2009-12-01 2009-12-01 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
KR10-2009-0117873 2009-12-01

Publications (2)

Publication Number Publication Date
WO2011068330A2 true WO2011068330A2 (ko) 2011-06-09
WO2011068330A3 WO2011068330A3 (ko) 2011-11-03

Family

ID=44115401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008386 WO2011068330A2 (ko) 2009-12-01 2010-11-25 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법

Country Status (3)

Country Link
US (1) US20120300848A1 (ko)
KR (1) KR101601848B1 (ko)
WO (1) WO2011068330A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621909B2 (en) 2012-07-02 2017-04-11 Lg Electronics Inc. Method for decoding image and apparatus using same
KR101811327B1 (ko) 2012-12-31 2017-12-26 제일모직 주식회사 유기광전자소자용 화합물, 이를 포함하는 유기발광소자 및 상기 유기발광소자를 포함하는 표시장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111437B1 (ko) * 2019-07-29 2020-05-15 아이디어허브 주식회사 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040036902A (ko) * 2001-09-17 2004-05-03 노키아 코포레이션 서브 픽셀값 보간 방법
KR100574185B1 (ko) * 1997-07-15 2006-04-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 컬러 샘플 보간방법 및 보간장치
KR20070023449A (ko) * 2005-08-24 2007-02-28 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
KR20090095013A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208553B2 (en) * 2006-05-04 2012-06-26 Altera Corporation Methods and apparatus for quarter-pel refinement in a SIMD array processor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100574185B1 (ko) * 1997-07-15 2006-04-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 컬러 샘플 보간방법 및 보간장치
KR20040036902A (ko) * 2001-09-17 2004-05-03 노키아 코포레이션 서브 픽셀값 보간 방법
KR20070023449A (ko) * 2005-08-24 2007-02-28 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
KR20090095013A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621909B2 (en) 2012-07-02 2017-04-11 Lg Electronics Inc. Method for decoding image and apparatus using same
US9769487B2 (en) 2012-07-02 2017-09-19 Lg Electronics Inc. Method for decoding image and apparatus using same
US10045039B2 (en) 2012-07-02 2018-08-07 Lg Electronics Inc. Method for decoding image and apparatus using same
US10469862B2 (en) 2012-07-02 2019-11-05 Lg Electronics Inc. Method for decoding image and apparatus using same
US10931960B2 (en) 2012-07-02 2021-02-23 Lg Electronics Inc. Method for decoding image and apparatus using same
US11252427B2 (en) 2012-07-02 2022-02-15 Lg Electronics Inc. Method for decoding image and apparatus using same
US11653012B2 (en) 2012-07-02 2023-05-16 Lg Electronics Inc. Method for decoding image and apparatus using same
KR101811327B1 (ko) 2012-12-31 2017-12-26 제일모직 주식회사 유기광전자소자용 화합물, 이를 포함하는 유기발광소자 및 상기 유기발광소자를 포함하는 표시장치

Also Published As

Publication number Publication date
US20120300848A1 (en) 2012-11-29
KR20110061273A (ko) 2011-06-09
WO2011068330A3 (ko) 2011-11-03
KR101601848B1 (ko) 2016-03-10

Similar Documents

Publication Publication Date Title
CN101889405B (zh) 用于执行运动估计的方法和装置
CN114009040B (zh) 编码器、解码器及对应方法
JP5102228B2 (ja) ビデオ符号化
KR100393123B1 (ko) 동화상의부호화방법및복호화방법
US8406303B2 (en) Motion estimation using prediction guided decimated search
US11206425B2 (en) Inter prediction methods for coding video data
CN113632464B (zh) 分量间预测的方法和设备
JP2022523350A (ja) マージモードのための予測重み付けを決定する方法、装置及びシステム
US8976856B2 (en) Optimized deblocking filters
JP2014014167A (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
EP2594075A2 (en) Method and apparatus for encoding and decoding image through intra prediction
WO2020009390A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 처리 방법 및 장치
WO2013133648A1 (ko) 비디오 신호 처리 방법 및 장치
US20210400259A1 (en) Dmvr using decimated prediction block
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
CA3115689A1 (en) Affine mode signaling in video encoding and decoding
KR20090014371A (ko) 움직임 검출 장치
JP2023099561A (ja) オプティカルフローの改善の早期終了
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2011068330A2 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
WO2011142644A2 (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
WO2020060757A1 (en) Translational and affine candidates in a unified list
WO2011093688A2 (ko) 비디오 신호 처리 방법 및 장치
WO2020181507A1 (zh) 图像处理的方法与装置
WO2024007696A1 (en) Encoding/decoding video picture data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13513091

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 07-09-2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10834745

Country of ref document: EP

Kind code of ref document: A2