WO2010019002A2 - Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법 - Google Patents

Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법 Download PDF

Info

Publication number
WO2010019002A2
WO2010019002A2 PCT/KR2009/004517 KR2009004517W WO2010019002A2 WO 2010019002 A2 WO2010019002 A2 WO 2010019002A2 KR 2009004517 W KR2009004517 W KR 2009004517W WO 2010019002 A2 WO2010019002 A2 WO 2010019002A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
image
image block
prediction
equation
Prior art date
Application number
PCT/KR2009/004517
Other languages
English (en)
French (fr)
Other versions
WO2010019002A3 (ko
Inventor
김원하
오형석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090032275A external-priority patent/KR101005394B1/ko
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to US13/058,643 priority Critical patent/US8666182B2/en
Publication of WO2010019002A2 publication Critical patent/WO2010019002A2/ko
Publication of WO2010019002A3 publication Critical patent/WO2010019002A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a method for generating a thumbnail image for a video image. More specifically, the DC coefficient of a predictive block for a video block constituting the video image is directly calculated from a predictive reference pixel of an image block in a spatial domain and calculated.
  • the present invention relates to a method of generating a thumbnail image of an image image by calculating a DC coefficient of an image block from a DC coefficient of a prediction block and an error block of the image block.
  • Video compression has become a key component of broadcast and entertainment media due to its widespread adoption in digital TV, Internet streaming video and DVD-video.
  • the success of digital TV and DVD video is based on the MPEG-2 standard, 15 years after it was published.
  • the utility of this technology has been proven, but it is now outdated.
  • the debate over which technology should replace MPEG-2 continues, but one of the foremost technologies considered in this debate is H.264 / AVC (Advanced VDeo cDing).
  • H.264 / AVC is a standard for the coded representation of visual information and was developed by the Video Coding Experts Group (VCEG), a research group of the International Telecommunication Union (ITU-T).
  • VCEG Video Coding Experts Group
  • ITU-T International Telecommunication Union
  • H.264 / AVC does not define a codec (enCDer / DECder) separately, but merely defines the syntax of the encoded video bitstream and how to decode such a bitstream.
  • a coded picture consists of several macroblocks, each containing 16 ⁇ 16 luma samples and associated color difference samples. Macroblocks within each picture are arranged in a slice, where the macroblocks are present in sequential scan order. Macroblocks are included in I slices, P slices, and B slices, where I slices contain only intra macroblocks, P slices contain inter macroblocks and intra macroblocks, and B slices contain inter macroblocks. Block and intra macroblock. The double intra macroblock is predicted using intra prediction from the reference sample decoded and reconstructed within the current slice.
  • the H.264 / AVC encoder includes two data flow paths, a "forward" path (left to right) and a “restore” path (right to left).
  • a prediction block is generated from the reference block reconstructed in the "forward” path, and an error pixel block is generated by subtracting from the prediction block that has generated the video block to be currently encoded. Meanwhile, in the "restore” path, the generated error pixel block and the prediction block are added together to generate a reference pixel block of an image block to be encoded next.
  • the prediction mode determiner 10 determines an intra prediction mode for an N ⁇ N image block of an input spatial region.
  • the prediction block generator 20 generates a prediction block for the N ⁇ N image block of the input spatial region by using the stored reference block according to the determined intra prediction mode.
  • the error block generator 30 generates an N ⁇ N error block by subtracting the input N ⁇ N image block and the generated prediction block from each other.
  • the transform unit 40 converts the N ⁇ N error block into a block-based transform method and converts the N ⁇ N error block into an N ⁇ N error coefficient block in the transform domain.
  • a discrete cosine transform (DCT) or an integer DCT scheme is used among the block-based transformation schemes.
  • the quantization unit 50 quantizes the N ⁇ N error coefficient blocks of the transform domain, and the encoding unit 60 quantizes the N ⁇ N error coefficients according to one of coding schemes such as prediction coding, variable length coding, and arithmetic coding.
  • the block is encoded to generate a bitstream.
  • the error coefficient block is inversely transformed to generate an N ⁇ N error block in a spatial domain.
  • the reference block generator 90 reconstructs the reference block used to generate the prediction block by adding the N ⁇ N error block and the prediction block.
  • the H.264 / AVC encoder specifies to compress a video image using N ⁇ N error coefficient blocks.
  • the prediction block used to generate the N ⁇ N error coefficient blocks is N ⁇ to be encoded. It is determined through the intra prediction mode of the N image block.
  • nine intra prediction modes are defined for luminance 4 ⁇ 4 image blocks, four intra prediction modes are defined for luminance 16 ⁇ 16 image blocks, and 8 ⁇ 8 images for chrominance images. Four intra prediction modes are defined for the block.
  • the vertical mode is a prediction mode using 4 pixels of the upper X image block of the block to be currently encoded.
  • a pixel is filled with 4 pixels of the first column part of the block
  • B pixel is filled with 4 pixels of the second column part of the block
  • C and D pixels are also filled with 4 pixels corresponding to each block column.
  • the horizontal mode is a mode for predicting using 4 pixels of the left Z image block of the block to be currently encoded.
  • the I pixel is filled with four pixels of the first row part of the block
  • the J pixel is filled with four pixels of the second row part of the block
  • the K and L pixels are also filled with four pixels corresponding to the block row.
  • -Diagonal down-left mode is a prediction mode using 4 pixels of the upper X image block and up / right Y image block of the block to be currently encoded.
  • Diagonal down-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel of the upper left S image block (Q) and 4 pixels of the left Z image block of the block to be encoded. .
  • the vertical-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel of the upper left S image block (Q) and 4 pixels of the left Z image block to be encoded.
  • -Horizontal-down mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel (Q) of the upper left S image block, and 4 pixels of the left Z image block.
  • the vertical-left mode is a prediction mode using 4 pixels of the upper X image block and 1 pixel E of the upper right Y image block of the block to be currently encoded.
  • the left side of the vertical is filled in about 26.6 degrees.
  • -Horizontal-up mode is a mode for predicting using 4 pixels of the left Z image block of the block to be currently encoded.
  • a multimedia terminal such as a mobile phone or a digital TV searches for image data stored in the multimedia terminal using a small size image (hereinafter referred to as a thumbnail image) to preview the stored image image.
  • a thumbnail image a small size image
  • FIG. 3 illustrates an example of a thumbnail image used in a mobile phone.
  • a plurality of video or video images stored in the mobile phone are previously displayed as thumbnail images on the display unit.
  • the user searches for an image or video to be played back through the displayed thumbnail image and selects a predetermined image from the searched video or video, the selected image is played back in the original size image.
  • the first method is to generate a thumbnail image of the video image by down sampling the video image of the spatial domain.
  • the second method is to generate a thumbnail image of the original image by extracting only DC coefficients from each image coefficient block of the transform region constituting the image.
  • the DC coefficient present at the top left of each image coefficient block in the transform region is an average value for each image pixel block in the spatial domain.
  • the image image generated by extracting only the DC coefficient is downsampled the size of the original image image by 1 / N. Same as did.
  • the inverse transform of the residual image block in the transform region to the spatial region is performed by adding the residual image block of the inverse transformed spatial region to the prediction block of the spatial region. After generating the reconstruction block of the region, the reconstruction block is down sampled again to generate a thumbnail image of the video image. Therefore, the first method has a problem in that the image image must be repeatedly transformed into the transform region and the spatial region in order to generate thumbnail images for the image image of the H.264 standard.
  • an error coefficient block of the transform domain is inversely transformed into a spatial domain, and an error pixel block of the inverse transformed spatial domain and a prediction block of the spatial domain are transformed.
  • the DC coefficient is extracted by converting the reference pixel block of the spatial domain back to the transform domain, which requires a long process time and complicated data processing.
  • the conventional H.264 / AVC encoder only some of the reconstructed reference pixel blocks are used for the reference pixels used to generate the prediction blocks according to the intra prediction mode in the H.264 / AVC encoder.
  • the entire reference pixel block is reconstructed, and thus, many calculations are performed to reconstruct the entire reference pixel block.
  • the conventional H.264 / AVC encoder requires a large storage space for storing reference pixels of an unused reference pixel block, and it takes a long time to generate a prediction block by increasing the number of times of accessing the storage space.
  • the object of the present invention is to solve the problems of the above-described conventional thumbnail image generation method, the object of the present invention is to calculate and calculate only the DC coefficient of the image block required for generating the thumbnail image with a small amount of calculation
  • a method of generating thumbnail images from DC coefficients of an image block is provided.
  • Another object of the present invention is to generate a thumbnail image with a small process by generating only the reference pixels used to generate the prediction blocks in intra prediction, and to store only the reference pixels used to generate the prediction blocks. It is to provide a method of generating a thumbnail image that requires space.
  • the prediction reference to the N ⁇ N image block Extracting a pixel, and using the predictive reference pixels of the extracted N ⁇ N image block based on the intra prediction mode of the N ⁇ N image block, DC coefficients of the prediction block for each unit image block constituting the N ⁇ N image block Calculating DC coefficients of the N ⁇ N image block by adding the DC coefficients of the prediction block for each unit image block and the DC coefficients of the error blocks for each unit image block, and calculating the DC coefficients of the image block, and N constituting the image frame. Extracting DC coefficients for the xN image blocks to generate thumbnail images of the image frames.
  • the DC coefficient of the prediction block for the unit image block is calculated by the combination of prediction reference pixels for the N ⁇ N image block.
  • the predictive reference pixel may be a reference pixel around the N ⁇ N image block used for intra prediction of the N ⁇ N image block.
  • the predictive reference pixel may include calculating a prediction pixel from a prediction reference pixel of a previously stored unit image block according to an intra prediction mode of the unit image block, calculating an error pixel of the unit image block, and calculating the predicted pixel and the error pixel. Generating a reference reference pixel for the unit image block after the unit image block and storing the prediction reference pixel of the generated unit image block based on the unit image block constituting the N ⁇ N image block. It is characterized by.
  • the error pixel of the unit image block is an error pixel of a pixel located at the boundary of the unit image block, and preferably, the error pixel of the unit image block is an error pixel of a pixel located at the right boundary and the bottom boundary of the unit image block. .
  • the prediction reference pixels of the N ⁇ N image block are 13 reference pixels around the N ⁇ N image block used for intra prediction of the N ⁇ N image block. It is characterized by that.
  • a method of generating a thumbnail image has various effects as compared with the conventional method of generating a thumbnail image.
  • the method of generating a thumbnail image calculates the DC coefficient of the image block directly by using the DC coefficient of the error coefficient block for the image block and the DC coefficient of the prediction block for the image block, thereby providing a space between the spatial and transform domains. It is possible to generate thumbnail images for video images of the H.264 standard without converting the video blocks.
  • a plurality of image images are stored by directly calculating a DC coefficient of an image block using a DC coefficient of an error coefficient block of the image block and a DC coefficient of a prediction block of the image block.
  • a thumbnail image can be used to quickly search for a specific video image.
  • the method of generating a thumbnail image calculates a prediction reference pixel by calculating only a reference pixel, that is, a prediction reference pixel used to calculate a DC coefficient of the prediction block, instead of calculating all the reference pixels of the reference pixel block.
  • the amount of computation and memory access required is short, allowing quick thumbnail image creation.
  • FIG. 1 shows a functional block diagram for explaining intra prediction performed in a conventional H.264 / AVC encoder.
  • FIG. 2 is a diagram for explaining nine intra prediction modes used in a 4x4 image block.
  • FIG. 3 illustrates an example of a thumbnail image used in a mobile phone.
  • FIG. 4 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame input or stored in an H.264 standard image encoding apparatus according to an embodiment of the present invention.
  • FIG. 5 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame received or stored in an H.264 standard image decoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a functional block diagram for explaining in more detail the prediction reference pixel generator according to the present invention.
  • FIG. 7 illustrates predictive reference pixels of a 4x4 image block calculated according to an intra prediction mode of the 4x4 image block.
  • FIG. 8 is a flowchart illustrating a method of generating a predictive reference pixel according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of generating a thumbnail image of an image frame of the H.264 standard according to an embodiment of the present invention.
  • FIG. 10 is a chart comparing the number of calculations and the number of memory accesses of a method of generating a prediction block using a conventional fast inverse DCT (IDCT), a method of generating a prediction block using a direct inverse DCT, and a method of generating a prediction block according to the present invention.
  • IDCT conventional fast inverse DCT
  • DCT direct inverse DCT
  • FIG. 11 shows an example of a 16x16 image block.
  • FIG. 4 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame input or stored in an H.264 standard image encoding apparatus according to an embodiment of the present invention.
  • the prediction mode determiner 110 determines an intra prediction mode of the input N ⁇ N image block.
  • the prediction block generator 120 generates a prediction block of a spatial domain for the N ⁇ N image block input from the reference pixel previously reconstructed and stored based on the determined intra prediction mode of the N ⁇ N image block.
  • the error pixel block generation unit 130 generates N ⁇ N error pixel blocks in a spatial domain by subtracting the input N ⁇ N image block and the generated prediction block.
  • the transform unit 140 generates the N ⁇ N first error coefficient block of the transform domain by converting the generated N ⁇ N error pixel block of the spatial domain by a block-based transform scheme.
  • a discrete cosine transform (DCT) or an integer DCT scheme is used among the block-based transformation schemes.
  • the quantization unit 150 quantizes the N ⁇ N first error coefficient block
  • the encoding unit 160 quantizes the N ⁇ N first quantized according to one of encoding methods such as prediction encoding, variable length encoding, and arithmetic encoding.
  • An error coefficient block is encoded to generate a bitstream.
  • an N ⁇ N error coefficient block output from the quantization unit 150 to generate a prediction block for the N ⁇ N second image block input after the N ⁇ N first image block.
  • Inverse quantization in inverse quantization unit 170 The N ⁇ N first error coefficient block output from the quantization unit 150 is inversely quantized by the inverse quantization unit 170.
  • the prediction reference pixel generator 180 generates a prediction reference pixel of the image block, wherein the prediction reference pixel means a reference pixel around the image block used to calculate the prediction pixel of the image block according to the intra prediction mode of the image block. do.
  • a prediction reference pixel for a 4x4 image block (“bar") is an intra of a 4x4 image block ("bar") among reference pixels adjacent to the 4x4 image block ("bar").
  • 13 reference pixels (A, B, C, D, E, F, G, H, I, J, K, L, M) that are directly used to calculate the prediction pixel according to the prediction mode.
  • the prediction reference pixel generator 180 does not generate all the reference pixels of the image block in order to generate the prediction reference pixels of the image block, but generates only the reference pixel used as the prediction reference pixel. That is, the prediction reference pixel generator 180 generates only reference pixels positioned at the boundary of the image block as prediction reference pixels, or only reference pixels positioned at the right boundary and the lower boundary of the image block as prediction reference pixels.
  • the predictive reference pixel generator 180 reconstructs the entire 4x4 image block ("bar") from the 4x4 image block ("bar") so that all of the 4x4 image block ("bar") can be restored.
  • the predictive reference pixel generator 180 instead of generating a reference pixel, only seven reference pixels A ', B', C ', D', I ', J', and K 'used as predictive reference pixels are generated.
  • the generated seven reference pixels A ', B', C ', D', I ', J', and K ' are used as some of the 13 predictive reference pixels of the next image block ("sa").
  • the reference pixels I', J ', K', and D ' are prestored.
  • another reference pixel D, E, F, G, H, L, O, P, Q of the image block ("sa") it is used as the predictive reference pixel of the image block ("sa").
  • the predictive reference pixel generator 180 may predict the predicted reference pixels A, B, C, D, E, of the 4x4 image block ("bar") according to the intra prediction mode of the 4x4 image block ("bar”). Calculation from prediction pixels of 4x4 image blocks ("bars") and error blocks of 4x4 image blocks ("bars") calculated using F, G, H, I, J, K, L, M The predicted reference pixels A ', B', C ', D', I ', J', and K 'for the next image block ("four") after the sum of the error pixels. Calculate)
  • the error pixel for each unit image block constituting the N ⁇ N image block used to generate predictive reference pixels of the N ⁇ N image block is calculated by inversely transforming an error coefficient block for each unit image block into a spatial domain.
  • only an error pixel necessary for generating a predictive reference pixel of an N ⁇ N image block is calculated.
  • the prediction reference pixel of the N ⁇ N image block is transformed using a transform element value combined with the error coefficients of the error coefficient block for each unit image block constituting the N ⁇ N image block. Compute only the error pixels needed to generate.
  • the predictive reference pixels of all N ⁇ N image blocks constituting the image frame are sequentially calculated and stored in the predictive reference pixel generator 180.
  • the predictive reference pixel generator 180 described above generates a predictive reference pixel in units of 4 ⁇ 4 image blocks, that is, in units of unit image blocks.
  • the prediction block DC calculator 190 configures a unit image constituting the N ⁇ N image block based on the intra prediction mode of the N ⁇ N image block determined by the prediction mode determiner 110 and the prediction reference pixels of the N ⁇ N image block. Compute the DC coefficients of the predictive block for the block.
  • the DC coefficient of the prediction block is a DC coefficient of the prediction block for each unit image block generated by block-based transforming the prediction block for each unit image block constituting the N ⁇ N image block. Is calculated as the predictive reference pixel of the N ⁇ N image block.
  • the image block DC calculator 195 calculates the DC coefficient of the N ⁇ N image block by adding the calculated DC coefficients of the prediction block for each unit image block and the DC coefficients of the error coefficient block for each unit image block.
  • the thumbnail image generator 197 generates a thumbnail image of the image frame by combining DC coefficients of all N ⁇ N image blocks constituting the image frame.
  • the unit image block constituting the N ⁇ N image block described above is a 4 ⁇ 4 image block as a unit size of an image block used to generate a predictive reference pixel of the N ⁇ N image block and calculate a DC coefficient. Therefore, in the case of an 8x8 image block, a prediction reference pixel is generated or a DC coefficient is calculated for each of the 4x4 unit image blocks constituting the 8x8 image block, and in the case of a 16x16 image block, 16 4x4 units A predictive reference pixel is generated or a DC coefficient is calculated for each image block.
  • FIG. 5 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame received or stored in an H.264 standard image decoding apparatus according to an embodiment of the present invention.
  • the prediction reference pixel generator 210 configures each N ⁇ N image block from the prediction reference pixels of the N ⁇ N image block based on the intra prediction mode of the N ⁇ N image block.
  • the prediction pixel of the unit image block is calculated, and the error pixel of the error coefficient block for each unit image block is calculated.
  • the predictive reference pixel generator 210 generates a predictive reference pixel in units of each image block by adding the prediction pixels and the error pixels of each unit image block constituting the calculated N ⁇ N image block.
  • the prediction block DC calculator 220 may determine a prediction block for each unit image block constituting the N ⁇ N image block based on the intra prediction mode of the N ⁇ N image block and the prediction reference pixels of the previously stored N ⁇ N image block. Calculate the DC coefficient.
  • the DC coefficient of the prediction block is a DC coefficient of the prediction coefficient block generated by block-based transforming the prediction block for each unit image block constituting the N ⁇ N image block.
  • the DC coefficient of the prediction block is N ⁇ N image. Computed with the predictive reference pixels of the block.
  • the image block DC calculator 230 calculates the DC coefficient of each unit image block constituting the input N ⁇ N image block by adding the calculated DC coefficients of the prediction block and the DC coefficients of the error coefficient block for each unit image block.
  • the image block DC calculator 230 calculates the DC coefficient of each unit image block constituting the N ⁇ N image block in units of N ⁇ N image blocks.
  • the thumbnail image generator 295 generates a thumbnail image of an image frame by combining DC coefficients of all image blocks.
  • FIG. 6 is a functional block diagram for explaining in more detail the prediction reference pixel generator according to the present invention.
  • the predictive reference pixel generator includes a transform element calculator 310, a predictive reference pixel calculator 320, and a predictive reference pixel storage 330.
  • the predictive reference pixel generator generates a predictive reference pixel by adding the prediction pixels generated according to the intra prediction mode of each unit image block and the error pixels of each unit image block, and the predictive reference pixel generator generates a predictive reference pixel from the error coefficient block of each unit image block.
  • the transform element value is used to reduce the amount of computation required to calculate the error pixel of each unit image block.
  • the transform element calculator 310 converts the transform element values H 0 , H 1 , H 2 , H 3 , V 0 , V 1 used to calculate each error pixel of the unit image block from each error coefficient block of the unit image block. , V 2 , V 3 ) is calculated by the following equations (1) to (8).
  • Equation 9 the error block W of the transform region for the unit image block is expressed by Equation 9 below.
  • the prediction reference pixel calculator 320 is a prediction pixel generated according to the intra prediction mode of the unit image block from the prediction reference pixels of the unit image block previously stored in the prediction reference pixel storage unit 330 and the error pixel of the unit image block. S is calculated to calculate a predictive reference pixel for the unit image block after the unit image block. That is, the prediction reference pixel calculator 320 calculates the prediction reference pixel by adding only the prediction pixel and the error pixel at the position used as the prediction reference pixel.
  • Equation (10) is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical mode which is the 0th mode in the 4x4 luminance mode.
  • a ' ((A) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((D) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (11) is an equation for generating a predictive reference pixel for a 4x4 image block according to a horizontal mode which is the first mode in the 4x4 luminance mode.
  • a ' ((L) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • I ' ((I) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a
  • K ' ((K) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (12) is an equation for generating a predictive reference pixel for a 4x4 image block according to a DC mode which is the second mode in the 4x4 luminance mode.
  • a ' ((Avg) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • I ' ((Avg) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a
  • K ' ((Avg) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (13) is an equation for generating a predictive reference pixel for a 4x4 image block according to the diagonal down-left mode, which is the third mode in the 4x4 luminance mode.
  • a ' ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • Equation (14) is an equation for generating a predictive reference pixel for a 4x4 image block in a 4 ⁇ 4 luminance mode according to a fourth diagonal mode down-right mode.
  • a ' ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (15) is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical right mode which is the fifth mode in the 4x4 luminance mode.
  • a ' ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (16) is an equation for generating a predictive reference pixel for the 4x4 image block according to the horizontal down mode which is the sixth mode in the 4x4 luminance mode.
  • a ' ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (17) is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical down mode, which is the seventh mode in the 4x4 luminance mode.
  • a ' ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • Equation (18) is an equation for generating a predictive reference pixel for the 4x4 image block according to the horizontal up mode which is the eighth mode in the 4x4 luminance mode.
  • a ' ((L) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a
  • K ' ((L) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a
  • the four 16 ⁇ 16 luminance prediction modes and the four 8 ⁇ 8 color difference prediction modes are determined as the luminance prediction mode or the color difference prediction mode of the input 16 ⁇ 16 image block or 8 ⁇ 8 image block.
  • a 4x4 image block is divided into 4x4 image blocks, and each of the divided 4x4 image blocks is generated by using the above-described equations (10) to (18) according to the determined intra prediction mode. .
  • FIG. 8 is a flowchart illustrating a method of generating a predictive reference pixel according to an embodiment of the present invention.
  • an intra prediction mode of the input 4 ⁇ 4 image block is determined (S3). Prediction of the 4x4 image block input after the 4x4 image block from the prediction reference pixels of the prestored 4x4 image block and the error pixels of the 4x4 image block according to the intra prediction mode of the input 4x4 image block A reference pixel is generated (S5). A prediction reference pixel for the 4x4 image block input after the 4x4 image block is generated differently according to the determined intra prediction mode of the 4x4 image block.
  • the prediction reference pixels A ', B', C ', D', I ', J', K ', and L' generated in step S3 are stored in the storage unit (S7) and the stored prediction reference pixels A ' , B ', C', D ', I', J ', K', L ') are used to calculate the DC coefficients of the predictive block for the 4x4 image block that is input after the 4x4 image block.
  • FIG. 9 is a flowchart illustrating a method of generating a thumbnail image of an image frame of the H.264 standard according to an embodiment of the present invention.
  • the prediction reference pixels for the N ⁇ N image blocks are extracted (S11), and each of the N ⁇ N image blocks is configured according to the predicted reference pixels for the extracted N ⁇ N image blocks and the intra prediction mode of the determined N ⁇ N image blocks.
  • the DC coefficient E of the prediction block for the unit image block is calculated (S13).
  • a prediction reference pixel for each unit image block constituting the N ⁇ N image block is generated and stored in the same manner as described above.
  • Comprising an N ⁇ N image block by using the DC coefficient (E) of the prediction block for each unit image block constituting the N ⁇ N image block and the DC coefficient (W 00 ) of the error coefficient block for each unit image block.
  • the DC coefficient of each unit image block is calculated (S15).
  • the DC coefficient for each unit image block constituting the N ⁇ N image block is calculated as shown in Equation (19) below.
  • Equation (20) is an equation for calculating DC coefficients for a 4x4 image block according to the vertical mode which is the 0th mode.
  • Equation (21) is an equation for calculating a DC coefficient for a 4x4 image block according to a horizontal mode that is a first mode.
  • Equation (22) is an equation for calculating a DC coefficient for a 4x4 image block according to the DC mode, which is the second mode.
  • Equation (23) is an equation for calculating DC coefficients for a 4x4 image block according to the third mode, the diagonal down-left mode.
  • Equation (24) is an equation for calculating DC coefficients for 4 ⁇ 4 image blocks according to the fourth mode, Diagonal down-right mode.
  • Equation (25) is an equation for calculating DC coefficients for a 4x4 image block according to a vertical right mode which is a fifth mode.
  • Equation (26) is an equation for calculating DC coefficients for a 4x4 image block according to a horizontal down mode, which is a sixth mode.
  • Equation (27) is an equation for calculating a DC coefficient for a 4x4 image block according to the vertical left mode, which is the seventh mode.
  • Equation 28 is an equation for calculating DC coefficients for a 4x4 image block according to a horizontal up mode which is an eighth mode.
  • the DC coefficients for the 16 ⁇ 16 image block are calculated by adding the DC coefficients and the error coefficients of the prediction block to each unit image block constituting the 16 ⁇ 16 image block, and calculating the DC coefficients of each unit image block. Calculate the DC coefficient of.
  • Equation (29) calculates DC coefficients for the unit image blocks constituting the 16x16 image block, that is, the first 4x4 image block to the 16th 4x4 image block according to the vertical mode which is the 0th mode.
  • Equation (30) is an equation for calculating DC coefficients for the first 4x4 image blocks to the sixteenth 4x4 image blocks constituting the 16x16 image block according to the horizontal mode which is the first mode.
  • Equation 31 calculates DC coefficients for the first 4x4 image blocks to the 16th 4x4 image blocks constituting the 16x16 image block according to the DC mode which is the second mode.
  • Equation (32) calculates DC coefficients for the first 4x4 image blocks to the sixteenth 4x4 image blocks constituting the 16x16 image block according to the mode of the third mode.
  • ib (5 * ih + a / 2) / a
  • the DC coefficients for the 8x8 image block are calculated by adding the DC coefficients and the error coefficients of the prediction block to each unit image block constituting the 8x8 image block to calculate the DC coefficient of each unit image block. Calculate the DC coefficient of.
  • Equation (33) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the vertical mode, which is the 0th mode.
  • Equation (34) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the horizontal mode, which is the first mode.
  • Equation (35) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the DC mode which is the second mode.
  • Equation (36) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the plane mode, which is the third mode.
  • ib (17 * ih + a / 2) / a
  • Prediction reference pixels (A 1 , B 1 , C 1 , D 1 , A 2 , B 2 , C 2 , D in the spatial domain for the 8 ⁇ 8 image block input in equations (33) to (36) 2 , M, I 1 , J 1 , K 1 , L 1 , I 2 , J 2 , K 2 , L 2 ) and the first 4 ⁇ 4 blocks to fourth 4 ⁇ 4 blocks constituting an 8 ⁇ 8 image block.
  • the order of is shown in FIG.
  • the prediction pixels of the 4x4 image block are calculated by reconstructing only the reference pixels, that is, the prediction reference pixels used to calculate the prediction block of the 4x4 image block.
  • the DC coefficient of the prediction block for each unit image block constituting the N ⁇ N image block is calculated directly from the prediction reference pixel of the N ⁇ N image block, and the DC coefficient of the prediction block for each calculated unit image block and The DC coefficients of the respective unit image blocks constituting the N ⁇ N image block are simply calculated by adding the DC coefficients of the error coefficient blocks with respect to the unit image block.
  • the prediction reference data of the first image block is set to 128, and the DC coefficient is calculated as shown in Equation (37) below.
  • Step S17 It is determined whether the DC coefficients are calculated for all N ⁇ N image blocks constituting the image frame (S17). Steps S11 to S15 are repeated to calculate DC coefficients of all N ⁇ N image blocks. If it is determined in step S17 that the DC coefficients of all N ⁇ N image blocks constituting the image frame are calculated, a thumbnail image of the image frame is generated using the DC coefficients of all N ⁇ N image blocks (S19).
  • 10 is required for generating a prediction reference pixel according to a method of generating a prediction reference pixel using a conventional fast inverse DCT, a method of generating a prediction reference pixel using a direct inverse DCT, and a method of generating a prediction reference pixel according to the present invention.
  • This chart compares the number of calculations and the number of memory accesses. 10 is a result showing the number of calculations and the number of memory accesses required to generate a predictive reference pixel from a 4x4 error coefficient block.
  • the number of addition operations required to recover all the reference pixels required in the method of generating the predictive block using fast inverse DCT is 96 times, the number of shifts is 48, and the memory accesses. The number is 192 times.
  • the number of addition calculations required to recover all the reference pixels required is 240, the number of shifts is 112, and the number of memory accesses is 64.
  • the number of addition calculations required to generate only the prediction reference pixel required for generating the prediction block is 59, the number of shifts is 26, and the number of memory accesses is 8.
  • the method of generating a prediction block according to the present invention is faster than the case of generating a prediction block using a conventional fast inverse DCT or direct inverse DCT due to the calculation amount and the number of memory access times faster Can be encoded.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may include a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.) and a carrier wave (eg, the Internet). Storage medium).
  • a magnetic storage medium eg, ROM, floppy disk, hard disk, etc.
  • an optical reading medium eg, CD-ROM, DVD, etc.
  • a carrier wave eg, the Internet.
  • the present invention will be widely used in various imaging apparatuses using thumbnail images by simply and quickly generating thumbnail images as compared with the conventional method for generating thumbnail images through a complicated process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 이미지에 대한 섬네일 이미지를 생성하는 방법에 관한 것으로, 보다 구체적으로 영상 이미지를 구성하는 영상 블록에 대한 예측 블록의 DC 계수를 공간 영역의 영상 블록의 예측 참조 픽셀로부터 직접 계산하고, 계산한 예측 블록의 DC 계수와 영상 블록에 대한 오차 블록의 DC 계수로부터 영상 블록의 DC 계수를 계산하여 영상 이미지의 섬네일 이미지를 생성하는 방법에 관한 것이다. 본 발명에 따른 섬네일 이미지의 생성 방법은 영상 블록에 대한 오차 계수 블록의 DC 계수와 영상 블록에 대한 예측 블록의 DC 계수로 직접 영상 블록의 DC 계수를 계산함으로써, 영상 이미지를 구성하는 공간 영역과 변환 영역 사이에서 영상 블록을 변환하지 않고 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있으며, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 섬네일 이미지를 통해 특정 영상 이미지를 빠르게 검색할 수 있다.

Description

[규칙 제26조에 의한 보정 03.09.2009]　Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법
본 발명은 영상 이미지에 대한 섬네일 이미지를 생성하는 방법에 관한 것으로, 보다 구체적으로 영상 이미지를 구성하는 영상 블록에 대한 예측 블록의 DC 계수를 공간 영역의 영상 블록의 예측 참조 픽셀로부터 직접 계산하고, 계산한 예측 블록의 DC 계수와 영상 블록에 대한 오차 블록의 DC 계수로부터 영상 블록의 DC 계수를 계산하여 영상 이미지의 섬네일 이미지를 생성하는 방법에 관한 것이다.
비디오 압축은 디지털 TV, 인터넷 스트리밍 비디오 그리고 DVD-비디오와 같은 광범위한 분야에 채택됨으로 인해, 방송 및 오락 매체의 핵심 요소가 되었다. 디지털 TV와 DVD 비디오의 성공은 발표된 지 15년이 지난 MPEG-2 표준안을 기초로 한 것으로, 이 기술의 효용성은 충분히 증명되었지만 이제는 구식의 기술이다. 이제는 프로세싱 능력의 발전을 이용하여 보다 효과적이고 효율적인 기술로 MPEG-2의 자리를 대체해야 할 때인 것이 분명하다. 어떤 기술이 MPEG-2를 대신해야 하는가에 대한 논쟁은 지금도 계속되고 있지만, 이러한 논쟁에서 가장 앞서서 고려되고 있는 기술 중 하나가 H.264/AVC(Advanced VDeo cDing)이다.
H.264/AVC은 시각 정보의 부호화된 표현을 위한 표준안으로, 국제통신위원회(ITU-T: International Telecommunication Union)의 연구 그룹인 Video Coding Experts Group(VCEG)에 의해 개발되었다.
H.264/AVC는 코덱(CDEC: enCDer/DECder)을 따로 정의하지 않고 있으며, 단지 인코딩된 비디오 비트스트림의 신택스(syntax)와 이러한 비트스트림을 디코딩하는 방법을 정의하고 있다. 코딩된 픽쳐는 여러 개의 매크로 블록으로 구성되는데, 각 매크로블록은 16×16 휘도 샘플 및 이와 관련된 색차 샘플을 포함한다. 각 픽쳐 내의 매크로블록들은 슬라이스에 배열되는데, 슬라이스에는 매크로블록들이 순차적인 스캔 순서로 존재한다. 매크로블록들은 I 슬라이스, P 슬라이스, B 슬라이스에 포함되는데, I 슬라이스는 인트라(intra) 매크로블록만을 포함하며, P 슬라이스는 인터(inter) 매크로블록과 인트라 매크로블록을 포함하며, B 슬라이스는 인터 매크로블록과 인트라 매크로블록을 포함한다. 이중 인트라 매크로블록은 현재 슬라이스 내에서 디코딩되어 복원된 참조 샘플로부터 인트라 예측을 사용하여 예측된다.
도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다. H.264/AVC 인코더는 "순방향" 경로(왼쪽에서 오른쪽)와 "복원" 경로(오른쪽에서 왼쪽)의 두 개의 데이터 흐름 경로를 포함하고 있다. "순방향"경로에서 복원된 참조 블록으로부터 예측 블록을 생성하고, 현재 인코딩하고자 하는 영상 블록을 생성한 예측 블록에서 빼서 오차 픽셀 블록을 생성한다. 한편, "복원" 경로에서는 생성한 오차 픽셀 블록과 예측 블록을 합하여 다음으로 인코딩하고자 하는 영상 블록의 참조 픽셀 블록을 생성한다.
도 1을 참고로 "순방향"경로와 "복원"경로를 보다 구체적으로 살펴본다. 먼저, "순방향"경로에 대해 살펴보면 예측 모드 결정부(10)는 입력된 공간 영역의 N×N 영상 블록에 대한 인트라 예측 모드를 결정한다. 예측 블록 생성부(20)는 결정한 인트라 예측 모드에 따라 저장된 참고 블록을 이용하여 입력된 공간 영역의 N×N 영상 블록에 대한 예측 블록을 생성한다.
오차 블록 생성부(30)는 입력된 공간 영역의 N×N 영상 블록과 생성한 예측 블록을 서로 차감하여 N×N 오차 블록을 생성한다. 변환부(40)는 N×N 오차 블록을 블록 기반 변환 방식으로 변환하여 변환 영역의 N×N 오차 계수 블록으로 변환한다. 바람직하게, 블록 기반 변환 방식 중 DCT(Discrete Cosine Transform) 또는 정수 DCT 방식이 사용된다.
양자화부(50)는 변환 영역의 N×N 오차 계수 블록을 양자화하며 부호화부(60)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 오차 계수 블록을 부호화하여 비트스트림을 생성한다.
한편, "복원" 경로에 대해 살펴보면, 양자화부(50)에서 출력되는 양자화된 N×N 오차 계수 블록을 역양자화부(70)에서 역양자화하고, 역변환부(80)는 역양자화된 N×N 오차 계수 블록을 역변환하여 공간 영역의 N×N 오차 블록을 생성한다. 참조 블록 생성부(90)는 N×N 오차 블록과 예측 블록을 합하여 다시 예측 블록을 생성하는데 이용되는 참조 블록을 복원한다.
위에서 살펴본 바와 같이, H.264/AVC 인코더는 N×N 오차 계수 블록을 이용하여 영상 이미지를 압축하도록 규정하고 있는데, N×N 오차 계수 블록을 생성하기 위하여 사용되는 예측 블록은 인코딩하고자 하는 N×N 영상 블록의 인트라 예측 모드를 통해 결정된다. H.264/AVC 인코더에서 휘도 4×4 영상 블록에 대해서는 9개의 인트라 예측 모드가 정의되어 있으며, 휘도 16×16 영상 블록에 대해서는 4개의 인트라 예측 모드가 정의되어 있고, 색차 영상에는 8×8 영상 블록에 대해서는 4개의 인트라 예측 모드가 정의되어 있다.
도 2를 참고로 4×4 영상 블록에서 사용되는 9개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.
1) 제0 예측 모드(vertical)
- Vertical 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다.
- A 픽셀은 블록의 첫 column 부분의 4개의 픽셀에 채워지고 B 픽셀은 블록의 두 번째 column 부분의 4개의 픽셀에 채워지며, C, D 픽셀도 각각 블록 column에 해당하는 4개의 픽셀에 채워진다.
2) 제1 예측 모드(horizontal)
- Horizontal 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다.
- I 픽셀은 블록의 첫 row 부분의 4개의 픽셀에 채워지고 J 픽셀은 블록의 두 번째 row 부분의 4개의 픽셀에 채워지며, K, L 픽셀도 각각 블록 row에 해당하는 4개의 픽셀에 채워진다.
3) 제2 예측 모드(DC)
- DC 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀(I,J,K,L)과 위쪽 X 영상 블록(A,B,C,D)의 4픽셀의 평균값으로 예측되는 모드이다.
4) 제3 예측 모드(diagonal down-left)
- Diagonal down-left 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀과 위/오른쪽 Y 영상 블록을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 좌측 하단과 우측 상단 사이의 45도 각도로 채워진다.
5) 제4 예측 모드(diagonal down-right)
- Diagonal down-right 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 우측 하단 45도 방향으로 채워진다.
6) 제5 예측 모드(vertical-right)
- Vertical-right 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.
- 수직의 오른쪽 약 26.6도 방향으로 채워진다. (넓이/높이=1/2)
7) 제6 예측 모드(horizontal-down)
- Horizontal-down 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.
- 수평의 아래 약 26.6도 방향으로 채워진다.
8) 제7 예측 모드(vertical-left)
- Vertical-left 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 오른쪽 Y 영상 블록의 1픽셀(E)을 이용하여 예측하는 모드이다.
- 수직의 왼쪽 약 26.6도 방향으로 채워진다.
9) 제8 예측 모드(horizontal-up)
- Horizontal-up 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.
- 수평의 위쪽 약 26.6도 방향으로 보간된다.
한편, 핸드폰, 디지털 TV 등과 같은 멀티미디어 단말기는 저장하고 있는 영상 이미지를 미리 보기 위해 작은 사이즈의 이미지(이하, '섬네일 이미지'라 언급한다)를 사용하여 멀티미디어 단말기에 저장되어 있는 영상 데이터를 검색한다.
도 3은 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다. 도 3에 도시되어 있는 섬네일 이미지를 참고로 살펴보면, 핸드폰에 저장되어 있는 다수의 영상 또는 동영상 이미지들이 디스플레이부에 섬네일 이미지로 미리 디스플레이된다. 사용자는 디스플레이된 섬네일 이미지를 통해 재생하고자 하는 영상 또는 동영상을 검색하고 검색한 영상 또는 동영상 중 소정 영상을 선택하면, 선택한 영상은 원래 사이즈의 이미지로 재생된다.
원영상 이미지에서 섬네일 이미지를 생성하기 위한 통상적인 방법은 크게 2가지로 나누어 볼 수 있다. 첫 번째 방법은 공간 영역의 영상 이미지를 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성하는 것이다. 두 번째 방법은 영상 이미지를 구성하는 변환 영역의 각 영상 계수 블록에서 DC 계수만을 추출하여 원영상 이미지의 섬네일 이미지를 생성하는 것이다. 변환 영역의 각 영상 계수 블록에서 상단 좌측에 존재하는 DC 계수는 공간 영역의 각 영상 픽셀 블록에 대한 평균값으로, DC 계수만을 추출하여 생성된 영상 이미지는 원래 영상 이미지의 크기를 1/N만큼 다운 샘플링한 것과 동일하다.
위에서 설명한 첫 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 잔여 영상 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 잔여 영상 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 복원 블록을 생성한 후, 다시 복원 블록을 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성한다. 따라서 첫 번째 방법은 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위하여 변환 영역과 공간 영역으로 영상 이미지를 반복하여 변환하여야 한다는 문제점을 가진다.
한편, 위에서 설명한 두 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 오차 계수 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 오차 픽셀 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 참조 픽셀 블록을 복원한 후, 공간 영역의 참조 픽셀 블록을 다시 변환 영역으로 변환하여 DC 계수를 추출하여야 하므로 긴 프로세스 시간과 복잡한 데이터 처리 과정을 필요로 한다는 문제점을 가진다.
또한 H.264/AVC 인코더에서 인트라 예측 모드에 따라 예측 블록을 생성하는데 사용되는 참조 픽셀은 복원된 참조 픽셀 블록 중 일부만이 사용되고 있다. 그러나 종래 H.264/AVC 인코더에서는 참조 픽셀 블록 전체를 복원하며, 따라서 참조 픽셀 블록 전체를 복원하기 위하여 많은 계산을 수행하여 하드웨어에 큰 부하를 준다. 더욱이, 종래 H.264/AVC 인코더에서는 사용되지 않은 참조 픽셀 블록의 참조 픽셀을 저장하기 위하여 큰 저장 공간을 요구하며 저장 공간에 액세스하는 횟수만을 증가시켜 예측 블록을 생성하는데 오랜 시간이 소요된다는 문제점을 가진다.
본 발명이 이루고자 하는 목적은 위에서 언급한 종래 섬네일 이미지의 생성 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 섬네일 이미지의 생성에 필요한 영상 블록의 DC 계수만을 적은 계산량으로 계산하고 계산한 영상 블록의 DC 계수로부터 섬네일 이미지를 생성하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 인트라 예측에서 예측 블록을 생성하는데 사용되는 참조 픽셀만을 생성하여 적은 프로세스로 간단하게 섬네일 이미지를 생성할 수 있으며, 예측 블록을 생성하는데 사용되는 참조 픽셀만을 저장하여 작은 저장 공간을 요구하는 섬네일 이미지의 생성 방법을 제공하는 것이다.
본 발명이 이루고자 하는 목적을 달성하기 위하여, 본 발명에 따른 영상 프레임을 구성하는 H.264 기반의 N×N 영상 블록들로부터 섬네일 이미지를 생성하는 방법에 있어서, N×N 영상 블록에 대한 예측 참조 픽셀을 추출하는 단계와, N×N 영상 블록의 인트라 예측 모드에 기초하여 추출한 N×N 영상 블록의 예측 참조 픽셀로 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하는 단계 및 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 각 단위 영상 블록에 대한 오차 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산하는 단계 및 영상 프레임을 구성하는 N×N 영상 블록들에 대한 DC 계수를 추출하여 영상 프레임의 섬네일 이미지를 생성하는 단계를 포함한다.
여기서 단위 영상 블록에 대한 예측 블록의 DC 계수는 N×N 영상 블록에 대한 예측 참조 픽셀의 조합으로 계산된다.
여기서 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 N×N 영상 블록 주변의 참조 픽셀인 것을 특징으로 한다.
예측 참조 픽셀은 단위 영상 블록의 인트라 예측 모드에 따라 기저장된 단위 영상 블록의 예측 참조 픽셀로부터 예측 픽셀을 계산하는 단계와, 단위 영상 블록의 오차 픽셀을 계산하는 단계와, 계산한 예측 픽셀과 오차 픽셀을 합하여 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 생성하는 단계 및 생성한 단위 영상 블록의 예측 참조 픽셀을 저장하는 단계를 포함하여 N×N 영상 블록을 구성하는 단위 영상 블록 기준으로 생성되는 것을 특징으로 한다.
여기서 단위 영상 블록의 오차 픽셀은 단위 영상 블록의 경계에 위치하는 픽셀에 대한 오차 픽셀이며, 바람직하게 단위 영상 블록의 오차 픽셀은 단위 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 픽셀에 대한 오차 픽셀이다.
바람직하게, N×N 영상 블록의 크기가 4×4 영상 블록인 경우 N×N 영상 블록의 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 N×N 영상 블록 주변의 13개 참조 픽셀인 것을 특징으로 한다.
본 발명에 따라 섬네일 이미지의 생성 방법은 종래 섬네일 이미지의 생성 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.
첫째, 본 발명에 따른 섬네일 이미지의 생성 방법은 영상 블록에 대한 오차 계수 블록의 DC 계수와 영상 블록에 대한 예측 블록의 DC 계수로 직접 영상 블록의 DC 계수를 계산함으로써, 공간 영역과 변환 영역 사이에서 영상 블록을 변환하지 않고 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있다.
둘째, 본 발명에 따른 섬네일 이미지의 생성 방법은 영상 블록에 대한 오차 계수 블록의 DC 계수와 영상 블록에 대한 예측 블록의 DC 계수로 직접 영상 블록의 DC 계수를 계산함으로써, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 섬네일 이미지를 통해 특정 영상 이미지를 빠르게 검색할 수 있다.
셋째, 본 발명에 따른 섬네일 이미지의 생성 방법은 참조 픽셀 블록의 모든 참조 픽셀을 계산하는 대신 예측 블록의 DC 계수를 계산하는데 사용되는 참조 픽셀 즉, 예측 참조 픽셀만을 계산함으로써, 예측 참조 픽셀을 계산하는데 필요한 계산량과 메모리 액세스 횟수가 적어 빠르게 섬네일 이미지를 생성할 수 있다.
도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다.
도 2는 4×4 영상 블록에서 사용되는 9개의 인트라 예측 모드를 설명하기 위한 도면이다.
도 3은 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따라 H.264 표준의 영상 부호화 장치에서 입력 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.
도 5는 본 발명의 일 실시예에 따라 H.264 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.
도 6은 본 발명에 따른 예측 참조 픽셀 생성부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 7은 4×4 영상 블록의 인트라 예측 모드에 따라 계산된 4×4 영상 블록의 예측 참조 픽셀을 도시하고 있다.
도 8은 본 발명의 일 실시예에 따른 예측 참조 픽셀을 생성하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 H.264 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 10은 종래 고속 역DCT(IDCT)를 이용한 예측 블록의 생성 방법, 다이렉트 역DCT를 이용한 예측 블록의 생성 방법 및 본 발명에 따른 예측 블록의 생성 방법의 계산 횟수와 메모리 액세스 횟수를 비교한 도표이다.
도 11은 16×16 영상 블록의 일 예를 도시하고 있다.
도 12는 8×8 영상 블록의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 섬네일 이미지의 생성 방법을 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따라 H.264 표준의 영상 부호화 장치에서 입력 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.
도 4를 참고로, 먼저 "순방향"경로에 대해 살펴보면 공간 영역의 N×N 영상 블록이 입력되면 예측 모드 결정부(110)는 입력된 N×N 영상 블록의 인트라 예측 모드를 결정한다. 예측 블록 생성부(120)는 결정한 N×N 영상 블록의 인트라 예측 모드에 기초하여 이전에 복원되어 저장된 참조 픽셀로부터 입력된 N×N 영상 블록에 대한 공간 영역의 예측 블록을 생성한다. 오차 픽셀 블록 생성부(130)는 입력된 N×N 영상 블록과 생성된 예측 블록을 서로 차감하여 공간 영역의 N×N 오차 픽셀 블록을 생성한다. 변환부(140)는 생성된 공간 영역의 N×N 오차 픽셀 블록을 블록 기반 변환 방식으로 변환하여 변환 영역의 N×N 제1 오차 계수 블록을 생성한다. 바람직하게, 블록 기반 변환 방식 중 DCT(Discrete Cosine Transform) 또는 정수 DCT 방식이 사용된다.
양자화부(150)는 N×N 제1 오차 계수 블록을 양자화화며, 부호화부(160)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 제1 오차 계수 블록을 부호화하여 비트스트림을 생성한다.
한편, "복원" 경로에 대해 살펴보면, N×N 제1 영상 블록 다음으로 입력되는 N×N 제2 영상 블록에 대한 예측 블록을 생성하기 위하여 양자화부(150)에서 출력되는 N×N 오차 계수 블록을 역양자화부(170)에서 역양자화한다. 양자화부(150)에서 출력되는 N×N 제1 오차 계수 블록은 역양자화부(170)에서 역양자화된다.
예측 참조 픽셀 생성부(180)는 영상 블록의 예측 참조 픽셀을 생성하는데, 여기서 예측 참조 픽셀이란 영상 블록의 인트라 예측 모드에 따라 영상 블록의 예측 픽셀을 계산하는데 사용되는 영상 블록 주변의 참조 픽셀을 의미한다. 예를 들어 도 7에서 4×4 영상 블록("바")에 대한 예측 참조 픽셀은 4×4 영상 블록("바")에 인접한 참조 픽셀 들 중 4×4 영상 블록("바")의 인트라 예측 모드에 따라 예측 픽셀을 계산하는데 직접 사용되는 13개의 참조 픽셀들(A, B, C, D, E, F, G, H, I, J, K, L, M)이다.
예측 참조 픽셀 생성부(180)는 영상 블록의 예측 참조 픽셀을 생성하기 위하여 영상 블록의 모든 참조 픽셀을 생성하는 것이 아니라, 예측 참조 픽셀로 사용되는 참조 픽셀만을 생성한다. 즉, 예측 참조 픽셀 생성부(180)는 영상 블록의 경계에 위치하는 참조 픽셀만을 예측 참조 픽셀로 생성하거나, 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 참조 픽셀만을 예측 참조 픽셀로 생성한다.
예를 들어, 예측 참조 픽셀 생성부(180)는 4×4 영상 블록("바")에서 4×4 영상 블록("바") 전체를 복원하여 4×4 영상 블록("바")의 모든 참조 픽셀을 생성하는 것이 아니라, 예측 참조 픽셀로 사용되는 7개의 참조 픽셀(A', B', C', D', I', J', K')만을 생성한다. 생성한 7개의 참조 픽셀(A', B', C', D', I', J', K')은 다음 영상 블록("사")의 13개의 예측 참조 픽셀들 중 일부로 사용된다. 즉, 생성한 7개의 참조 픽셀(A', B', C', D', I', J', K') 중 참조 픽셀(I', J', K', D')는 기저장된 다음 영상 블록("사")의 또 다른 참조 픽셀(D, E, F, G, H, L, O, P, Q)과 함께 영상 블록("사")의 예측 참조 픽셀로 사용된다.
예측 참조 픽셀 생성부(180)는 4×4 영상 블록("바")의 인트라 예측 모드에 따라 4×4 영상 블록("바")의 예측 참조 픽셀(A, B, C, D, E, F, G, H, I, J, K, L, M)을 이용하여 계산된 4×4 영상 블록("바")의 예측 픽셀과 4×4 영상 블록("바")의 오차 블록으로부터 계산된 오차 픽셀을 합하여 4×4 영상 블록("바") 다음의 영상블록("사")에 대한 예측 참조 픽셀(A', B', C', D', I', J', K')을 계산하다.
N×N 영상 블록의 예측 참조 픽셀을 생성하는데 사용되는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 오차 픽셀은 각 단위 영상 블록에 대한 오차 계수 블록을 공간 영역으로 역변환하여 계산되는데, 본 발명에서는 N×N 영상 블록의 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다. 바람직하게, 본 발명에서 계산량을 줄이기 위하여 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 오차 계수 블록의 오차 계수들로 조합된 변환 요소 값을 사용하여 N×N 영상 블록의 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다.
이와 동일한 방법으로 영상 프레임을 구성하는 모든 N×N 영상 블록의 예측 참조 픽셀이 차례로 계산되어 예측 참조 픽셀 생성부(180)에 저장된다. 위에서 설명한 예측 참조 픽셀 생성부(180)는 4×4 크기의 영상 블록 단위로, 즉 단위 영상 블록 기준으로 예측 참조 픽셀을 생성한다.
예측 블록 DC 계산부(190)는 예측 모드 결정부(110)에서 결정한 N×N 영상 블록의 인트라 예측 모드와 N×N 영상 블록의 예측 참조 픽셀을 기반으로 N×N 영상 블록을 구성하는 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산한다. 예측 블록의 DC 계수는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록을 블록 기반 변환하여 생성되는 각 단위 영상 블록에 대한 예측 블록의 DC 계수로, 본 발명에서 예측 블록의 DC 계수는 N×N 영상 블록의 예측 참조 픽셀로 계산된다. 영상 블록 DC 계산부(195)는 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 각 단위 영상 블록에 대한 오차 계수 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산한다. 섬네일 이미지 생성부(197)는 영상 프레임을 구성하는 모든 N×N 영상 블록의 DC 계수를 조합하여 영상 프레임에 대한 섬네일 이미지를 생성한다. 위에서 설명한 N×N 영상 블록을 구성하는 단위 영상 블록이란 N×N 영상 블록의 예측 참조 픽셀을 생성하고, DC 계수를 계산하는데 사용되는 영상 블록의 단위 크기로 4×4 영상 블록이다. 따라서 8×8 영상 블록의 경우 8×8 영상 블록을 구성하는 4개의 4×4 단위 영상 블록별로 예측 참조 픽셀을 생성하거나 DC 계수를 계산하며, 16×16 영상 블록의 경우 16개의 4×4 단위 영상 블록별로 예측 참조 픽셀을 생성하거나 DC 계수를 계산한다.
도 5는 본 발명의 일 실시예에 따라 H.264 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.
도 5를 참고로 보다 구체적으로 살펴보면, 예측 참조 픽셀 생성부(210)는 N×N 영상 블록의 인트라 예측 모드에 기초하여 N×N 영상 블록의 예측 참조 픽셀로부터 N×N 영상 블록을 구성하는 각 단위 영상 블록의 예측 픽셀을 계산하고, 각 단위 영상 블록에 대한 오차 계수 블록의 오차 픽셀을 계산한다. 예측 참조 픽셀 생성부(210)는 계산한 N×N 영상 블록을 구성하는 각 단위 영상 블록의 예측 픽셀과 오차 픽셀을 서로 합하여 각 단위 영상 블록 단위로 예측 참조 픽셀을 생성한다.
예측 블록 DC 계산부(220)는 N×N 영상 블록의 인트라 예측 모드와 기저장된 N×N 영상 블록의 예측 참조 픽셀을 기반으로 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산한다. 예측 블록의 DC 계수는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록을 블록 기반 변환하여 생성되는 예측 계수 블록의 DC 계수로, 본 발명에서 예측 블록의 DC 계수는 N×N 영상 블록의 예측 참조 픽셀로 계산된다. 영상 블록 DC 계산부(230)는 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 오차 계수 블록의 DC 계수를 합하여 입력된 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다. 즉, 영상 블록 DC 계산부(230)는 N×N 영상 블록 단위로 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다. 섬네일 이미지 생성부(295)는 모든 영상 블록의 DC 계수를 조합하여 영상 프레임의 섬네일 이미지를 생성한다.
도 6은 본 발명에 따른 예측 참조 픽셀 생성부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 6을 참고로 살펴보면, 예측 참조 픽셀 생성부는 변환 요소 계산부(310), 예측 참조 픽셀 계산부(320) 및 예측 참조 픽셀 저장부(330)를 구비하고 있다. 예측 참조 픽셀 생성부는 각 단위 영상 블록의 인트라 예측 모드에 따라 생성한 예측 픽셀과 각 단위 영상 블록의 오차 픽셀을 합하여 예측 참조 픽셀을 생성하는데, 예측 참조 픽셀 생성부는 각 단위 영상 블록의 오차 계수 블록으로부터 각 단위 영상 블록의 오차 픽셀을 계산하는데 필요한 계산량을 줄이기 위하여 변환 요소 값을 사용한다. 변환 요소 계산부(310)는 단위 영상 블록의 각 오차 계수 블록으로부터 단위 영상 블록의 각 오차 픽셀을 계산하는데 사용되는 변환 요소 값(H0, H1, H2, H3, V0, V1, V2, V3)을 아래의 수학식(1) 내지 수학식(8)에 의해 계산한다.
[수학식 1]
Figure PCTKR2009004517-appb-I000001
[수학식 2]
Figure PCTKR2009004517-appb-I000002
[수학식 3]
Figure PCTKR2009004517-appb-I000003
[수학식 4]
Figure PCTKR2009004517-appb-I000004
[수학식 5]
Figure PCTKR2009004517-appb-I000005
[수학식 6]
Figure PCTKR2009004517-appb-I000006
[수학식 7]
Figure PCTKR2009004517-appb-I000007
[수학식 8]
Figure PCTKR2009004517-appb-I000008
여기서 단위 영상 블록에 대한 변환 영역의 오차 블록(W)은 아래의 수학식(9)와 같다.
[수학식 9]
Figure PCTKR2009004517-appb-I000009
예측 참조 픽셀 계산부(320)는 예측 참조 픽셀 저장부(330)에 기저장되어 있는 단위 영상 블록의 예측 참조 픽셀로부터 단위 영상 블록의 인트라 예측 모드에 따라 생성된 예측 픽셀과 단위 영상 블록의 오차 픽셀을 합하여 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 계산한다. 즉, 예측 참조 픽셀 계산부(320)는 예측 참조 픽셀로 사용되는 위치의 예측 픽셀과 오차 픽셀만을 합하여 예측 참조 픽셀을 계산한다.
도 7을 참고로, 4×4 영상 블록의 인트라 예측 모드에 따라 계산된 4×4 영상 블록의 예측 참조 픽셀을 보다 구체적으로 살펴본다. 아래의 수학식(10)은 4×4 휘도 모드에서 제0 모드인 수직 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 10]
A' = ( (A)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
B' = ( (B)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
C' = ( (C)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
D' = ( (D)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
I' = ( (D)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
J' = ( (D)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
K' = ( (D)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(11)은 4×4 휘도 모드에서 제 1 모드인 수평 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 11]
A' = ( (L)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
B' = ( (L)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
C' = ( (L)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
D' = ( (L)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
I' = ( (I)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
J' = ( (J)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
K' = ( (K)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(12)은 4×4 휘도 모드에서 제 2 모드인 DC 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 12]
Avg = (A + B + C + D +I + J + K +L)/8
A' = ( (Avg)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
B' = ( (Avg)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
C' = ( (Avg)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
D' = ( (Avg)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
I' = ( (Avg)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
J' = ( (Avg)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
K' = ( (Avg)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(13)은 4×4 휘도 모드에서 제 3 모드인 Diagonal down-left 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 13]
temp1 = (D + F + 2*E + 2)/4
A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
temp2 = (E + G + 2*F + 2)/4
B' = ( (temp3)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
temp3 = (F + H + 2*G + 2)/4
C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
temp4 = (G + 3*H + 2)/4
D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
I' = A'
J' = B'
K' = C'
L' = D'
한편 수학식(14)은 4×4 휘도 모드에서 제 4 모드인 Diagonal down-right 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 14]
temp1 = (L + 2*K + J + 2)/4
A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
temp2 = (K + 2*J + O + 2)/4
B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
temp3 = (J + 2*I + OM+ 2)/4
C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
temp4 = (I + 2*OM + A + 2)/4
D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
temp5 = (B + 2*C + D + 2)/4
I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
temp6 = (A + 2*B + C + 2)/4
J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
temp7 = (OM + 2*A + B + 2)/4
K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(15)은 4×4 휘도 모드에서 제 5 모드인 Vertical right 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 15]
temp1 = (I + 2*J + K + 2)/4
A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
temp2 = (I + 2*OM + A + 2)/4
B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
temp3 = (OM + 2*A + B + 2)/4
C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
temp4 = (A + 2*B + C + 2)/4
D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
temp5 = (C + D + 1)/2
I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
temp6 = (B + 2*C + D + 2)/4
J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
temp7 = (B +C + 1)/2
K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(16)은 4×4 휘도 모드에서 제 6 모드인 Horizontal down 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 16]
temp1 = (K + L + 1)/2
A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
temp2 = (J + 2*K + L + 2)/4
B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
temp3 = (J + K + 1 )/2
C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
temp4 = (I + 2*J + K + 2)/4
D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
temp5 = (A + 2*B +C + 2)/4
I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
temp6 = (I + 2*OM + A + 2)/4
J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
temp7 = (OM +2*I + J + 2)/4
K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(17)은 4×4 휘도 모드에서 제 7 모드인 Vertical down 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 17]
temp1 = (B + 2*C + D + 2)/4
A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
temp2 = (C + 2*D + E + 2)/4
B = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
temp3 = (D + 2*E + F + 2)/4
C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
temp4 = (E + 2*F + G + 2)/4
D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
temp5 = (D + E + 1)/2
I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
temp6 = (D + 2*E + F + 2)/4
J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
temp7 = (E +F + 1)/2
K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
한편 수학식(18)은 4×4 휘도 모드에서 제 8 모드인 Horizontal up 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.
[수학식 18]
A' = ( (L)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/a
B' = ( (L)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/a
C' = ( (L)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/a
D' = ( (L)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/a
temp1 = (J +2*K + L + 2)/4
I' = ( (temp1)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/a
temp2 = (K + 2*L + L + 2)/4
J' = ( (temp2)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/a
K' = ( (L)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/a
L' = D'
4개의 16×16 휘도 예측 모드와 4개의 8×8 색차 예측 모드는 입력된 16×16 영상 블록 또는 8×8 영상 블록의 휘도 예측 모드 또는 색차 예측 모드가 결정되면, 16×16 영상 블록 또는 8×8 영상 블록을 4×4 영상 블록으로 분할하고 분할한 각 4×4 영상 블록을 결정된 인트라 예측 모드에 따라 위에서 설명한 수학식(10) 내지 수학식(18)을 이용하여 예측 참조 픽셀들을 생성한다.
도 8은 본 발명의 일 실시예에 따른, 예측 참조 픽셀을 생성하는 방법을 설명하기 흐름도이다.
도 8을 참고로 살펴보면, 영상 프레임을 구성하는 4×4 영상 블록이 입력되면(S1), 입력된 4×4 영상 블록의 인트라 예측 모드를 판단한다(S3). 입력된 4×4 영상 블록의 인트라 예측 모드에 따라 기저장된 4×4 영상 블록의 예측 참조 픽셀과 4×4 영상 블록의 오차 픽셀로부터 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록의 예측 참조 픽셀을 생성한다(S5). 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록에 대한 예측 참조 픽셀은 판단한 4×4 영상 블록의 인트라 예측 모드에 따라 다르게 생성된다. S3 단계에서 생성된 예측 참조 픽셀(A', B', C', D', I', J', K', L')은 저장부에 저장되며(S7), 저장된 예측 참조 픽셀(A', B', C', D', I', J', K', L')은 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록에 대한 예측 블록의 DC 계수를 계산하는데 사용된다.
도 9는 본 발명의 일 실시예에 따른 H.264 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
N×N 영상 블록에 대한 예측 참조 픽셀을 추출하고(S11), 추출한 N×N 영상 블록에 대한 예측 참조 픽셀과 판단한 N×N 영상 블록의 인트라 예측 모드에 따라 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수(E)를 계산한다(S13). N×N 영상 블록을 구성하는 각 단위 영상 블록 대한 예측 참조 픽셀은 위에서 설명한 방식과 동일한 방식으로 생성되어 기저장되어 있다.
N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수(E)와 각 단위 영상 블록에 대한 오차 계수 블록의 DC 계수(W00)를 이용하여 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다(S15). N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 DC 계수는 아래의 수학식(19)와 같이 계산된다.
[수학식 19]
N×N 영상 블록의 DC 계수= E + W00
9개의 4×4 휘도 예측 모드에 따른 4×4 영상 블록에 대한 DC 계수를 계산하는 방식을 보다 구체적으로 살펴보면 아래와 같다.
수학식(20)은 제0 모드인 수직 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 20]
DC=16*A+16*B+16*C+16*D +W00
수학식(21)은 제1 모드인 수평 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 21]
DC=16*I+16*J+16*K+16*L+W00
수학식(22)은 제2 모드인 DC 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 22]
DC= (A + B + C +D +I + J + K +L)/8 +W00
수학식(23)은 제3 모드인 Diagonal down-left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 23]
DC = A+4*B+8*C+12*D+14*E+12*F+8*G+5*H + W00
수학식(24)은 제4 모드인 Diagonal down-right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 24]
DC=14*M+12*A+8*B+4*C+D+12*I+8*J+4*K+L + W00
수학식(25)은 제5 모드인 Vertical right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 25]
DC=11*M+16*A+15*B+10*C+3*D+5*I+3*J+K+W00
수학식(26)은 제6 모드인 Horizontal down 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 26]
DC=11*M+5*A+3*B+C+16*I+15*J+10*K+3*L+ W00
수학식(27)은 제7 모드인 Vertical left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 27]
DC = 3*A+10*B+15*C+16*D+13*E+6*F+G + W00
수학식(28)은 제8 모드인 Horizontal up 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 28]
DC = 3*I + 10*J + 15*K + 36*L + W00
한편, 4개의 16×16 휘도 예측 모드에 따른 16×16 영상 블록에 대한 DC 계수를 보다 구체적으로 살펴보면 아래와 같다. 16×16 영상 블록에 대한 DC 계수는 16×16 영상 블록을 구성하는 각 단위 영상 블록 단위로 예측 블록의 DC 계수와 오차 계수를 합하여 각 단위 영상 블록의 DC 계수를 계산하여 16×16 영상 블록 전체의 DC 계수를 계산한다.
수학식(29)은 제0 모드인 수직 모드에 따라 16×16 영상 블록을 구성하는 단위 영상 블록들 즉, 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 29]
DC=16*Ai+16*Bi+16*Ci+16*Di +W00ij i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(30)은 제1 모드인 수평 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 30]
DC=16*Ij+16*Jj+16*Kj+16*Lj+W00ij i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(31)은 제2 모드인 DC 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 31]
DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +W00ij
i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(32)은 제3 모드인 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 32]
ih=(A3-C2)+2*(B3-B2)+3*(C3-A2)+4*(D3-D1)+5*(A4-C1)+6*(B4-B1)+7*(C4-A1)+8*(D4-M)
iv=(I3-K2)+2*(J3-J2)+3*(J3-I2)+4*(J3-L1)+5*(I4-K1)+6*(J4-J1)+7*(J4-I1)+8*(J4-M)
a=64
ib = (5*ih+a/2)/a
ic = (5*iv+a/2)/a
iaa = 16*(D4+L4)
이라하면
4×4 제 1 블록은 DC = 2*iaa - 11*ib -11*ic + a/2 +제1 블록의 W00
4×4 제 2 블록은 DC = 2*iaa - 3*ib -11*ic + a/2 +제2 블록의 W00
4×4 제 3 블록은 DC = 2*iaa +5*ib -11*ic + a/2 + 제3 블록의 W00
4×4 제 4 블록은 DC = 2*iaa +13*ib -11*ic + a/2 +제4 블록의 W00
4×4 제 5 블록은 DC = 2*iaa - 11*ib -3*ic + a/2 +제5 블록의 W00
4×4 제 6 블록은 DC = 2*iaa - 3*ib -3*ic + a/2 +제 6 블록의 W00
4×4 제 7 블록은 DC = 2*iaa +5*ib -3*ic + a/2+ 제 7 블록의 W00
4×4 제 8 블록은 DC = 2*iaa +13*ib -3*ic + a/2 + 제 8 블록의 W00
4×4 제 9 블록은 DC = 2*iaa - 11*ib +5*ic + a/2+제 9 블록의 W00
4×4 제 10 블록은 DC = 2*iaa - 3*ib +5*ic + a/2+제 10 블록의 W00
4×4 제 11 블록은 DC = 2*iaa +5*ib +5*ic + a/2+ 제 11 블록의 W00
4×4 제 12 블록은 DC = 2*iaa +13*ib +5*ic + a/2 +제 12 블록의 W00
4×4 제 13 블록은 DC = 2*iaa - 11*ib +13*ic + a/2 +제 13 블록의 W00
4×4 제 14 블록은 DC = 2*iaa - 3*ib +13*ic + a/2 +제 14 블록의 W00
4×4 제 15 블록은 DC = 2*iaa +5*ib +13*ic + a/2 +제 15 블록의 W00
4×4 제 16 블록은 DC = 2*iaa +13*ib +13*ic + a/2+제 16 블록의 W00
한편, 4개의 8×8 색차 예측 모드에 따른 8×8 영상 블록에 대한 DC 계수를 보다 구체적으로 살펴보면 아래와 같다. 8×8 영상 블록에 대한 DC 계수는 8×8 영상 블록을 구성하는 각 단위 영상 블록 단위로 예측 블록의 DC 계수와 오차 계수를 합하여 각 단위 영상 블록의 DC 계수를 계산하여 8×8 영상 블록 전체의 DC 계수를 계산한다.
수학식(33)은 제0 모드인 수직 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 33]
DC=16*Ai+16*Bi+16*Ci+16i*D+W00ij i=1, 2 j=1, 2
수학식(34)은 제1 모드인 수평 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 34]
DC=16*Ij+16*Jj+16*Kj+16*Lj+W00ij i=1, 2 j=1, 2
수학식(35)는 제2 모드인 DC 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 35]
DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +W00ij i=1, 2 j=1, 2
수학식(36)는 제3 모드인 plane 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 36]
ih = (A2-C1)+2*(B2-B1)+3*(C2-A1)+4*(D2-M)
iv = (I2-K1)+2*(J2-J1)+3*(J2-I1)+4*(J2-M)
a=64
ib = (17*ih +a/2)/a
ic = (17*iv+a/2)/a
iaa = 16*(D2+L2)
이라 하면
4×4 제 1 블록은 DC = 2*iaa - 3*ib -3*ic + a/2 + 제1 블록의 W00
4×4 제 2 블록은 DC = 2*iaa +5*ib -3*ic + a/2 + 제2 블록의 W00
4×4 제 3 블록은 DC = 2*iaa -3*ib +5*ic + a/2 + 제3 블록의 W00
4×4 제 4 블록은 DC = 2*iaa +5*ib +5*ic + a/2 + 제4 블록의 W00
과 같이 구해진다.
수학식(29) 내지 수학식(32)에서 입력된 16×16 영상 블록에 대한 공간 영역의 예측 참조 픽셀(A1, B1, C1, D1, A2, B2, C2, D2, A3, B3, C3, D3, A4, B4, C4, D4,M I1, J1, K1, L1, I2, J2, K2, L2, I3, J3, K3, L3, I4, J4, K4, L4)과 16×16 영상 블록을 구성하는 제1 4×4 블록 내지 제16 4×4 블록의 순서는 도 11에 되어 있는 것과 같다.
수학식(33) 내지 수학식(36)에서 입력된 8×8 영상 블록에 대한 공간 영역의 예측 참조 픽셀 (A1, B1, C1, D1, A2, B2, C2, D2, M, I1, J1, K1, L1, I2, J2, K2, L2)과 8×8 영상 블록을 구성하는 제1 4×4 블록 내지 제4 4×4 블록의 순서는 도 12에 도시되어 있다.
수학식 (20) 내지 수학식(36)에서 알 수 있듯이, 4×4 영상 블록에 대한 참조 픽셀 블록을 모두 복원할 필요가 없으며, 4×4 영상 블록에 대한 참조 픽셀 블록을 구성하는 픽셀들 중 4×4 영상 블록의 예측 블록을 계산하는데 사용되는 참조 픽셀들, 즉 예측 참조 픽셀들만 복원하여 4×4 영상 블록의 예측 픽셀을 계산한다. 또한, N×N 영상 블록의 예측 참조 픽셀로부터 직접 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하고, 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 단위 영상 블록에 대한 오차 계수 블록의 DC 계수를 합하여 N×N 영상 블록을 구성하는 각 단위 영상 블록들의 DC 계수를 간단하게 계산한다.
바람직하게, 1개의 영상 프레임을 구성하는 영상 블록들 중 첫 영상 블록의 경우에는 첫 영상 블록의 예측 참조 데이터를 128로 설정하고 DC계수는 아래의 수학식(37)와 같이 계산한다.
[수학식 37]
DC계수=(A+B+C+D+I+J+K+L)/8+W00
영상 프레임을 구성하는 모든 N×N 영상 블록에 대하여 DC 계수를 계산하였는지 판단하여(S17), 모든 N×N 영상 블록의 DC 계수를 계산하지 않았으면 다음 N×N 영상 블록에 대한 DC 계수를 위에서 설명한 S11 단계 내지 S15 단계를 반복하여 모든 N×N 영상 블록의 DC 계수를 계산한다. S17단계에서 영상 프레임을 구성하는 모든 N×N 영상 블록의 DC 계수를 계산하였다고 판단하는 경우, 모든 N×N 영상 블록의 DC 계수를 이용하여 영상 프레임의 섬네일 이미지를 생성한다(S19).
도 10은 종래 고속 역DCT(IDCT)를 이용한 예측 참조 픽셀의 생성 방법, 다이렉트 역DCT를 이용한 예측 참조 픽셀의 생성 방법 및 본 발명에 따른 예측 참조 픽셀의 생성 방법에 따라 예측 참조 픽셀을 생성하는데 필요한 계산 횟수와 메모리 액세스 횟수를 비교한 도표이다. 도 10의 도표는 4×4 오차 계수 블록으로부터 예측 참조 픽셀을 생성하는데 필요한 계산 횟수와 메모리 액세스 횟수를 나타낸 결과값이다.
도 10을 참고로 살펴보면, 고속(fast) 역DCT를 이용하여 예측 블록을 생성하는 방법에서 필요한 참조 픽셀 모두를 복원하는데 소요되는 덧셈 계산 횟수는 96번이며 시프트(shift) 횟수는 48번이며 메모리 액세스 횟수는 192번이다. 한편, 다이렉트 역DCT를 이용하여 예측 참조 픽셀을 생성하는 방법에서 필요한 참조 픽셀 모두를 복원하는데 소요되는 덧셈 계산 횟수는 240번이며 시프트 횟수는 112번이며 메모리 액세스 횟수는 64번이다. 한편, 본 발명에 따라 예측 참조 픽셀을 생성하는 방법에서 예측 블록을 생성하는데 필요한 예측 참조 픽셀만을 생성하기 위하여 소요되는 덧셈 계산 횟수는 59번이며 시프트 횟수는 26번이며 메모리 액세스 횟수는 8번이다. 도 10에서 알 수 있는 것과 같이, 본 발명에 따른 예측 블록의 생성 방법은 종래 고속 역DCT 또는 다이렉트 역DCT를 이용하여 예측 블록을 생성하는 경우보다 적은 계산량과 적은 메모리 액세스 횟수로 인하여 빠르게 영상 블록을 부호화할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 종래 복잡한 프로세스를 통해 이루어지는 섬네일 이미지의 생성 방법과 비교하여 간단하고 빠르게 섬네일 이미지를 생성함으로써, 섬네일 이미지를 사용하는 다양한 영상 장치에 널리 사용될 것이다.

Claims (9)

  1. 영상 프레임을 구성하는 H.264 기반의 N×N 영상 블록들로부터 섬네일 이미지를 생성하는 방법에 있어서,
    (a) 상기 N×N 영상 블록에 대한 예측 참조 픽셀을 추출하는 단계;
    (b) 상기 N×N 영상 블록의 인트라 예측 모드에 기초하여 상기 추출한 N×N 영상 블록의 예측 참조 픽셀로 상기 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하는 단계; 및
    (c) 상기 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 상기 각 단위 영상 블록에 대한 오차 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산하는 단계를 포함하는 섬네일 이미지의 생성 방법.
  2. 제 1 항에 있어서, 상기 영상 프레임을 구성하는 N×N 영상 블록들에 대해 상기 (a) 단계 내지 (c) 단계를 반복하여 실행하고,
    상기 영상 프레임을 구성하는 N×N 영상 블록들에 대한 DC 계수를 추출하여 상기 영상 프레임의 섬네일 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  3. 제 2 항에 있어서, 상기 각 단위 영상 블록에 대한 예측 블록의 DC 계수는
    상기 N×N 영상 블록에 대한 예측 참조 픽셀의 조합으로 계산되는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  4. 제 2 항에 있어서, 상기 예측 참조 픽셀은
    상기 N×N 영상 블록의 인트라 예측에 사용되는 상기 N×N 영상 블록 주변의 참조 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  5. 제 2 항에 있어서, 상기 예측 참조 픽셀은
    (a1) 상기 단위 영상 블록의 인트라 예측 모드에 따라 기저장된 상기 단위 영상 블록의 예측 참조 픽셀로부터 예측 픽셀을 계산하는 단계;
    (a2) 상기 단위 영상 블록의 오차 픽셀을 계산하는 단계;
    (a3) 상기 계산한 예측 픽셀과 오차 픽셀을 합하여 상기 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 생성하는 단계; 및
    (a4) 상기 생성한 단위 영상 블록의 예측 참조 픽셀을 저장하는 단계를 포함하여 상기 N×N 영상 블록을 구성하는 단위 영상 블록 기준으로 생성되는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  6. 제 5 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은
    상기 단위 영상 블록의 경계에 위치하는 픽셀에 대한 오차 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  7. 제 6 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은
    상기 단위 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 픽셀에 대한 오차 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  8. 제 7 항에 있어서, 상기 N×N 영상 블록의 크기가 4×4 영상 블록인 경우
    상기 N×N 영상 블록의 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 상기 N×N 영상 블록 주변의 13개 참조 픽셀인 것을 특징으로 하는 섬네일 이미지 생성 방법.
  9. 제 5 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은
    상기 단위 영상 블록에 대한 오차 계수 블록으로부터 계산되는 변환 요소 값을 이용하여 계산되며,
    상기 변환 요소 값(H0, H1, H2, H3, V0, V1, V2, V3)은
    아래의 수학식(1) 내지 수학식(8)에 의해 생성되며.
    [수학식 1]
    Figure PCTKR2009004517-appb-I000010
    [수학식 2]
    Figure PCTKR2009004517-appb-I000011
    [수학식 3]
    Figure PCTKR2009004517-appb-I000012
    [수학식 4]
    Figure PCTKR2009004517-appb-I000013
    [수학식 5]
    Figure PCTKR2009004517-appb-I000014
    [수학식 6]
    Figure PCTKR2009004517-appb-I000015
    [수학식 7]
    Figure PCTKR2009004517-appb-I000016
    [수학식 8]
    Figure PCTKR2009004517-appb-I000017
    여기서 단위 영상 블록에 대한 변환 영역의 오차 계수 블록(W)은
    [수학식 9]
    Figure PCTKR2009004517-appb-I000018
    상기 수학식(9)인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
PCT/KR2009/004517 2008-08-13 2009-08-13 Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법 WO2010019002A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/058,643 US8666182B2 (en) 2008-08-13 2009-08-13 Method for generating thumbnail image in image frame of the H.264 standard

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080079242 2008-08-13
KR10-2008-0079242 2008-08-13
KR1020090032275A KR101005394B1 (ko) 2009-04-14 2009-04-14 Ｈ.264/ａｖｃ 인코더에서 인트라 예측 블록을 생성하는 방법
KR10-2009-0032275 2009-04-14

Publications (2)

Publication Number Publication Date
WO2010019002A2 true WO2010019002A2 (ko) 2010-02-18
WO2010019002A3 WO2010019002A3 (ko) 2010-05-27

Family

ID=41669492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004517 WO2010019002A2 (ko) 2008-08-13 2009-08-13 Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법

Country Status (2)

Country Link
US (1) US8666182B2 (ko)
WO (1) WO2010019002A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034162A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
KR101952260B1 (ko) 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
KR20180107082A (ko) * 2016-02-16 2018-10-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2024076632A1 (en) * 2022-10-04 2024-04-11 Bytedance Inc. On coefficient value prediction and cost definition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022894A (ko) * 2004-09-08 2006-03-13 엘지전자 주식회사 이동 단말기에서의 썸네일 영상 생성 장치 및 방법
US20060109904A1 (en) * 2004-11-22 2006-05-25 Koichi Hamada Decoding apparatus and program for executing decoding method on computer

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227871A1 (en) * 2005-03-31 2006-10-12 Madhukar Budagavi Video thumbnail method
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR101380843B1 (ko) * 2006-12-28 2014-04-07 삼성전자주식회사 인트라 예측을 통해 부호화된 블럭들을 포함하는압축영상에 대한 축소영상 생성방법 및 이를 적용한영상기기
KR101498044B1 (ko) * 2007-01-10 2015-03-05 삼성전자주식회사 매크로 블럭이 적응적으로 부호화된 압축영상에 대한축소영상 생성방법 및 이를 적용한 영상기기
US8514942B2 (en) * 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022894A (ko) * 2004-09-08 2006-03-13 엘지전자 주식회사 이동 단말기에서의 썸네일 영상 생성 장치 및 방법
US20060109904A1 (en) * 2004-11-22 2006-05-25 Koichi Hamada Decoding apparatus and program for executing decoding method on computer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANG-JUN YU ET AL.: 'An Efficient Thumbnail Extraction Method in H.264/AVC Bitstreams' JOURNAL OF BROADCAST ENGINEERING vol. 13, no. 2, March 2008, pages 222 - 235 *

Also Published As

Publication number Publication date
US20110142359A1 (en) 2011-06-16
WO2010019002A3 (ko) 2010-05-27
US8666182B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
WO2018030599A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017018664A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2011126273A2 (en) Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
WO2011087295A2 (en) Method and apparatus for encoding and decoding video by using pattern information in hierarchical data unit
WO2013002619A2 (ko) 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2012005520A2 (en) Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
WO2011068360A2 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2018047995A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020071616A1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
WO2010050699A2 (ko) 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
WO2013157825A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2015093890A1 (ko) 인트라 예측을 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2018124333A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2014003519A1 (ko) 스케일러블 비디오 부호화 방법 및 그 장치, 스케일러블 비디오 복호화 방법 및 장치
WO2019221465A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2021054676A1 (ko) Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2014104725A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2012005521A2 (ko) 조절 가능한 루프 필터링을 이용한 비디오 부호화 방법 및 그 장치, 조절 가능한 루프 필터링을 이용한 비디오 복호화 방법 및 그 장치
WO2015137785A1 (ko) 샘플값 보상을 위한 영상 부호화 방법과 그 장치, 및 샘플값 보상을 위한 영상 복호화 방법과 그 장치
WO2018174457A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2016190627A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020013569A1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2010019002A2 (ko) Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법
WO2016182142A1 (ko) 샘플 값 보상을 위한 영상 부호화 방법과 그 장치, 및 샘플값 보상을 위한 영상 복호화 방법과 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09806864

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13058643

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09806864

Country of ref document: EP

Kind code of ref document: A2