WO2010039015A2 - 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법 - Google Patents

이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2010039015A2
WO2010039015A2 PCT/KR2009/005675 KR2009005675W WO2010039015A2 WO 2010039015 A2 WO2010039015 A2 WO 2010039015A2 KR 2009005675 W KR2009005675 W KR 2009005675W WO 2010039015 A2 WO2010039015 A2 WO 2010039015A2
Authority
WO
WIPO (PCT)
Prior art keywords
transform
image
coefficient
scheme
unit
Prior art date
Application number
PCT/KR2009/005675
Other languages
English (en)
French (fr)
Other versions
WO2010039015A3 (ko
WO2010039015A8 (ko
Inventor
임성창
정세윤
최해철
최진수
홍진우
이영렬
김대연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42215069&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010039015(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN2009801485280A priority Critical patent/CN102334337A/zh
Priority to EP09818025.0A priority patent/EP2346258A4/en
Priority to US13/128,995 priority patent/US20110286516A1/en
Publication of WO2010039015A2 publication Critical patent/WO2010039015A2/ko
Publication of WO2010039015A3 publication Critical patent/WO2010039015A3/ko
Publication of WO2010039015A8 publication Critical patent/WO2010039015A8/ko
Priority to US14/045,511 priority patent/US11176711B2/en
Priority to US17/397,851 priority patent/US11538198B2/en
Priority to US17/990,584 priority patent/US20230267649A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding technique and an image decoding technique.
  • a video encoding method includes intra coding that performs intra coding such as an intra frame (I) and inter coding that performs inter coding such as a P (predictive) frame or a B (bidirectional) frame. Can be distinguished.
  • Motion estimation in video compression standards such as H.263, MPEG-4 Part 2, and H.264 / MPEG-4 AVC is performed in units of blocks. That is, motion estimation is performed in units of macroblocks, or motion estimation is performed in units of subblocks obtained by dividing or subdividing macroblocks. Motion estimation is performed to reduce bitrate by removing temporal redundancy in video encoding.
  • H.264 / MPEG-4 AVC has high coding efficiency by using variable block-based motion estimation of various sizes.
  • Prediction of a motion vector is performed by referring to a past image on the basis of a time axis or by referring to both a past image and a future image.
  • An image referred to to encode or decode a current frame is called a reference image.
  • coding is larger than using the previous frame as the reference picture by selecting the block of the frame having the most overlapping with the current block as the reference picture. Efficiency can be obtained.
  • to select the most optimal mode among all possible coding modes such as variable block mode, spatial prediction mode (Intra 16x16, Intra 8x8, Intra 4x4), SKIP mode (P_SKIP mode and B_SKIP mode), DIRECT mode, etc.
  • the rate-distortion optimization technique is used to further improve the coding efficiency of H.264 / MPEG-4 AVC.
  • the conversion method is a method for reducing the spatial correlation of residual signals in a block and increasing the compression ratio of energy after performing intra / intra picture prediction.
  • the quantizer is used to increase the compression ratio by further reducing the energy of the transformed coefficient after the use of the transform method.
  • An object of the present invention is to increase the compression rate of an image block when generating quantized transform coefficients through transform and quantization after performing inter- / intra-prediction of a block (macroblock) of a predetermined size.
  • the present invention provides a first transform unit for generating a first transform coefficient using a Discrete Cosine Transform (DCT) technique, the target image A second transform unit generating a second transform coefficient using a Discrete Sine Transform (DST) technique, and a transform coefficient of the first transform coefficient and the second transform coefficient for the target image It provides a video encoding apparatus comprising a conversion technique determination unit for selecting.
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • a transform scheme determination unit for determining a transform scheme for a transform coefficient, when the transform scheme is a discrete cosine transform, a first method for generating a decoded image of the transform coefficient using a discrete cosine inverse transform technique
  • a video decoding apparatus including a second inverse transform unit for generating a decoded image of the transform coefficients using a discrete sine inverse transform scheme is provided.
  • a first transform unit for performing a discrete cosine transform on the target image to generate a first transform coefficient
  • a second transform coefficient for performing a discrete sine transform on the target image to generate a second transform coefficient
  • a second transform unit and a transform scheme determiner for selecting one of the first transform coefficient and the second transform coefficient as a transform coefficient for the target image.
  • the compression ratio of an image block can be increased when generating quantized transform coefficients through transform and quantization after performing inter- / intra-prediction of a block (macroblock) of a predetermined size.
  • FIG. 1 is a block diagram showing an embodiment of an image encoding apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a structure of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a concept of integer sine transform according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a multiplication factor value in a quantization process for a 4 ⁇ 4 image.
  • FIG. 5 is a diagram illustrating a multiplication factor value in a quantization process for an 8 ⁇ 8 image.
  • FIG. 6 is a diagram illustrating a value of a scaling factor in a dequantization process for a 4 ⁇ 4 sized image.
  • FIG. 7 is a diagram illustrating a value of a scaling factor in an inverse quantization process for an 8 ⁇ 8 image.
  • FIG. 8 is a diagram illustrating the concept of an integer sine inverse transform according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a concept of a coefficient threshold method according to an embodiment of the present invention.
  • FIG. 10 illustrates a concept of storing transform scheme information in consideration of a coded block pattern according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an embodiment of the present invention for storing information on a conversion scheme in a macro block header.
  • FIG. 12 is a diagram illustrating an embodiment of the present invention storing whether a present invention is applied to a slice header.
  • FIG. 13 is a block diagram showing the structure of a decoder according to the present invention.
  • FIG. 14 is a block diagram illustrating a structure of an image encoding apparatus according to another embodiment of the present invention.
  • FIG. 1 is a block diagram showing an embodiment of an image encoding apparatus to which the present invention is applied.
  • the image encoding apparatus may include a transform and quantization unit 110, an entropy coding unit 120, a coding control unit 130, an inverse quantization and inverse transform unit 140, a loop filter 150, a reference image storage unit 160, and motion estimation.
  • / Compensator 170 and intra prediction / compensator 180 are provided.
  • the encoding apparatus includes an encoding process and a decoding process
  • the decoding apparatus includes a decoding process.
  • the decoding process of the decoding apparatus is the same as the decoding process of the encoding apparatus. Therefore, the following description focuses on the encoding apparatus.
  • the motion estimation / compensation unit 170 and the intra prediction / compensation unit 180 generate a prediction image for the input image.
  • the motion estimation / compensation unit 170 and the intra prediction / compensation unit 180 generate a prediction image of the input image with reference to the reference image for the input image.
  • the reference image storage unit 160 may store a reference image for the input image.
  • the difference between the input image and the predicted image may be referred to as a residual image.
  • the image encoding apparatus may improve encoding efficiency than when encoding the residual image by encoding the residual image. That is, the residual image may be used as the target image of the image encoding apparatus.
  • the target image is input to the transform and quantization unit 110.
  • the transform and quantization unit 110 generates a first transform coefficient by performing a discrete cosine transform (DCT), quantization, and coefficient threshold on the target image.
  • the transform and quantization unit 110 also performs Discrete Cosine Transform (DST) quantization and coefficient thresholds to generate second transform coefficients.
  • the entropy encoder 120 generates a bitstream by performing entropy coding on the discrete transformed cosine transformed first transform coefficient or the discrete sine transformed second transform coefficient.
  • the coding controller 130 performs inverse quantization and discrete cosine inverse transform on the first transform coefficient, and inverse quantization and discrete sine inverse transform on the second transform coefficient to determine an optimal transform technique.
  • the coding controller 130 transmits the determined transform scheme to the transform and quantization unit 110.
  • the inverse quantization and inverse transform unit 140 performs inverse quantization and discrete cosine inverse transformation on the first transform coefficient to generate a decoded image of the first transform coefficient, and for the second transform coefficient. Inverse quantization and discrete sine inverse transform are performed to generate a decoded image for the second transform coefficients.
  • the loop filter 150 performs low pass filtering on each decoded image to smooth block boundaries.
  • the reference image storage unit 160 stores the decoded image having the smooth block boundary as the reference image.
  • the motion compensator 170 performs motion compensation by comparing the stored reference image with the input image.
  • the intra prediction / compensator 180 performs intra compensation without passing through the loop filter 150 and the reference image storage unit 160.
  • FIG. 2 is a block diagram illustrating a structure of an image encoding apparatus according to an embodiment of the present invention.
  • the image predictor 210 generates a predicted image of the input image by referring to the reference image of the input image.
  • the image predictor 210 calculates a difference between the input image and the predicted image as the target image.
  • the first transform unit 220 converts the target image into first transform coefficients using a Discrete Cosine Transform (DCT) technique.
  • the first transform unit 220 may include a discrete cosine transform unit 221 and a quantization unit 222.
  • the discrete cosine transforming unit 221 generates a first image coefficient by performing discrete cosine transforming of the target image.
  • the quantization unit 222 generates a first transform coefficient by quantizing the first image coefficient.
  • the second transform unit 230 converts the target image into second transform coefficients using a Discrete Sine Transform (DST) technique.
  • the second transform unit 230 may include a discrete sine transform unit 231 and a quantization unit 232.
  • the operations of the discrete cosine transform unit 221 and the quantization unit 222 included in the first transform unit 220 are performed by the discrete sine transform unit 231 and the quantization unit 232 included in the second transform unit 230. Since it is similar to the operation, the operation of the second converter 230 will be described in detail below.
  • the discrete sine transform unit 231 generates a second image coefficient by performing discrete sine transform on the target image.
  • the quantization unit 232 quantizes the second image coefficient to generate a second transform coefficient.
  • the discrete sine transform unit 231 may convert the target image into discrete sine according to Equation 1 below.
  • Equation 1 When the target image is 4x4 in size, the discrete sine transform of Equation 1 may be expressed as a matrix as shown in Equation 2 below.
  • the discrete sine transform unit 231 may convert the target image to an integer sine using an integer sine transform matrix derived from the discrete sine transform matrix.
  • the integer sine transform can be expressed as in Equation 3 below.
  • FIG. 3 is a diagram illustrating a concept of integer sine transform according to an embodiment of the present invention.
  • the integer sine transform in Equation 3 may be simply performed according to the embodiment shown in FIG.
  • Equation 1 When the target image is 8x8 size, the discrete sine transform of Equation 1 may be expressed as a matrix as shown in Equation 4 below.
  • the quantization unit 232 quantizes the second image coefficient to generate a second transform coefficient. According to an embodiment, when the target image has a size of 4x4, the quantization unit 232 may quantize the second image coefficient by using Equation 5 or Equation 6 below.
  • FIG. 4 is a diagram illustrating a multiplication factor value in a quantization process for a 4 ⁇ 4 image.
  • the quantization unit 232 may generate a second transform coefficient by quantizing the second image coefficient using Equation 7 below.
  • FIG. 5 is a diagram illustrating a multiplication factor value in a quantization process for an 8 ⁇ 8 image.
  • the transformation technique determiner 260 selects any one of the first transformation coefficient and the second transformation coefficient as a transformation coefficient for the target image.
  • the first transform unit 220 generates a first decoded image of the target image based on the first transform coefficients
  • the second transform unit 230 generates a first decoded image based on the second transform coefficients.
  • a second decoded image may be generated.
  • the conversion technique determiner 260 may select a converted image for the target image by comparing the target image, the first decoded image, and the second decoded image.
  • the conversion technique determiner 260 further considers the bit amount of the first decoded image, the bit rate of the first decoded image, the bit amount of the second decoded image, and the bit rate of the second decoded image.
  • a converted image for the target image may be selected. That is, the transform scheme determiner may select a transform coefficient corresponding to a decoded image having a smaller bit rate or a lower bit rate among the first decoded image and the second decoded image as a transform coefficient for the target image.
  • the conversion technique determiner 260 may select the converted image for the target image by further considering the distortion of the first decoded image and the distortion of the second decoded image.
  • the transform scheme determiner 260 may select a transform coefficient for the target image in consideration of the distortion and the bit rate of the decoded image.
  • the first transform unit 220 may include a discrete cosine transform coefficient threshold 223, an inverse quantizer 224, and a discrete cosine inverse transform unit 225 to generate a first decoded image.
  • the discrete cosine transform coefficient threshold unit 223 performs a coefficient threshold operation on the first transform coefficient.
  • the inverse quantization unit 224 inverse quantizes the first transform coefficient having a coefficient threshold operation, and the discrete cosine inverse transform unit 224 performs discrete inverse transform on the inverse quantized first transform coefficient to perform a first decoded image on the target image.
  • Create The transform technique determiner 260 selects a transform coefficient based on the first decoded image.
  • the second transform unit 230 may include a discrete sine transform coefficient threshold 233, an inverse quantizer 234, and a discrete sine inverse transform unit 225 to generate a second decoded image.
  • the operations of the discrete cosine transform coefficient threshold unit 223, the inverse quantization unit 224, and the discrete cosine inverse transform unit 225 included in the first transform unit 220 are performed by the discrete sine transform included in the second transform unit 230. Since the operations of the coefficient threshold unit 233, the inverse quantization unit 234, and the discrete sine inverse transform unit 225 are similar, the operation of the second transform unit 230 will be described in detail below.
  • the discrete sine transform coefficient threshold 233 performs a coefficient threshold operation on the quantized second transform coefficients.
  • the coefficient threshold of the discrete sine transform coefficient threshold 233 will be described in detail with reference to FIG. 9.
  • the quantized second transform coefficient is a cost (values expressed as 3, 2, 1, 0 on the left side of FIG. 4) for coefficients occurring in each 4x4 frequency domain through a coefficient thresholding method as shown in FIG. 9 below. ), Calculate the total sum of costs in 8x8 block units, and if the cost is not higher than a certain threshold, replace all the transformed coefficients of the corresponding 8x8 block with 0, and coded block pattern for the block. ) To 0.
  • the cost described above applies only when the absolute value of the transform coefficient is 1 in the frequency domain.
  • the cost for the corresponding transform coefficient is a random large number such that the 4x4 block and the 8x8 block are larger than 0 in the macroblock unit. use.
  • the H.264 / AVC reference model JM (Joint Model) and the ITU-T VCEG KTA reference model use a fixed constant of 4 in 8x8 block units and a threshold of 5 in macroblock units. use.
  • the inverse quantization unit 234 inversely quantizes the second transform coefficient on which the coefficient threshold operation is performed. According to an embodiment, when the target image is 4x4 in size, the inverse quantization unit 234 may inverse quantize the second transform coefficient by using Equation 8 below.
  • Is the second transform coefficient after dequantization Is a scaling factor
  • the inverse quantization unit 234 may inverse quantize the second transform coefficient on which the coefficient threshold operation is performed, using Equation (9).
  • the discrete sinusoidal inverse transform unit 235 generates a second decoded image of the target image by performing discrete inverse transform on the inverse quantized second transform coefficients.
  • the discrete sine inverse transform unit 235 may generate a second decoded image according to Equation 10 below.
  • the discrete sine inverse transform unit 235 may inversely transform the second decoded image by using the integer sine inverse transformation matrix derived from the discrete sine transformation matrix.
  • the integer sine inverse transform may be expressed as in Equation 11 below.
  • FIG. 8 is a diagram illustrating the concept of integer sine transform according to an embodiment of the present invention.
  • the integer sine inverse transform in Equation 11 may be simply performed according to the embodiment shown in FIG. 8.
  • the Lagrange multiplier calculator 240 calculates a Lagrange Multiplier for the first decoded image and the second decoded image, and the distortion measurer 250 calculates the first Lagrange multiplier based on the calculated Lagrange multiplier.
  • the distortion rate of the decoded image is measured, and the distortion rate of the second decoded image is measured.
  • the Lagrange multiplier calculator 240 may calculate the Lagrange multiplier according to Equation 14 below.
  • the value of may be determined through experiments on several images, depending on the size of the target image.
  • the value of can be adaptively determined.
  • the Lagrange multiplier calculator 240 may calculate the Lagrange multiplier according to Equation 15 below.
  • the rate-distortion cost calculator 250 calculates a rate-distortion cost (R-D cost) for the first decoded image and the second decoded image.
  • the rate-distortion cost calculator 250 may calculate the rate-distortion cost according to Equation 16 below.
  • s is a target video and c is a decoded video.
  • Is the distortion of each decoded image Is the bit amount of each decoded video.
  • the rate-distortion cost calculation unit 260 selects an optimal mode among all possible encoding modes, such as a variable block mode used in image encoding, four spatial prediction modes, a SKIP mode (P_SKIP mode and a B_SKIP mode), and a DIRECT mode. Calculate the rate-distortion cost for each mode. That is, the rate-distortion cost calculation unit 260 calculates the rate-distortion cost for each encoding mode for each reconstructed image.
  • a variable block mode used in image encoding such as a variable block mode used in image encoding, four spatial prediction modes, a SKIP mode (P_SKIP mode and a B_SKIP mode), and a DIRECT mode.
  • the transformation technique determiner 260 may select a transformation coefficient corresponding to the reconstructed image having the minimum rate-distortion cost as the transformation coefficient for the target image. That is, the transformation technique determiner 260 may select an optimal transformation scheme by considering not only the distortion of each reconstructed image but also the bit rate required for encoding the transformation coefficient.
  • the conversion scheme determination unit 260 may determine a mode in which a rate-distortion cost (R-D cost) is minimum as an encoding mode. That is, the conversion technique determiner 260 may select a conversion mode having a high compression efficiency as a conversion mode for the target image.
  • R-D cost rate-distortion cost
  • the transformation scheme storage unit 270 may store information on a transformation scheme corresponding to the transformation coefficient of the target image. That is, the conversion scheme storage unit 270 stores whether the target image is discrete cosine transformed or discrete sine transformed, and the image decoder may determine the conversion scheme for the target image based on the information on the transformation scheme. .
  • the conversion scheme storage unit 270 may display information on the conversion scheme in flag bits provided in units of macro blocks. For example, when the target image included in the macroblock is discrete cosine transformed, the flag bit may be determined as '0'. Alternatively, when the target image included in the macroblock is discrete sine transformed, the flag bit may be determined as '1'.
  • the transformation scheme storage unit 270 may store information on the transformation scheme in consideration of the coded block pattern (CBP) value of the transformation coefficient.
  • CBP coded block pattern
  • the encoded block pattern value indicates a luminance value of each block. If the block has a transform coefficient, the encoded block pattern value is displayed as '1'. If there is no transform coefficient in a particular block, there is no need to determine the transform scheme for the block, so there is no need to store information about the transform scheme.
  • FIG. 10 illustrates a concept of storing transform scheme information in consideration of a coded block pattern according to an embodiment of the present invention.
  • FIG. 10A an embodiment without transform coefficients is illustrated in all blocks 1011, 1012, 1013, and 1014.
  • the decoder does not need to determine the transform scheme for the transform coefficient for each block. Therefore, the transformation scheme storage unit 270 does not store information on the transformation scheme of each block. That is, the transformation scheme storage unit 270 may store information on the transformation scheme for the block only when the encoded block pattern value for each block is '1'.
  • FIG. 10B an embodiment in which the second block and the third block do not have transform coefficients is illustrated.
  • the first block 1021 and the fourth block 1024 have transform coefficients, and each transform coefficient has a discrete sine transform and a discrete cosine transform.
  • the transformation scheme storage unit 270 may store the transformation scheme information only for the first block 1021 and the fourth block 1041 including the transformation coefficients. Since the first block 1021 is discrete sine transformed, the information about the transform scheme may be determined as '1'. In addition, since the fourth block 1024 is discrete cosine transformed, the information about the conversion scheme may be determined as '0'.
  • the decoder may determine whether the information about the transform scheme of '10' indicates a transform scheme in consideration of the encoded block pattern value for each block.
  • the transformation scheme storage unit 270 may store the transformation scheme information only for the first block 1031 having the transformation coefficient.
  • the transformation scheme storage unit 270 may store transformation scheme information only for the second block 1042, the third block 1043, and the fourth block 1044 having the transformation coefficient.
  • FIG. 11 is a diagram illustrating an embodiment of the present invention for storing information on a conversion scheme in a macro block header.
  • the transform scheme storage unit 270 converts a transform scheme when the encoded block pattern is larger than '0'.
  • Information about (alternative transform flag) can be stored.
  • FIG. 12 is a diagram illustrating an embodiment of the present invention storing whether a present invention is applied to a slice header.
  • the image encoding apparatus may encode the target image by applying the present invention, but according to another embodiment, the image encoding apparatus may not apply the present invention.
  • the transform scheme storage unit 270 may store 1210 whether the present invention is applied using the flag bits of the slice header, and the decoder may determine whether the present invention is applied to the transform coefficients using the flag bits. .
  • the decoder according to the present invention includes a transform technique determination unit 1310, a first inverse transform unit 1320, and a second inverse transform unit 1330.
  • the transformation technique determination unit 1310 may determine whether the present invention is applied to the transformation coefficient. According to an embodiment, when the image encoding apparatus encodes the target image by applying the present invention, the image encoding apparatus may express whether the present invention is applied to the transform coefficient by using flag bits of the slice header. The transformation technique determination unit may determine whether the present invention is applied to the transformation coefficient by using flag bits of the slice header.
  • the transform scheme determination unit 1310 determines a transform scheme for the transform coefficients.
  • the transform coefficient is discrete sine transform or discrete cosine transform.
  • the image encoding apparatus may display a transform scheme applied to a transform coefficient by using flag bits of a macroblock. In other words, the flag bits of the macro block indicate conversion scheme information.
  • the transform scheme determination unit 1310 may determine a transform scheme for the transform coefficient by using flag bits of the macroblock.
  • the flag bit of the macro block may be stored in consideration of the encoded block pattern value for the transform coefficient. That is, the image encoding apparatus may store the flag bits in the macroblock only when the encoded block pattern value is not '0', and may not store the flag bits in the macroblock when the encoded block pattern value is '0'. have.
  • the first inverse transform unit 1320 When the discrete sine transform is applied to the transform coefficient, the first inverse transform unit 1320 generates a decoded image of the transform coefficient by using the discrete sine inverse transform technique.
  • the first inverse transform unit 1320 may include an inverse quantization unit 1321 and a discrete sine inverse transform unit 1322.
  • the inverse quantization unit 1321 dequantizes the quantized transform coefficients. Since inverse quantization has been described in detail with reference to FIG. 2, a detailed description thereof will be omitted.
  • the discrete sine inverse transform unit 1322 generates a decoded image by inversely transforming the inverse quantized transform coefficients.
  • the discrete sine inverse transform has been described in detail with reference to FIG. 2, and thus, the detailed description thereof will be omitted.
  • the second inverse transform unit 1330 When the discrete cosine transform is applied to the transform coefficient, the second inverse transform unit 1330 generates a decoded image of the transform coefficient by using the discrete cosine inverse transform technique.
  • the second inverse transform unit 1330 may include an inverse quantizer 1331 and a discrete cosine inverse transform unit 1332.
  • the inverse quantization unit 1331 dequantizes the quantized transform coefficients. Since inverse quantization has been described in detail with reference to FIG. 2, a detailed description thereof will be omitted.
  • the discrete cosine inverse transform unit 1332 generates a decoded image by inversely transforming the inverse quantized transform coefficients.
  • the decoded image generated by the first inverse transform unit 1320 or the second inverse transform unit 1330 is not an input image input to the image encoding apparatus, but a residual image that is a difference between the input image and the prediction image. Corresponds to).
  • the image reconstructor 1340 generates a predicted image of the transform coefficients by referring to the reference image of the transform coefficients.
  • the image reconstructor 1340 generates a reconstructed image of the transform coefficients based on the predicted image and the decoded image.
  • the reconstructed image corresponds to the input image input to the image encoding apparatus.
  • the image encoding apparatus may include an image predictor 1410, a first transform unit 1420, a second transform unit 1430, a distortion factor measurer 1440, a transform scheme determiner 1450, and a transform scheme storage unit 1460. It may include.
  • the image predictor 1410 generates a predicted image of the input image by referring to the reference image of the input image. Also, the image predictor 1410 calculates a difference between the input image and the predicted image as the target image. That is, the target image encoded by the first transform unit 1420 or the second transform unit 1430 is a residual image of the input image.
  • the first transform unit 1420 performs a discrete cosine transform on the target image to generate a first transform coefficient. In addition, the first transform unit 1420 generates a decoded image of the first transform coefficient by performing a discrete cosine inverse transform on the first transform coefficient.
  • the second transform unit 1430 generates a second transform coefficient by performing discrete sine transform on the target image.
  • the second transform unit 1430 generates a decoded image of the second transform coefficient by performing a discrete sine inverse transform on the first transform coefficient.
  • the distortion measurer 1440 measures the distortion rate of the decoded image with respect to the first transform coefficient by comparing the target image with the decoded image with respect to the first transform coefficient. In addition, the distortion measurer 1440 compares the target image with the decoded image of the second transform coefficient and measures the distortion rate of the decoded image of the second transform coefficient.
  • the transform technique determiner 1450 selects a transform coefficient for the target image based on the distortion ratio of the decoded image with respect to the first transform coefficient and the distortion ratio of the decoded image with respect to the second transform coefficient. According to an embodiment, the transform scheme determiner 1450 may select a transform coefficient corresponding to a decoded image having a smaller distortion rate as a transform coefficient for the target image.
  • the transformation scheme storage unit 1460 may store transformation scheme information on the selected transformation coefficient in a macroblock header for the target image. For example, when the transform coefficients are discrete sine transformed, the transform scheme storage unit 1460 may store the transform scheme information by indicating a flag bit of the macro block header as '1'. In addition, when the transform coefficient is discrete cosine transformed, the transform scheme storage unit 1460 may store the transform scheme information by displaying a flag bit of the macroblock header as '0'.
  • the transform scheme storage unit 1470 may store transform scheme information in consideration of an encoded block pattern of transform coefficients.
  • the value of the coded block pattern indicates whether a transform coefficient is present. That is, when the transform coefficient is present, the value of the encoded block pattern may be '1', and when the transform coefficient is not present, the value of the encoded block pattern may be '0'.
  • the transformation scheme storage unit 1470 may not store the transformation scheme information when the value of the encoded block pattern is '0'.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

릴레이를 이용하여 데이터를 전송하는 데이터 전송 시스템이 제공된다. 릴레이는 기지국에 접속한 복수의 단말기들 중에서 전송 단말기를 선택한다. 제1 시간 슬롯 동안에 기지국은 릴레이로 기지국 데이터를 전송하고, 전송 단말기는 릴레이로 단말기 데이터를 전송한다. 릴레이는 제2 시간 슬롯 동안에 기지국으로 단말기 데이터를 전송하고, 전송 단말기로 기지국 데이터를 전송한다.

Description

이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
본 발명은 영상 부호화 기술 및 영상 복호화 기술에 관한 것이다.
통상, 동영상 부호화 방법은 인트라(I : Intra) 프레임과 같이 영상 내 부호화를 수행하는 인트라 코딩과, P(Predictive) 프레임 또는 B(Bidirectional) 프레임과 같이 영상 간 부호화를 수행하는 인터(Inter) 코딩으로 구분할 수 있다.
H.263, MPEG-4 Part 2 및 H.264/MPEG-4 AVC 등의 영상 압축 표준에서의 움직임 추정(Motion Estimation)은 블록 단위로 수행된다. 즉, 매크로블록(Macroblock) 단위로 움직임 추정이 수행되거나 매크로블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 움직임 추정이 수행된다. 움직임 추정은 동영상 부호화시에 시간적 중복성(Temporal Redundancy)을 제거하여 비트율(Bitrate)을 줄이기 위해 수행한다. 특히, H.264/MPEG-4 AVC는 다양한 크기의 가변 블록 기반의 움직임 추정(Variable Block-based Motion Estimation)을 사용하여 부호화 효율이 높다.
움직임 벡터의 예측(Prediction)은 시간축을 기준으로 과거 영상을 참조하거나 과거 영상과 미래 영상을 모두 참조하여 수행된다. 현재 프레임을 부호화하거나 복호화하는데 참조되는 영상을 참조 영상이라고 한다. H.264/MPEG-4 AVC는 복수 개의 참조 영상(Multiple Reference Frame)을 지원하기 때문에 현재 블록과 중복성이 가장 많은 프레임의 블록을 참조 영상으로 선택하여 이전 프레임만을 참조 영상으로 사용할 때보다 더욱 큰 부호화 효율을 얻을 수 있다. 또한, 움직임 추정에 쓰이는 가변블록 모드와 공간예측 모드(Intra 16x16, Intra 8x8, Intra 4x4), SKIP 모드 (P_SKIP 모드 및 B_SKIP 모드), DIRECT 모드 등 모든 가능한 부호화 모드 중에서 가장 최적의 모드를 선택하기 위해 율-왜곡 최적화(Rate-Distortion Optimization) 기술을 사용하여 H.264/MPEG-4 AVC의 부호화 효율을 더욱 향상시킨다.
동영상 데이터를 인코딩하고 디코딩하기 위해 마련된 H.264/MPEG-4 AVC 표준에 따르면, 영상 간/내 예측을 수행한 후 블록 내 잔여 신호의 공간적 상관성을 줄이고 에너지의 압축률을 높이기 위한 방법으로 변환 방법이 사용되며, 변환 방법의 사용 후 변환된 계수의 에너지를 더욱 감소시켜 압축률을 높이기 위한 방법으로 양자화기가 사용된다.
본 발명의 목적은 소정 크기의 블록(매크로블록)에 대한 영상 간/내 예측 수행후 변환과 양자화를 통하여 양자화된 변환 계수를 생성 때 영상 블록의 압축률을 높이는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 목적 영상을 이산 여현 변환(DCT: Discrete Cosine Transform)기법을 이용하여 제1 변환 계수를 생성하는 제1 변환부, 상기 목적 영상을 이산 정현 변환(DST: Discrete Sine Transform)기법을 이용하여 제2 변환 계수를 생성하는 제2 변환부 및 상기 제1 변환 계수 및 상기 제2 변환 계수 중에서 어느 한 변환 계수를 상기 목적 영상에 대한 변환 계수로 선택하는 변환 기법 결정부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
본 발명의 일측에 따르면 변환 계수에 대한 변환 기법을 판단하는 변환 기법 판단부, 상기 변환 기법이 이산 여현 변환인 경우에, 이산 여현 역변환 기법을 이용하여 상기 변환 계수에 대한 복호 영상을 생성하는 제1 역변환부 및 상기 변환 기법이 이산 정현 변환인 경우에, 이산 정현 역변환 기법을 이용하여 상기 변환 계수에 대한 복호 영상을 생성하는 제2 역변환부를 포함하는 영상 복호화 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 목적 영상에 대하여 이산 여현 변환을 수행하여 제1 변환 계수를 생성하는 제1 변환부, 상기 목적 영상에 대하여 이산 정현 변환을 수행하여 제2 변환 계수를 생성하는 제2 변환부 및 상기 제1 변환 계수 및 상기 제2 변환 계수 중에서 어느 한 변환 계수를 상기 목적 영상에 대한 변환 계수로 선택하는 변환 기법 결정부를 포함하는 것을 특징으로 하는 영상 부호화 장치가 제공된다.
본 발명에 따르면 소정 크기의 블록(매크로블록)에 대한 영상 간/내 예측 수행 후 변환과 양자화를 통하여 양자화된 변환 계수를 생성 때 영상 블록의 압축률을 높일 수 있다.
도 1은 본 발명이 적용된 영상 부호화 장치의 일실시예를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 정수 정현 변환의 개념을 도시한 도면이다.
도 4는 4x4 크기의 영상에 대하여 양자화 과정에서의 곱셈 인자의 값을 나타낸 도면이다.
도 5는 8x8 크기의 영상에 대하여 양자화 과정에서의 곱셈 인자의 값을 나타낸 도면이다.
도 6은 4x4 크기의 영상에 대하여 역양자화 과정에서의 크기 조정 인자의 값을 나타낸 도면이다.
도 7는 8x8 크기의 영상에 대하여 역양자화 과정에서의 크기 조정 인자의 값을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 정수 정현 역변환의 개념을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 계수 임계 방법의 개념을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라서 부호화된 블록 패턴을 고려하여 변환 기법 정보를 저장하는 개념을 도시한 도면이다.
도 11는 매크로 블록 헤더에 변환 기법에 대한 정보를 저장하는 본 발명의 일실시예를 도시한 도면이다.
도 12는 본 발명이 적용되는지 여부를 슬라이스 헤더에 저장하는 본 발명의 일실시예를 도시한 도면이다.
도 13은 본 발명에 따른 복호화기의 구조를 도시한 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명이 적용된 영상 부호화 장치의 일실시예를 도시한 블록도이다.
영상 부호화 장치는 변환 및 양자화부(110), 엔트로피 코딩부(120), 코딩 제어부 (130), 역양자화 및 역변환부(140), 루프 필터(150), 참조 영상 저장부(160), 움직임 추정/보상부(170) 및 인트라 예측/보상부(180)를 구비한다.
통상, 부호화 장치는 인코딩 과정과 디코딩 과정을 포함하고, 복호화 장치는 디코딩 과정을 구비한다. 복호화 장치의 디코딩 과정은 부호화 장치의 디코딩 과정과 동일하다. 따라서, 이하에서는 부호화 장치를 위주로 설명하기로 한다.
움직임 추정/보상부(170) 및 인트라 예측/보상부(180)는 입력 영상에 대한 예측 영상을 생성한다. 움직임 추정/보상부(170) 및 인트라 예측/보상부(180)는 입력 영상에 대한 참조 영상을 참조하여 입력 영상에 대한 예측 영상을 생성한다. 참조 영상 저장부(160)는 입력 영상에 대한 참조 영상을 저장할 수 있다. 입력 영상과 예측 영상의 차를 잔여 영상(Residual Image)이라고 할 수 있다. 본 발명의 일실시예에 따르면 영상 부호화 장치는 잔여 영상을 부호화하여 입력영상을 부호화하는 경우보다 부호화 효율을 향상시킬 수 있다. 즉, 잔여 영상이 영상 부호화 장치의 목적 영상으로 사용될 수 있다.
목적 영상은 변환 및 양자화부(110)로 입력된다. 변환 및 양자화부(110)는 목적 영상에 대하여 이산 여현 변환(DCT), 양자화 및 계수 임계를 수행하여 제1 변환 계수를 생성한다. 또한 변환 및 양자화부(110)는 그리고 이산 정현 변환(DST : Discrete Cosine Transform) 양자화 및 계수 임계를 수행하여 제2 변환 계수를 생성한다. 엔트로피 부호화부(120)은 이산 여현 변환된 제1 변환 계수 또는 이산 정현 변환된 제2 변환 계수에 대하여 엔트로피 코딩을 수행하여 비트스트림을 생성한다. 이때, 코딩 제어부(130)는 제1 변환 계수에 대하여 역양자화 및 이산 여현 역변환을 수행하고, 제2 변환 계수에 대하여 역양자화 및 이산 정현 역변환을 수행하여 최적의 변환 기법을 결정한다. 코딩 제어부(130)는 결정된 변환 기법을 변환 및 양자화부(110)로 전송한다.
디코딩 과정(190)을 살펴보면, 역양자화 및 역변환부(140)는 제1 변환 계수에 대하여 역양자화 및 이산 여현 역변환을 수행하여 제1 변환 계수에 대한 복호 영상을 생성하고, 제2 변환 계수에 대하여 역양자화 및 이산 정현 역변환을 수행하여 제2 변환 계수에 대한 복호 영상을 생성한다. 루프 필터(150)는 각각의 복호 영상에 대하여 저역통과 필터링을 수행하여 블록 경계를 스무딩한다. 참조영상 저장부(160)는 블록 경계가 스무딩된 복호 영상을 참조 영상으로 저장한다.
인터 모드일 경우 움직임 보상부(170)는 저장된 참조 영상과 입력 영상을 비교하여 움직임 보상을 수행한다. 인트라 모드일 경우에는 루프 필터(150)와 참조영상 저장부(160)를 거치지 않고 인트라 예측/보상부(180)에서 인트라 보상을 수행한다.
도 2는 본 발명의 일실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
영상 예측부(210)는 입력 영상에 대한 참조 영상을 참조하여 입력 영상에 대한 예측 영상을 생성한다. 영상 예측부(210)는 입력 영상과 예측 영상과의 차를 목적 영상으로 산출한다.
제1 변환부(220)는 목적 영상을 이산 여현 변환(DCT: Discrete Cosine Transform)기법을 이용하여 제1 변환 계수로 변환한다. 제1 변환부(220)는 이산 여현 변환부(221), 양자화부(222)를 포함할 수 있다.
이산 여현 변환부(221)는 목적 영상을 이산 여현 변환하여 제1 영상 계수를 생성한다. 양자화부(222)는 제1 영상 계수를 양자화하여 제1 변환 계수를 생성한다.
제2 변환부(230)는 목적 영상을 이산 정현 변환(DST: Discrete Sine Transform)기법을 이용하여 제2 변환 계수로 변환한다. 제2 변환부(230)는 이산 정현 변환부(231), 양자화부(232)를 포함할 수 있다.
제1 변환부(220)에 포함된 이산 여현 변환부(221) 및 양자화부(222)의 동작은 제2 변환부(230)에 포함된 이산 정현 변환부(231) 및 양자화부(232)의 동작과 유사하므로, 이하 제2 변환부(230)의 동작을 상세히 설명하기로 한다.
이산 정현 변환부(231)는 목적 영상을 이산 정현 변환하여 제2 영상 계수를 생성한다. 양자화부(232)는 제2 영상 계수를 양자화하여 제2 변환 계수를 생성한다.
일실시예에 다르며 이산 정현 변환부(231)는 하기 수학식 1에 따라서 목적 영상을 이산 정현 변환할 수 있다.
[수학식 1]
Figure PCTKR2009005675-appb-I000001
여기서,
Figure PCTKR2009005675-appb-I000002
는 이산 정현 변환될 목적 영상을 나타내고,
Figure PCTKR2009005675-appb-I000003
는 이산 정현 변환된 제2 영상 계수를 나타낸다. 또한
Figure PCTKR2009005675-appb-I000004
은 이산 정현 변환의 단위 크기를 나타낸다.
목적 영상이 4x4 크기인 경우에, 하기 수학식 1의 이산 정현 변환은 하기 수학식 2와 같이 행렬로 표현될 수 있다.
[수학식 2]
Figure PCTKR2009005675-appb-I000005
Figure PCTKR2009005675-appb-I000006
는
Figure PCTKR2009005675-appb-I000007
의 각 행에 대한 이산 정현 변환 행렬을 나타내며,
Figure PCTKR2009005675-appb-I000008
는 목적 영상,
Figure PCTKR2009005675-appb-I000009
는 역양자화된 제2 영상 계수를 나타낸다. 또한 행렬 내의 원소
Figure PCTKR2009005675-appb-I000010
와
Figure PCTKR2009005675-appb-I000011
는 각각 상수
Figure PCTKR2009005675-appb-I000012
와
Figure PCTKR2009005675-appb-I000013
를 나타낸다.
행렬 내의 원소 원소
Figure PCTKR2009005675-appb-I000014
와
Figure PCTKR2009005675-appb-I000015
는 정수가 아니므로 실제 계산하는 경우 계산 과정이 매우 복잡하다. 일실시예에 따르면 이산 정현 변환부(231)는 이산 정현 변환 행렬로부터 유도된 정수 정현 변환 행렬을 이용하여 목적 영상을 정수 정현 변환할 수 있다. 정수 정현 변환은 하기 수학식 3과 같이 표현할 수 있다.
[수학식 3]
Figure PCTKR2009005675-appb-I000016
도 3은 본 발명의 일실시예에 따른 정수 정현 변환의 개념을 도시한 도면이다.
목적 영상이 4x4 크기라면, 수학식 3에서의 정수 정현 변환은 도 3에 도시된 실시예에 따라서 간단히 수행될 수 있다.
목적 영상이 8x8 크기인 경우에 하기 수학식 1의 이산 정현 변환은 하기 수학식 4와 같이 행렬로 표현될 수 있다.
[수학식 4]
Figure PCTKR2009005675-appb-I000017
양자화부(232)는 제2 영상 계수를 양자화하여 제2 변환 계수를 생성한다. 일실시예에 따르면 목적 영상이 4x4 크기인 경우 양자화부(232)는 하기 수학식 5 또는 하기 수학식 6을 이용하여 제2 영상 계수를 양자화할 수 있다.
[수학식 5]
Figure PCTKR2009005675-appb-I000018
[수학식 6]
Figure PCTKR2009005675-appb-I000019
Figure PCTKR2009005675-appb-I000020
는 4x4 행렬 (i,j) 위치에서 정수 정현 변환된 제2 영상 계수를 나타내고,
Figure PCTKR2009005675-appb-I000021
는 4x4 행렬 (i,j) 위치에서의 제2 변환 계수가 양자화되어 생성된 제2 변환 계수를 나타낸다.
Figure PCTKR2009005675-appb-I000022
는
Figure PCTKR2009005675-appb-I000023
의 값을 나타내며,
Figure PCTKR2009005675-appb-I000024
는 양자화 매개변수(Quantization Parameter)를 나타낸다.
Figure PCTKR2009005675-appb-I000025
는 곱셈 인자(Multiplication Factor)를 나타낸다.
Figure PCTKR2009005675-appb-I000026
은 양자화기의 스탭 크기(Step Size),
Figure PCTKR2009005675-appb-I000027
는 반올림 함수를 나타낸다.
Figure PCTKR2009005675-appb-I000028
는 양자화 과정에서의 데드 존(dead zone)을 조정하는 역할을 하며, 0에서 1/2 사이의 값으로 선택된다.
Figure PCTKR2009005675-appb-I000029
는 부호 함수(sign function)이다.
도 4는 4x4 크기의 영상에 대하여 양자화 과정에서의 곱셈 인자의 값을 나타낸 도면이다.
일실시예에 따르면 목적 영상이 8x8 크기인 경우 양자화부(232)는 하기 수학식 7을 이용하여 제2 영상 계수를 양자화하여 제2 변환 계수를 생성할 수 있다.
[수학식 7]
Figure PCTKR2009005675-appb-I000030
도 5는 8x8 크기의 영상에 대하여 양자화 과정에서의 곱셈 인자의 값을 나타낸 도면이다.
변환 기법 결정부(260)는 제1 변환 계수 및 제2 변환 계수 중에서 어느 한 변환 계수를 목적 영상에 대한 변환 계수로 선택한다.
일실시예에 따르면 제1 변환부(220)는 제1 변환 계수에 기반하여 목적 영상에 대한 제1 복호 영상을 생성하고, 제2 변환부(230)는 제2 변환 계수에 기반하여 목적 영상에 대한 제2 복호 영상을 생성할 수 있다. 변환 기법 결정부(260)는 목적 영상, 제1 복호 영상 및 제2 복호 영상을 비교하여 목적 영상에 대한 변환 영상을 선택할 수 있다.
다른 실시예에 따르면 변환 기법 결정부(260)는 제1 복호 영상의 비트량, 제1 복호 영상의 비트율(bit rate), 제2 복호 영상의 비트량, 제2 복호 영상의 비트율을 더 고려하여 목적 영상에 대한 변환 영상을 선택할 수 있다. 즉, 변환 기법 결정부는 제1 복호 영상 및 제2 복호 영상 중에서 더 적은 비트량 또는 더 적은 비트율을 가지는 복호 영상에 상응하는 변환 계수를 목적 영상에 대한 변환 계수로 선택할 수 있다.
또 다른 실시예에 따르면 변환 기법 결정부(260)는 제1 복호 영상의 왜곡 및 제2 복호 영상의 왜곡을 더 고려하여 목적 영상에 대한 변환 영상을 선택할 수 있다. 일예로서, 변환 기법 결정부(260)는 복호 영상의 왜곡과 비트율을 함께 고려하여 목적 영상에 대한 변환 계수를 선택할 수 있다.
제1 변환부(220)는 제1 복호 영상을 생성하기 위하여 이산 여현 변환 계수 임계부(223), 역양자화부(224), 이산 여현 역변환부(225)를 포함할 수 있다.
이산 여현 변환 계수 임계부(223)는 제1 변환 계수에 대하여 계수 임계 연산을 수행한다. 역양자화부(224)는 계수 임계 연산 수행된 제1 변환 계수를 역양자화하고, 이산 여현 역변환부(224)는 역양자화된 제1 변환 계수를 이산 여현 역변환하여 목적 영상에 대한 제1 복호 영상을 생성한다. 변환 기법 결정부(260)는 제1 복호 영상에 기반하여 변환 계수를 선택한다.
제2 변환부(230)는 제2 복호 영상을 생성하기 위하여 이산 정현 변환 계수 임계부(233), 역양자화부(234), 이산 정현 역변환부(225)를 포함할 수 있다.
제1 변환부(220)에 포함된 이산 여현 변환 계수 임계부(223), 역양자화부(224), 이산 여현 역변환부(225)의 동작은 제2 변환부(230)에 포함된 이산 정현 변환 계수 임계부(233), 역양자화부(234), 이산 정현 역변환부(225)의 동작과 유사하므로, 이하 제2 변환부(230)의 동작을 상세히 설명하기로 한다.
이산 정현 변환 계수 임계부(233)는 양자화된 제2 변환 계수에 대하여 계수 임계 연산을 수행한다.
이산 정현 변환 계수 임계부(233)의 계수 임계에 대해서는 이하 도 9를 참조하여 상세히 설명하기로 한다.
양자화된 제2 변환 계수는 아래 도 9와 같은 계수 임계(Coefficient Thresholding) 방법을 통해서 각각의 4x4 주파수 영역에서 발생하는 계수들에 대한 코스트 (도 4 좌측에서 3, 2, 1, 0으로 표현된 값)를 산출하고, 8x8 블록 단위의 전체 코스트 합을 계산하여 그 코스트가 특정 임계치보다 높지 않을 경우 해당 8x8 블록의 변환된 계수를 전부 0으로 치환하고, 해당 블록에 대한 부호화된 블록 패턴(Coded Block Pattern)을 0으로 결정한다. 상기에서 서술한 코스트는 해당 주파수 영역에서 변환 계수의 절대값이 1일 경우에만 적용된다.
이 때, 어느 하나의 주파수 영역에서 계수의 절대값이 1보다 클 경우에는 해당 변환 계수에 대한 코스트로 해당 4x4 블록과 8x8 블록 크게는 매크로블록 단위에서 계수 전체가 0이 되지 않게 임의의 큰 수를 사용한다.
또한, 매크로블록 단위로 4개의 8x8 블록 단위의 코스트의 총합이 특정 임계치보다 높지 않을 경우에는 해당 매크로블록의 계수를 전부 0으로 치환하고, 각각의 8x8 블록에 대한 부호화된 블록 패턴(Coded Block Pattern)을 0으로 결정한다.
H.264/AVC 참조 모델인 JM (Joint Model)과 ITU-T VCEG KTA 참조 모델에서는 8x8 블록 단위에서의 임계치를 고정된 상수인 4를 사용하고, 매크로블록 단위에서의 임계치는 고정된 상수 5를 사용한다.
도 9의 (a)에서 8x8 블록의 변환 계수들의 전체 코스트 합이 5이므로, 전체 계수값들이 0으로 치환되지 않는다. 도 9의 (b)에서의 8x8 블록의 변환 계수들의 전체 코스트 합은 0이 되기 때문에, 도 9의 (b)에서의 전체 계수들은 0으로 치환된다.
역양자화부(234)는 계수 임계 연산 수행된 제2 변환 계수를 역양자화한다. 일실시에에 따르면 목적 영상이 4x4 크기인 경우 역양자화부(234)는 하기 수학식 8을 이용하여 제2 변환 계수를 역양자화할 수 있다.
[수학식 8]
Figure PCTKR2009005675-appb-I000031
Figure PCTKR2009005675-appb-I000032
는 역양자화된 이후의 제2 변환 계수이고,
Figure PCTKR2009005675-appb-I000033
는 크기 조정 인자(Scaling Factor)이다.
도 6은 4x4 크기의 영상에 대하여 역양자화 과정에서의 크기 조정 인자
Figure PCTKR2009005675-appb-I000034
의 값을 나타낸 도면이다.
일실시에에 따르면 목적 영상이 8x8 크기인 경우 역양자화부(234)는 하기 수학식 9를 이용하여 계수 임계 연산 수행된 제2 변환 계수를 역양자화할 수 있다.
[수학식 9]
Figure PCTKR2009005675-appb-I000035
도 7는 8x8 크기의 영상에 대하여 역양자화 과정에서의 크기 조정 인자
Figure PCTKR2009005675-appb-I000036
의 값을 나타낸 도면이다.
이산 정현 역변환부(235)는 역양자화된 제2 변환 계수를 이산 정현 역변환하여 목적 영상에 대한 제2 복호 영상을 생성한다. 일실시예에 따르면 이산 정현 역변환부(235)는 하기 수학식 10에 따라서 제2 복호 영상을 생성할 수 있다.
[수학식 10]
Figure PCTKR2009005675-appb-I000037
Figure PCTKR2009005675-appb-I000038
는
Figure PCTKR2009005675-appb-I000039
의 각 행에 대한 이산 정현 역변환 행렬을 나타내며,
Figure PCTKR2009005675-appb-I000040
는 목적 영상,
Figure PCTKR2009005675-appb-I000041
는 역양자화된 변환 계수를 나타낸다. 또한 행렬 내의 원소
Figure PCTKR2009005675-appb-I000042
와
Figure PCTKR2009005675-appb-I000043
는 각각 상수
Figure PCTKR2009005675-appb-I000044
와
Figure PCTKR2009005675-appb-I000045
를 나타낸다.
행렬 내의 원소 원소
Figure PCTKR2009005675-appb-I000046
와
Figure PCTKR2009005675-appb-I000047
는 정수가 아니므로 실제 계산하는 경우 계산 과정이 매우 복잡하다. 일실시예에 따르면 이산 정현 역변환부(235)는 이산 정현 변환 행렬로부터 유도된 정수 정현 역변환 행렬을 이용하여 제2 복호 영상을 정수 정현 역변환할 수 있다. 정수 정현 역변환은 하기 수학식 11과 같이 표현할 수 있다.
[수학식 11]
Figure PCTKR2009005675-appb-I000048
도 8은 본 발명의 일실시예에 따른 정수 정현 변환의 개념을 도시한 도면이다.
목적 영상이 4x4 크기라면, 수학식 11에서의 정수 정현 역변환은 도 8에 도시된 실시예에 따라서 간단히 수행될 수 있다.
이산 정현 역변환을 이용하여 생성된 제2 복호 영상
Figure PCTKR2009005675-appb-I000049
은 하기 수학식 12과 같은 반올림 과정을 거쳐
Figure PCTKR2009005675-appb-I000050
로 표현될 수 있다.
[수학식 12]
Figure PCTKR2009005675-appb-I000051
한편, 정수 정현 역변환으로 복원된 제2 복호 영상
Figure PCTKR2009005675-appb-I000052
은 하기 수학식 13와 같은 후-크기 조정(Post-Scaling)과정을 거쳐
Figure PCTKR2009005675-appb-I000053
로 표현된다.
[수학식 13]
Figure PCTKR2009005675-appb-I000054
라그랑지 승수 계산부(240)는 제1 복호 영상 및 제2 복호 영상에 대하여 라그랑지 승수(Lagrange Multiplier)를 각각 계산하고, 왜곡률 측정부(250)는 각각 계산된 라그랑지 승수에 기반하여 제1 복호 영상의 왜곡률을 측정하고, 제2 복호 영상의 왜곡률을 측정한다.
일실시예에 따르면 I-프레임 또는 P-프레임인 경우, 라그랑지 승수 계산부(240)는 하기 수학식 14에 따라서 라그랑지 승수를 계산할 수 있다.
[수학식 14]
Figure PCTKR2009005675-appb-I000055
Figure PCTKR2009005675-appb-I000056
의 값은 여러 영상들에 대하여 실험을 통해 결정될 수도 있으며, 목적 영상의 크기에 따라서
Figure PCTKR2009005675-appb-I000057
의 값이 적응적으로 결정될 수 있다.
다른 실시예에 따르면 B-프레임인 경우, 라그랑지 승수 계산부(240)는 하기 수학식 15에 따라서 라그랑지 승수를 계산할 수 있다.
[수학식 15]
Figure PCTKR2009005675-appb-I000058
율-왜곡 코스트 계산부(250)는 제1 복호 영상 및 제2 복호 영상에 대하여 율-왜곡 코스트(R-D Cost: Rate-Distortion Cost)를 계산한다.
일실시예에 따르면, 율-왜곡 코스트 계산부(250)는 하기 수학식 16에 따라서 율-왜곡 코스트를 계산할 수 있다.
[수학식 16]
Figure PCTKR2009005675-appb-I000059
여기서, s는 목적 영상이고, c는 복호 영상이다.
Figure PCTKR2009005675-appb-I000060
는 각 복호 영상의 왜곡이고,
Figure PCTKR2009005675-appb-I000061
는 각 복호 영상의 비트량이다.
Figure PCTKR2009005675-appb-I000062
는 영상 부호화에서 사용되는 부호화 모드이다.
율-왜곡 코스트 계산부(260)는 영상 부호화에서 사용되는 가변블록 모드와 4가지의 공간예측 모드, SKIP 모드 (P_SKIP 모드 및 B_SKIP 모드), DIRECT 모드 등 모든 가능한 부호화 모드 중에서 최적의 모드를 선택하기 위해 각각의 모드에 대한 율-왜곡 코스트를 계산한다. 즉, 율-왜곡 코스트 계산부(260)는 각각의 복원 영상에 대하여, 각각의 부호화 모드에 대하여 율-왜곡 코스트를 계산한다.
변환 기법 결정부(260)는 율-왜곡 코스트가 최소가 되는 복원 영상에 상응하는 변환 계수를 목적 영상에 대한 변환 계수로 선택할 수 있다. 즉, 변환 기법 결정부(260)는 각 복원 영상의 왜곡뿐만 아니라, 변환 계수를 부호화하는데 필요한 비트율도 함께 고려하여 최적의 변환 기법을 선택할 수 있다.
또한, 변환 기법 결정부(260)는 율-왜곡 코스트(R-D Cost : Rate-Distortion Cost)가 최소가 되는 모드를 부호화 모드로 결정할 수 있다. 즉, 변환 기법 결정부(260)는 압축 효율이 높은 변환 모드를 목적 영상에 대한 변환 모드로 선택할 수 있다.
변환 기법 저장부(270)는 목적 영상에 대한 변환 계수에 상응하는 변환 기법에 대한 정보를 저장할 수 있다. 즉, 변환 기법 저장부(270)는 목적 영상이 이산 여현 변환되었는지, 또는 이산 정현 변환 되었는지 여부를 저장하고, 영상 복호화기는 변환 기법에 대한 정보에 기반하여 목적 영상에 대한 변환 기법을 판단할 수 있다.
일실시예에 따르면 변환 기법 저장부(270)는 매크로 블록 단위로 구비된 플래그 비트에 변환 기법에 대한 정보를 표시할 수 있다. 예를 들어, 매크로 블록에 포함된 목적 영상이 이산 여현 변환된 경우, 플래그 비트는 '0'으로 결정될 수 있다. 또는 매크로 블록에 포함된 목적 영상이 이산 정현 변환된 경우, 플래그 비트는 '1'로 결정될 수 있다.
변환 기법 저장부(270)는 변환 계수에 대한 부호화된 블록 패턴(CBP:Coded Block Pattern)값을 고려하여 변환 기법에 대한 정보를 저장할 수 있다. 부호화된 블록 패턴값은 각 블록의 휘도값을 표시하는 것으로 해당 블록에 변환 계수가 있다면 '1'로, 변환 계수가 없다면 '0'으로 표시된다. 특정 블록에 변환 계수가 없다면, 해당 블록에 대하여 변환 기법을 판단할 여지도 없으므로, 변환 기법에 대한 정보를 저장할 필요가 없는 것이다.
도 10은 본 발명의 일실시예에 따라서 부호화된 블록 패턴을 고려하여 변환 기법 정보를 저장하는 개념을 도시한 도면이다.
도 10의 (a)에서는 모든 블록(1011, 1012, 1013, 1014)에서 변환 계수가 없는 실시예가 도시되었다. 이 경우, 복호화기는 각 블록에 대하여 변환 계수에 대한 변환 기법을 판단할 필요가 없다. 따라서 변환 기법 저장부(270)는 각 블록의 변환 기법에 대한 정보를 저장하지 않는다. 즉, 변환 기법 저장부(270)는 각 블록에 대한 부호화된 블록 패턴값이 '1'인 경우에만 해당 블록에 대한 변환 기법에 대한 정보를 저장할 수 있다.
도 10의 (b)에서는 제2 블록 및 제3 블록은 변환 계수가 없는 실시예가 도시되었다. 제1 블록(1021) 및 제4 블록(1024)에는 변환 계수가 있으며, 각 변환 계수는 이산 정현 변환 및 이산 여현 변환 되었다.
변환 기법 저장부(270)는 변환 계수가 존재하는 제1 블록(1021) 및 제4 블록(1041)에 대해서만 변환 기법 정보를 저장할 수 있다. 제1 블록(1021)은 이산 정현 변환되었으므로, 변환 기법에 대한 정보는 '1'로 결정될 수 있다. 또한, 제4 블록(1024)은 이산 여현 변환되었으므로, 변환 기법에 대한 정보는 '0'으로 결정될 수 있다.
복호화기는 각 블록에 대한 부호화된 블록 패턴값을 고려하여 '10'의 변환 기법에 대한 정보가 어느 블록에 대한 변환 기법을 나타내는지 여부를 판단할 수 있다.
도 10의 (c)에서는 제1 블록(1031)에만 변환 계수가 있고, 제2 블록(1032), 제3 블록(1033) 및 제4 블록(1034)에서는 변환 계수가 없는 실시예가 도시되었다. 변환 기법 저장부(270)는 변환 계수가 있는 제1 블록(1031)에 대해서만 변환 기법 정보를 저장할 수 있다.
도 10의 (d)에서는 제1 블록(1041)에만 변환 계수가 없고, 제2 블록(1042), 제3 블록(1043) 및 제4 블록(1044)에서는 변환 계수가 있는 실시예가 도시되었다. 변환 기법 저장부(270)는 변환 계수가 있는 제2 블록(1042), 제3 블록(1043) 및 제4 블록(1044)에 대해서만 변환 기법 정보를 저장할 수 있다.
도 11는 매크로 블록 헤더에 변환 기법에 대한 정보를 저장하는 본 발명의 일실시예를 도시한 도면이다.
도 11에 도시된 매크로 블록 헤더 중에서, 변환 기법에 대한 정보를 저장하는 부분(1110)을 참고하면, 변환 기법 저장부(270)는 부호화된 블록 패턴이 '0'보다 더 큰 경우에, 변환 기법에 대한 정보(alternative transform flag)를 저장할 수 있다.
도 12는 본 발명이 적용되는지 여부를 슬라이스 헤더에 저장하는 본 발명의 일실시예를 도시한 도면이다.
일실시예에 따르면 영상 부호화 장치는 본 발명을 적용하여 목적 영상을 부호화할 수도 있으나, 다른 실시예에 따르면 영상 부호화 장치는 본 발명을 적용하지 않을 수도 있다. 변환 기법 저장부(270)는 본 발명이 적용되었는지 여부를 슬라이스 헤더의 플래그 비트를 이용하여 저장(1210)하고, 복호화기는 플래그 비트를 이용하여 본 발명이 변환 계수에 적용되었는지 여부를 판단할 수 있다.
도 13은 본 발명에 따른 복호화기의 구조를 도시한 블록도이다. 본 발명에 따른 복호화기는 변환 기법 판단부(1310), 제1 역변환부(1320) 및 제2 역변환부(1330)를 포함한다.
변환 기법 판단부(1310)는 변환 계수에 본 발명이 적용되었는지 여부를 판단할 수 있다. 일실시예에 따르면 영상 부호화 장치가 본 발명을 적용하여 목적 영상을 부호화한 경우에, 영상 부호화 장치는 슬라이스 헤더의 플래그 비트를 이용하여 본 발명이 변환 계수에 적용되었는지 여부를 표현할 수 있다. 변환 기법 판단부는 슬라이스 헤더의 플래그 비트를 이용하여 본 발명이 변환 계수에 적용되었는지 여부를 판단할 수 있다.
또한, 변환 기법 판단부(1310)는 변환 계수에 대한 변환 기법을 판단한다. 본 발명이 변환 계수에 대하여 적용된 경우, 변환 계수는 이산 정현 변환 또는 이산 여현 변환된다. 영상 부호화 장치는 매크로 블록의 플래그 비트를 이용하여 변환 계수에 적용된 변환 기법을 표시할 수 있다. 즉, 매크로 블록의 플래그 비트는 변환 기법 정보를 표시한다. 변환 기법 판단부(1310)는 매크로 블록의 플래그 비트를 이용하여 변환 계수에 대한 변환 기법을 판단할 수 있다.
일실시예에 따르면 매크로 블록의 플래그 비트는 변환 계수에 대한 부호화된 블록 패턴값을 고려하여 저장될 수 있다. 즉, 영상 부호화 장치는 부호화된 블록 패턴 값이 '0'이 아닌 경우에만 플래그 비트를 매크로 블록에 저장하고, 부호화된 블록 패턴 값이 '0'인 경우에는 플래그 비트를 매크로 블록에 저장하지 않을 수 있다.
변환 계수에 대하여 이산 정현 변환이 적용된 경우에, 제1 역변환부(1320)는 이산 정현 역변환 기법을 이용하여 변환 계수에 대한 복호 영상을 생성한다. 제1 역변환부(1320)는 역양자화부(1321) 및 이산 정현 역변환부(1322)를 포함할 수 있다.
역양자화부(1321)는 양자화된 변환 계수를 역양자화한다. 역양자화에 대해서는 도2에서 상세히 설명하였으므로, 이하 상세한 설명은 생략하기로 한다.
이산 정현 역변환부(1322)는 역양자화된 변환 계수를 이산 정현 역변환하여 복호 영상을 생성한다. 이산 정현 역변환에 대해서는 도 2에서 상세히 설명하였으므로, 이하 상세한 설명은 생략하기로 한다.
변환 계수에 대하여 이산 여현 변환이 적용된 경우에, 제2 역변환부(1330)는 이산 여현 역변환 기법을 이용하여 변환 계수에 대한 복호 영상을 생성한다. 제2 역변환부(1330)는 역양자화부(1331) 및 이산 여현 역변환부(1332)를 포함할 수 있다.
역양자화부(1331)는 양자화된 변환 계수를 역양자화한다. 역양자화에 대해서는 도2에서 상세히 설명하였으므로, 이하 상세한 설명은 생략하기로 한다.
이산 여현 역변환부(1332)는 역양자화된 변환 계수를 이산 여현 역변환하여 복호 영상을 생성한다.
일실시예에 따르면 제1 역변환부(1320) 또는 제2 역변환부(1330)에서 생성된 복호 영상은 영상 부호화 장치에 입력된 입력 영상이 아니라, 입력 영상과 예측 영상의 차이인 잔여 영상(residual image)에 대응된다.
영상 복원부(1340)는 변환 계수에 대한 참조 영상을 참조하여 변환 계수에 대한 예측 영상을 생성한다. 영상 복원부(1340)는 예측 영상과 복호 영상에 기반하여 변환 계수에 대한 복원 영상을 생성한다. 복원 영상은 영상 부호화 장치에 입력된 입력 영상에 대응된다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다. 영상 부호화 장치는 영상 예측부(1410), 제1 변환부(1420), 제2 변환부(1430), 왜곡률 측정부(1440), 변환 기법 결정부(1450), 변환 기법 저장부(1460)를 포함할 수 있다.
영상 예측부(1410)는 입력 영상에 대한 참조 영상을 참조하여 입력 영상에 대한 예측 영상을 생성한다. 또한 영상 예측부(1410)는 입력 영상과 예측 영상과의 차를 목적 영상으로 산출한다. 즉, 제1 변환부(1420) 또는 제2 변환부(1430)가 부호화하는 목적 영상은 입력영상에 대한 잔여 영상이다.
제1 변환부(1420)는 목적 영상에 대하여 이산 여현 변환을 수행하여 제1 변환 계수를 생성한다. 또한 제1 변환부(1420)는 제1 변환 계수에 대한 이산 여현 역변환을 수행하여 제1 변환 계수에 대한 복호 영상을 생성한다.
제2 변환부(1430)는 목적 영상에 대하여 이산 정현 변환을 수행하여 제2 변환 계수를 생성한다. 또한, 제2 변환부(1430)는 제1 변환 계수에 대한 이산 정현 역변환을 수행하여 제2 변환 계수에 대한 복호 영상을 생성한다.
왜곡률 측정부(1440)는 목적 영상과 제1 변환 계수에 대한 복호 영상을 비교하여 제1 변환 계수에 대한 복호 영상의 왜곡률을 측정한다. 또한, 왜곡률 측정부(1440)는 목적 영상과 제2 변환 계수에 대한 복호 영상을 비교하여 제2 변환 계수에 대한 복호 영상의 왜곡률을 측정한다.
변환 기법 결정부(1450)는 제1 변환 계수에 대한 복호 영상의 왜곡률과 제2 변환 계수에 대한 복호 영상의 왜곡률에 기반하여 목적 영상에 대한 변환 계수를 선택한다. 일실시예에 따르면 변환 기법 결정부(1450)는 왜곡률이 더 작은 복호 영상에 대응하는 변환 계수를 목적 영상에 대한 변환 계수로 선택할 수 있다.
변환 기법 저장부(1460)는 선택된 변환 계수에 대한 변환 기법 정보를 목적 영상에 대한 매크로 블록 헤더에 저장할 수 있다. 예를들어, 변환 계수가 이산 정현 변환된 경우에, 변환 기법 저장부(1460)는 매크로 블록 헤더의 플래그 비트를 '1'로 표시하여 변환 기법 정보를 저장할 수 있다. 또한, 변환 계수가 이산 여현 변환된 경우에, 변환 기법 저장부(1460)는 매크로 블록 헤더의 플래그 비트를 '0'으로 표시하여 변환 기법 정보를 저장할 수 있다.
일실시예에 따르면 변환 기법 저장부(1470)는 변환 계수에 대한 부호화된 블록 패턴을 고려하여 변환 기법 정보를 저장할 수 있다. 부호화된 블록 패턴의 값은 변환 계수의 존재여부를 나타낸다. 즉, 변환 계수가 존재하는 경우에는 부호화된 블록 패턴의 값이 '1'이고, 변환 계수가 존재하지 않는 경우에는 부호화된 블록 패턴의 값이 '0'일 수 있다. 변환 기법 저장부(1470)는 부호화된 블록 패턴의 값이 '0'인 경우에는 변환 기법 정보를 저장하지 않을 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 목적 영상을 이산 여현 변환(DCT: Discrete Cosine Transform)기법을 이용하여 제1 변환 계수로 변환하는 제1 변환부;
    상기 목적 영상을 이산 정현 변환(DST: Discrete Sine Transform)기법을 이용하여 제2 변환 계수로 변환하는 제2 변환부; 및
    상기 제1 변환 계수 및 상기 제2 변환 계수 중에서 어느 한 변환 계수를 상기 목적 영상에 대한 변환 계수로 선택하는 변환 기법 결정부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 제1 변환부는 상기 제1 변환 계수에 기반하여 상기 목적 영상에 대한 제1 복호 영상을 생성하고,
    상기 제2 변환부는 상기 제2 변환 계수에 기반하여 상기 목적 영상에 대한 제1 복호 영상을 생성하고,
    상기 변환 기법 결정부는 상기 목적 영상, 상기 제1 복호 영상 및 상기 제2 복호 영상을 비교하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제2항에 있어서,
    상기 목적 영상의 크기에 기반하여 라그랑지 승수(Lagrange Multiplier)를 계산하는 라그랑지 승수 계산부
    를 더 포함하고,
    상기 변환 기법 결정부는 상기 라그랑지 승수에 기반하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제3항에 있어서,
    상기 각각 계산된 라그랑지 승수에 기반하여 상기 목적 영상에 대한 상기 제1 복호 영상의 율-왜곡 코스트를 측정하고, 상기 목적 영상에 대한 상기 제2 복호 영상의 율-왜곡 코스트를 계산하는 율-왜곡 코스트 계산부
    를 더 포함하고,
    상기 변환 기법 결정부는 상기 각각 계산된 율-왜곡 코스트에 기반하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제2항에 있어서, 상기 제1 변환부는,
    상기 목적 영상을 이산 여현 변환하여 제1 영상 계수를 생성하는 이산 여현 변환부;
    상기 제1 영상 계수를 양자화하여 상기 제1 변환 계수를 생성하는 양자화부;
    상기 양자화된 제1 변환 계수에 대하여 계수 임계 연산을 수행하는 이산 여현 변환 계수 임계부;
    상기 계수 임계 연산 수행된 제1 변환 계수를 역양자화하는 역양자화부; 및
    상기 역양자화된 제1 변환 계수를 이산 여현 역변환하여 상기 목적 영상에 대한 제1 복호 영상을 생성하는 이산 여현 역변환부;
    를 포함하고,
    상기 변환 기법 결정부는 상기 제1 복호 영상에 기반하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제2항에 있어서, 상기 제2 변환부는,
    상기 목적 영상을 이산 정현 변환하여 제2 영상 계수를 생성하는 이산 정현 변환부;
    상기 제2 영상 계수를 양자화하여 상기 제2 변환 계수를 생성하는 양자화부;
    상기 양자화된 제2 변환 계수에 대하여 계수 임계 연산을 수행하는 이산 정현 변환 계수 임계부;
    상기 계수 임계 연산 수행된 제2 변환 계수를 역양자화하는 역양자화부; 및
    상기 역양자화된 제2 변환 계수를 이산 정현 역변환하여 상기 목적 영상에 대한 제2 복호 영상을 생성하는 이산 정현 역변환부;
    를 포함하고,
    상기 변환 기법 결정부는 상기 제2 복호 영상에 기반하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제1항에 있어서,
    상기 목적 영상에 대한 변환 계수에 상응하는 변환 기법에 대한 정보를 저장하는 변환 기법 저장부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제7항에 있어서,
    상기 변환 기법 저장부는 상기 변환 계수에 대한 부호화된 블록 패턴(CBP:Coded Block Pattern)값을 고려하여 상기 변환 기법에 대한 정보를 저장하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제1항에 있어서,
    입력 영상에 대한 참조 영상을 참조하여 상기 입력 영상에 대한 예측 영상을 생성하고, 상기 입력 영상과 상기 예측 영상과의 차를 상기 목적 영상으로 산출하는 영상 예측부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  10. 변환 계수에 대한 변환 기법을 판단하는 변환 기법 판단부;
    상기 변환 기법이 이산 여현 변환인 경우에, 이산 여현 역변환 기법을 이용하여 상기 변환 계수에 대한 복호 영상을 생성하는 제1 역변환부; 및
    상기 변환 기법이 이산 정현 변환인 경우에, 이산 정현 역변환 기법을 이용하여 상기 변환 계수에 대한 복호 영상을 생성하는 제2 역변환부
    를 포함하는 영상 복호화 장치.
  11. 제10항에 있어서,
    상기 변환 기법 판단부는 상기 변환 계수에 대한 매크로 블록 헤더에 포함된 변환 기법 정보를 이용하여 상기 변환 기법을 판단하는 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 변환 기법 정보는 상기 변환 계수에 대한 부호화된 블록 패턴 값을 고려하여 저장된 영상 복호화 장치.
  13. 제10항에 있어서, 상기 제1 역변환부는
    상기 변환 계수를 역양자화하는 역양자화부; 및
    상기 역양자화된 변환 계수를 이산 여현 역변환하여 상기 복호 영상을 생성하는 이산 정현 역변환부;
    를 포함하는 영상 복호화 장치.
  14. 제10항에 있어서, 상기 제2 역변환부는
    상기 변환 계수를 역양자화하는 역양자화부; 및
    상기 역양자화된 변환 계수를 이산 정현 역변환하여 상기 복호 영상을 생성하는 이산 정현 역변환부;
    를 포함하는 영상 복호화 장치.
  15. 제10항에 있어서,
    상기 변환 계수에 대한 참조 영상을 참조하여 상기 변환 계수에 대한 예측 영상을 생성하고, 상기 예측 영상과 상기 복호 영상에 기반하여 상기 변환 계수에 대한 복원 영상을 생성하는 영상 복원부
    를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  16. 목적 영상에 대하여 이산 여현 변환을 수행하여 제1 변환 계수를 생성하는 제1 변환부;
    상기 목적 영상에 대하여 이산 정현 변환을 수행하여 제2 변환 계수를 생성하는 제2 변환부; 및
    상기 제1 변환 계수 및 상기 제2 변환 계수 중에서 어느 한 변환 계수를 상기 목적 영상에 대한 변환 계수로 선택하는 변환 기법 결정부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제16항에 있어서,
    상기 선택된 변환 계수에 대한 변환 기법 정보를 상기 목적 영상에 대한 매크로 블록 헤더에 저장하는 변환 기법 저장부
    를 더 포함하는 영상 부호화 장치.
  18. 제17항에 있어서, 상기 변환 기법 저장부는 상기 변환 계수에 대한 부호화된 블록 패턴이 '0'인 경우에는 상기 변환 기법 정보를 저장하지 않는 것을 특징으로 하는 영상 부호화 장치.
  19. 제16항에 있어서,
    입력 영상에 대한 참조 영상을 참조하여 상기 입력 영상에 대한 예측 영상을 생성하고, 상기 입력 영상과 상기 예측 영상과의 차를 상기 목적 영상으로 산출하는 영상 예측부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제16항에 있어서,
    상기 제1 변환 계수에 대한 복호 영상의 율-왜곡 코스트를 계산하고, 상기 제2 변환 계수에 대한 복호 영상의 율-왜곡 코스트를 계산하는 율-왜곡 코스트 계산부
    를 더 포함하고,
    상기 변환 기법 결정부는 상기 각각의 율-왜곡 코스트에 기반하여 상기 변환 계수를 선택하는 것을 특징으로 하는 영상 부호화 장치.
PCT/KR2009/005675 2008-10-02 2009-10-05 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법 WO2010039015A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN2009801485280A CN102334337A (zh) 2008-10-02 2009-10-05 选择性使用离散正余弦转换的编解码装置和方法
EP09818025.0A EP2346258A4 (en) 2008-10-02 2009-10-05 APPARATUS AND METHOD FOR SELECTIVE CODING / DECODING OF IMAGE BY COSINUS / SINUS DISCRETE TRANSFORMATION
US13/128,995 US20110286516A1 (en) 2008-10-02 2009-10-05 Apparatus and method for coding/decoding image selectivly using descrete cosine/sine transtorm
US14/045,511 US11176711B2 (en) 2008-10-02 2013-10-03 Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US17/397,851 US11538198B2 (en) 2008-10-02 2021-08-09 Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US17/990,584 US20230267649A1 (en) 2008-10-02 2022-11-18 Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2008-0097144 2008-10-02
KR20080097144 2008-10-02
KR1020090093127A KR101619972B1 (ko) 2008-10-02 2009-09-30 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
KR10-2009-0093127 2009-09-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/128,995 A-371-Of-International US20110286516A1 (en) 2008-10-02 2009-10-05 Apparatus and method for coding/decoding image selectivly using descrete cosine/sine transtorm
US14/045,511 Continuation US11176711B2 (en) 2008-10-02 2013-10-03 Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform

Publications (3)

Publication Number Publication Date
WO2010039015A2 true WO2010039015A2 (ko) 2010-04-08
WO2010039015A3 WO2010039015A3 (ko) 2013-01-03
WO2010039015A8 WO2010039015A8 (ko) 2013-03-07

Family

ID=42215069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005675 WO2010039015A2 (ko) 2008-10-02 2009-10-05 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법

Country Status (5)

Country Link
US (4) US20110286516A1 (ko)
EP (2) EP3154266A1 (ko)
KR (8) KR101619972B1 (ko)
CN (2) CN102334337A (ko)
WO (1) WO2010039015A2 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103370939A (zh) * 2011-06-30 2013-10-23 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
US9106933B1 (en) 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
EP2452499A1 (en) * 2009-07-06 2012-05-16 Thomson Licensing Methods and apparatus for spatially varying residue coding
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
GB2492163B (en) 2011-06-24 2018-05-02 Skype Video coding
GB2492329B (en) 2011-06-24 2018-02-28 Skype Video coding
GB2492330B (en) 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
KR101955374B1 (ko) * 2011-06-30 2019-05-31 에스케이 텔레콤주식회사 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
GB2493777A (en) 2011-08-19 2013-02-20 Skype Image encoding mode selection based on error propagation distortion map
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
KR20130040414A (ko) * 2011-10-14 2013-04-24 주식회사 팬택 인트라 예측 모드에 따른 변환 및 역변환 방법과 이를 이용한 부호화 및 복호화 장치
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101346474B1 (ko) * 2012-02-28 2014-01-10 세종대학교산학협력단 영상 부호화 장치 및 이의 영상 부호화 방법, 그리고 영상 복호화 장치 및 이의 영상 복호화 방법
WO2013154366A1 (ko) * 2012-04-12 2013-10-17 주식회사 팬택 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치
CN107707920B (zh) 2012-04-16 2021-06-01 韩国电子通信研究院 用于解码视频信号的方法
EP4216547A1 (en) * 2012-06-29 2023-07-26 Electronics And Telecommunications Research Institute Method for encoding/decoding images
US9955177B2 (en) 2012-11-15 2018-04-24 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
US9602826B2 (en) * 2014-06-27 2017-03-21 Massachusetts Institute Of Technology Managing transforms for compressing and decompressing visual data
US10911783B2 (en) 2016-05-12 2021-02-02 Lg Electronics Inc. Method and apparatus for processing video signal using coefficient-induced reconstruction
CN114422796A (zh) 2016-06-24 2022-04-29 韩国电子通信研究院 用于基于变换的图像编码/解码的方法和设备
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
US10735757B2 (en) * 2018-01-30 2020-08-04 Lg Electronics Inc. Video decoder and controlling method thereof
US11350118B2 (en) 2018-05-30 2022-05-31 Digitalinsights Inc. Image encoding/decoding method and device

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040217A (en) * 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
CN1062963C (zh) 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5416854A (en) * 1990-07-31 1995-05-16 Fujitsu Limited Image data processing method and apparatus
JPH0522715A (ja) * 1991-07-12 1993-01-29 Sony Corp 画像符号化装置
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
EP0714212A3 (en) * 1994-11-21 1999-03-31 SICAN, GESELLSCHAFT FÜR SILIZIUM-ANWENDUNGEN UND CAD/CAT NIEDERSACHSEN mbH Video decoder using concurrent processing and resource sharing
AUPO521897A0 (en) * 1997-02-20 1997-04-11 Telstra R & D Management Pty Ltd Invisible digital watermarks
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
US6134571A (en) * 1998-04-29 2000-10-17 Hewlett-Packard Company Implicit DST-based filter operating in the DCT domain
US6529634B1 (en) * 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
US6584225B1 (en) * 2000-05-08 2003-06-24 Hewlett-Packard Development Company, L.P. Frequency domain halftoning
US6996595B2 (en) * 2001-05-16 2006-02-07 Qualcomm Incorporated Apparatus and method for consolidating output data from a plurality of processors
US6876704B2 (en) * 2001-05-16 2005-04-05 Qualcomm, Incorporated Apparatus and method for encoding and computing a discrete cosine transform using a butterfly processor
US7649947B2 (en) * 2001-06-05 2010-01-19 Qualcomm Incorporated Selective chrominance decimation for digital images
US20020191695A1 (en) * 2001-06-07 2002-12-19 Irvine Ann Chris Interframe encoding method and apparatus
US6870963B2 (en) * 2001-06-15 2005-03-22 Qualcomm, Inc. Configurable pattern optimizer
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20080075377A1 (en) * 2003-07-29 2008-03-27 Topiwala Pankaj N Fast lapped image transforms using lifting steps
JP2005184042A (ja) * 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
EP2373033A3 (en) * 2004-01-30 2011-11-30 Panasonic Corporation Picture coding and decoding method, apparatus, and program thereof
US7720148B2 (en) * 2004-03-26 2010-05-18 The Hong Kong University Of Science And Technology Efficient multi-frame motion estimation for video compression
US7545988B2 (en) * 2004-08-09 2009-06-09 George William Meeker Image blocking artifact reduction via transform pair
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
TW200719726A (en) * 2005-09-27 2007-05-16 Qualcomm Inc Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
US8571340B2 (en) * 2006-06-26 2013-10-29 Qualcomm Incorporated Efficient fixed-point approximations of forward and inverse discrete cosine transforms
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
WO2008035842A1 (en) 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
US8121190B2 (en) * 2006-10-05 2012-02-21 Siemens Aktiengesellschaft Method for video coding a sequence of digitized images
TWI339074B (en) * 2007-09-05 2011-03-11 Via Tech Inc Operating method and device of coded block flag parameter
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2010064396A1 (ja) * 2008-12-03 2010-06-10 株式会社日立製作所 動画像復号化方法および動画像符号化方法
CA2767617C (en) * 2009-07-10 2018-03-20 British Broadcasting Corporation Hybrid open-loop/closed-loop compression of pictures
US9277245B2 (en) * 2010-03-10 2016-03-01 Thomson Licensing Methods and apparatus for constrained transforms for video coding and decoding having transform selection
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
SI3739883T1 (sl) * 2010-05-04 2023-03-31 Lg Electronics Inc. Postopek in naprava za kodiranje in dekodiranje videosignala
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN103828364B (zh) * 2011-09-29 2018-06-12 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
JP5972888B2 (ja) * 2011-09-29 2016-08-17 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
US20130101033A1 (en) * 2011-10-14 2013-04-25 Qualcomm Incorporated Coding non-symmetric distributions of data
WO2017107074A1 (en) * 2015-12-22 2017-06-29 Realnetworks, Inc. Residual transformation and inverse transformation in video coding systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
CN103370939A (zh) * 2011-06-30 2013-10-23 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
CN103370939B (zh) * 2011-06-30 2016-05-25 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US10142628B1 (en) 2013-02-11 2018-11-27 Google Llc Hybrid transform in video codecs
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US10462472B2 (en) 2013-02-11 2019-10-29 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Also Published As

Publication number Publication date
KR101805429B1 (ko) 2017-12-06
US20140044367A1 (en) 2014-02-13
CN105306939B (zh) 2019-03-01
KR20160040486A (ko) 2016-04-14
EP2346258A2 (en) 2011-07-20
KR102129046B1 (ko) 2020-07-01
US11176711B2 (en) 2021-11-16
US20210375007A1 (en) 2021-12-02
CN105306939A (zh) 2016-02-03
KR20200015678A (ko) 2020-02-12
WO2010039015A3 (ko) 2013-01-03
US11538198B2 (en) 2022-12-27
KR102468143B1 (ko) 2022-11-18
US20110286516A1 (en) 2011-11-24
EP2346258A4 (en) 2014-03-19
KR102076092B1 (ko) 2020-02-11
US20230267649A1 (en) 2023-08-24
EP3154266A1 (en) 2017-04-12
KR101619972B1 (ko) 2016-05-11
WO2010039015A8 (ko) 2013-03-07
CN102334337A (zh) 2012-01-25
KR20210073509A (ko) 2021-06-18
KR101971909B1 (ko) 2019-04-24
KR102266576B1 (ko) 2021-06-18
KR20200078461A (ko) 2020-07-01
KR20170089823A (ko) 2017-08-04
KR20170135807A (ko) 2017-12-08
KR20190042538A (ko) 2019-04-24
KR20100038060A (ko) 2010-04-12

Similar Documents

Publication Publication Date Title
WO2010039015A2 (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012018198A2 (ko) 예측 블록 생성 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2013062193A1 (ko) 영상 복호화 방법 및 장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2012018197A2 (ko) 인트라 예측 복호화 장치
WO2010039000A2 (ko) 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2011155758A2 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2015009039A1 (ko) 비디오 코딩에서 사선 모드의 인트라 예측 향상을 위한 방법
WO2012096550A2 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013062196A1 (ko) 영상 복호화 장치
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2012023763A2 (ko) 인터 예측 부호화 방법
WO2009157669A2 (ko) 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012023762A2 (ko) 인트라 예측 복호화 방법
WO2010114283A9 (ko) 비디오 신호 처리 방법 및 장치
WO2011090313A2 (ko) 이전 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하는 영상 부호화, 복호화 방법 및 장치
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013062198A1 (ko) 영상 복호화 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980148528.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09818025

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009818025

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009818025

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13128995

Country of ref document: US