WO2012127706A1 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
WO2012127706A1
WO2012127706A1 PCT/JP2011/069162 JP2011069162W WO2012127706A1 WO 2012127706 A1 WO2012127706 A1 WO 2012127706A1 JP 2011069162 W JP2011069162 W JP 2011069162W WO 2012127706 A1 WO2012127706 A1 WO 2012127706A1
Authority
WO
WIPO (PCT)
Prior art keywords
coefficient
unit
correction
transform coefficient
correction coefficient
Prior art date
Application number
PCT/JP2011/069162
Other languages
English (en)
French (fr)
Inventor
昌史 高橋
山口　宗明
信博 知原
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2013505766A priority Critical patent/JP5850536B2/ja
Publication of WO2012127706A1 publication Critical patent/WO2012127706A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Definitions

  • the present invention relates to a moving picture coding apparatus, and more particularly to a moving picture coding apparatus in which a DCT coefficient is appropriately corrected to improve coding efficiency.
  • an encoding method such as the MPEG (Moving Picture Experts Group) system has been established, and the MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, H. It is an international standard encoding system such as H.264 / AVC (Advanced Video Coding) standard.
  • a hybrid image encoding technique that performs encoding by combining a prediction technique and a conversion technique in units of blocks is employed. That is, the difference (prediction difference) from the original image is calculated for the predicted image calculated in units of blocks, and DCT (Discrete Cosine Transform), which is one of the frequency conversion techniques, is applied to the coefficient.
  • DCT Discrete Cosine Transform
  • Quantize and variable length code In general, a natural image has a characteristic that DCT coefficients are concentrated on low frequency components. Therefore, the variable length coding method is designed so that the coding efficiency increases as small values such as 0 concentrate on high frequency components. .
  • the code amount is greatly reduced by applying strong quantization to the high frequency component or forcibly truncating the coefficient of the high frequency component.
  • JP 2009-200541 A JP 2011-130192 A JP 2010-118729 A JP 2007-251672 A JP 2006-237709 A
  • variable-length coding largely depends on the distribution of DCT coefficients and greatly affects the coding performance.
  • prediction difference information is large and is discarded, only coefficient correction for only the high frequency component is performed. For this reason, there is a problem in that it cannot sufficiently cope with the case where power is concentrated on high-frequency components, and in some cases, the coding efficiency is remarkably lowered.
  • improvement in coding efficiency is expected by performing coefficient operations not only on high-frequency components but also on low to medium frequency components. be able to.
  • An object of the present invention is to provide a moving picture coding apparatus and the like that improve coding efficiency by appropriately correcting the DCT coefficient.
  • a moving image encoding apparatus or method includes: A frequency conversion unit that performs frequency conversion on the prediction difference or the original image, a quantization unit that performs quantization on the conversion coefficient output from the frequency conversion unit, and a conversion coefficient correction that corrects the conversion coefficient And a variable length coding unit that performs coding according to the probability of code generation for the corrected transform coefficient,
  • the transform coefficient correction unit generates a plurality of candidates as values to be used for the correction, searches for a value that maximizes the efficiency of variable-length coding from the plurality of candidates, and corrects the one value Correct the transform coefficient before or after quantization as a value,
  • the variable-length encoding unit encodes the corrected transform coefficient and outputs the encoded stream as an encoded stream.
  • the correction value may include a correction value for correcting nothing if it is optimal.
  • the conversion coefficient correction unit dynamically generates the plurality of candidates by a genetic algorithm or a gradient method.
  • the transform coefficient correction unit when searching for the correction value, decodes an image using a code amount when the corrected transform coefficient is variable-length encoded and the corrected transform coefficient.
  • the cost is calculated using the amount of distortion in the case as a parameter.
  • the transform coefficient correction unit when searching for the optimum correction value, the code amount when the corrected transform coefficient is variable-length encoded and the corrected transform coefficient when the quantized inverse quantization
  • the image coding apparatus wherein the cost calculation is performed using the distortion amount as a parameter.
  • the transform coefficient correction unit when the optimum correction value is searched for, performs cost calculation using as parameters the code amount when the corrected transform coefficient is subjected to variable length coding and the magnitude of the correction value.
  • a high-quality decoded image can be obtained with a small amount of code by appropriately correcting the DCT coefficient.
  • Block diagram of moving picture coding apparatus Block diagram of moving picture coding apparatus (Examples 1 to 3) Block diagram of conversion coefficient correction unit 111 (Example 1) Block diagram of the conversion coefficient correction unit 111A (Example 2) Block diagram of conversion coefficient correction unit 111B (Example 3) DCT conceptual illustration Conceptual diagram showing the procedure of hybrid coding Schematic diagram relating to DCT coefficient correction method according to the embodiment The conceptual diagram regarding the correction coefficient search process which concerns on embodiment The figure which shows an example of the determination process of a correction coefficient candidate The figure which shows an example of the determination process of a correction coefficient candidate The figure which shows an example of the determination process of a correction coefficient candidate Explanatory diagram of the correction coefficient range Flow chart of image encoding processing (Examples 1 to 3) Conceptual diagram regarding correction coefficient search processing (second embodiment) Flow chart of correction coefficient search process (second embodiment) Conceptual diagram regarding correction coefficient search processing (Example 3) Flow chart of correction coefficient search process (Example 3) Conceptual illustration of DCT coefficient correction method Block diagram of moving picture
  • the moving picture encoding apparatus of this example performs encoding based on a hybrid encoding scheme such as H.264 / AVC, and first, H.264 / AVC encoding will be outlined.
  • an image to be encoded is predicted using image information that has been encoded, and a prediction difference from the original image is encoded.
  • the amount of code is reduced by reducing the redundancy of moving images.
  • prediction is performed in units of blocks obtained by finely dividing an image.
  • the prediction difference is decomposed into frequency components (transform coefficients) by DCT, which is one of frequency transform methods, and the coefficient values are encoded.
  • DCT transform coefficients
  • FIG. 5 conceptually shows how the prediction difference is decomposed into frequency components by DCT.
  • DCT is a method of frequency conversion that expresses an input signal by a weighted sum of coefficient values of the base signal 603.
  • the coefficient value 602 is biased toward low frequency components. Utilizing this, the coefficient values are efficiently encoded.
  • FIG. 6 shows the encoding procedure of the prediction difference signal for each block.
  • DCT is performed on the prediction difference 601 of the target block, and the obtained DCT coefficient 602 is quantized.
  • the quantized DCT coefficient 603 is subjected to a two-dimensional zigzag scan 604 from the low frequency component to the high frequency component to expand the coefficient value one-dimensionally.
  • variable length coding VLC: Variable length coding
  • FIG. 7 is a conceptual diagram of a method for improving the coding efficiency by correcting DCT coefficients in the embodiment of the present invention.
  • a method for correcting the quantized DCT coefficient is shown.
  • a plurality of correction value (hereinafter referred to as correction coefficient) candidates 702 for the quantized DCT coefficient 603 are prepared, and a correction coefficient search for determining the optimum solution 703 that can maximize the coding efficiency is performed.
  • the DCT coefficient is corrected by adding the obtained correction coefficient 703 to the quantized DCT coefficient 603 to obtain a corrected DCT coefficient 704.
  • VLC normal encoding process one-dimensional expansion
  • a correction coefficient if one of the elements having a magnitude of 2 or 1 appearing in the quantized DCT coefficient is replaced with 1 or 0, a decrease in the code amount can be sufficiently expected. There is a possibility that a correction coefficient that compensates for the deficiency due to quantization and reduces the distortion by trying a large number of those having the correction coefficient can be found.
  • FIG. 8 is a conceptual diagram of correction coefficient search processing in the embodiment of the present invention.
  • one of the correction coefficient candidates 801 is selected 802) and added to the quantized DCT coefficient 603 to generate a DCT coefficient (hereinafter, corrected coefficient candidate) 804 corrected with the correction coefficient candidate.
  • inverse quantization and inverse DCT are applied to this to obtain a prediction difference decoded value 805 using the corrected coefficient candidate.
  • This is compared 807 with the prediction difference 806 before encoding, and an error 808 expressed as a difference between them is calculated.
  • the error it is effective to use, for example, the absolute value error sum SAD (um of Absolute Difference) or square error sum SSD (um of Squared ⁇ Difference) of each pixel value shown in the following block.
  • p (i, j) indicates the value of the prediction difference 806 at the coordinates (i, j)
  • q (i, j) indicates the value of the decoded value 805 of the prediction difference at the coordinates (i, j).
  • Dist represents an error value such as SAD or SSD
  • Rate represents a code amount
  • Weight 1 represents a weighting coefficient.
  • the trade-off between image quality and code amount can be controlled by adjusting the value of Weight1. For example, if the code amount is to be significantly reduced even if the image quality is somewhat deteriorated, the value of Weigh1 may be set higher so that the contribution rate of the code amount to the cost value increases.
  • the cost may be calculated using the RD-Optimization method described in Non-Patent Document 1 in order to appropriately evaluate the trade-off between error and code amount from the statistical properties of image quality distortion and code amount.
  • correction coefficient search processes can be considered. With reference to FIG. 9 to FIG. 11, the explanation will be divided into three methods.
  • FIG. 9 is a diagram illustrating an example of a correction coefficient candidate determination process.
  • the DCT coefficient 901 is also a 4 ⁇ 4 size matrix.
  • the correction coefficient is also calculated as a 4 ⁇ 4 matrix (hereinafter referred to as a correction coefficient matrix).
  • a correction coefficient matrix For the sake of simplicity, if the possible values of each element of the correction coefficient matrix are limited to three types ( ⁇ 11, 0, 1), candidates as shown in 902 exist. A correction coefficient matrix 903 that minimizes the cost value is determined from these, and correction is performed 904).
  • a huge amount of calculation is required.
  • FIG. 10 is a schematic diagram of a correction coefficient matrix determination method applying a genetic algorithm.
  • the genetic algorithm imitates the natural world where individuals with high fitness are selected and selected by repeating genetic operations such as selection, crossover, mutation, etc. for multiple individuals with data strings as genes. Search algorithm.
  • the correction coefficient matrix candidates are set as individuals, and the reciprocal of the cost value is set as the fitness (set so that the fitness becomes higher as the cost value is lower). For example, assume that six types of individuals (A to F) shown in 1001 are selected as the nth generation.
  • genetic manipulation is performed to determine the next generation population. First, for example, two individuals A1002 and B1003 having the highest fitness level remain by the selection process of leaving the current generation individual in the next generation according to the fitness level.
  • an individual that causes mutation and which value of the data string is changed according to randomness or fitness it is preferable to determine an individual that causes mutation and which value of the data string is changed according to randomness or fitness. It is also effective to generate an individual like 1007 by combining crossover and mutation. As described above, when the (n + 1) th generation individuals 1008 generated by performing genetic operations on the nth generation individuals are arranged according to the fitness of each individual, the fitness is generally higher than that of the nth generation. You can see that it is rising. This process is repeated until the fitness becomes sufficiently large or converges, and finally the individual with the highest fitness becomes the optimal solution.
  • FIG. 11 is a schematic diagram of a correction coefficient matrix determination method applying the gradient method.
  • the estimated value of the solution is repeatedly updated according to the slope of the local cost distribution. That is, a local peripheral search is performed on the current estimated value, and the estimated value is updated in a direction that minimizes the cost function.
  • the correction coefficient matrix 1101 is estimated as the optimal solution after the n-th trial.
  • a cost value is calculated using correction coefficient matrices 1102 to 1104 in which values of arbitrary components, for example, the first and first components are changed, and as a result, the cost of the correction coefficient matrix 1104 is the lowest. In this case, this is the (n + 1) th estimation result.
  • This process is repeated until the cost value becomes sufficiently small or converges while changing the component to be changed. Since this method tends to fall into a local solution, it is effective to perform the above search process several times by changing the initial estimated value, and finally select the one that minimizes the cost from the obtained multiple solutions. It is.
  • FIG. 12 shows an example of the correction coefficient range.
  • the value of the correction coefficient varies depending on the quantization parameter, for example, as shown in 1201, all elements of the correction coefficient matrix are changed in a range of ⁇ 10 (10, -9, ..., 0, ..., 9, 10). And effective.
  • ⁇ 10 10, -9, ..., 0, ..., 9, 10
  • it is effective to provide a difference in the range of correction coefficient values depending on the frequency component.
  • FIG. 1 is a block diagram of a video encoding apparatus according to the first embodiment.
  • the moving image encoding apparatus of this example includes an input image memory 102 that holds an input original image 101, a block dividing unit 103 that divides the input image into small regions, and motion amounts from past frames in units of blocks.
  • the frequency transform unit 109 and the quantization processing unit 110, the transform coefficient unit 111 that corrects the transform coefficient, and the corrected DCT coefficient and the like are adaptively encoded according to the probability of code generation.
  • a variable-length encoding unit 112 an inverse quantization processing unit 113 that restores (decodes) a prediction difference from the corrected transform coefficient, and an inverse frequency conversion unit 114, and a decoded image is generated using the restored prediction difference.
  • a reference image memory 116 for holding the decoded image and using it for later prediction.
  • the input image memory 102 holds one image as an encoding target image from the original image 101 (synonymous with the video 41), and divides it into fine blocks by the block dividing unit 103, and the motion search unit 104.
  • the motion search unit 104 calculates the motion amount of the corresponding block using the decoded image stored in the reference image memory 116, and passes the motion vector to the inter-screen prediction unit 106.
  • the intra-screen prediction unit 105 and the inter-screen prediction unit 106 respectively perform intra-screen prediction processing using the original image of the peripheral block and inter-screen prediction processing referring to another encoded image with a plurality of block sizes.
  • the mode selection unit 107 selects an optimal prediction mode from the two prediction units that are executed with a plurality of block sizes, and sends the prediction image to the subtraction unit 108 and the addition unit 115.
  • the subtraction unit 108 generates a difference (prediction difference) between the original image of the target block and the prediction image selected by the mode selection unit 107 and passes the difference to the frequency conversion unit 109.
  • the frequency conversion unit 109 and the quantization processing unit 110 are respectively obtained by performing frequency conversion using DCT or the like and quantization processing using a quantization matrix in units of blocks having a size specified for the transmitted prediction difference.
  • the transformed coefficient or the quantized transformed coefficient is passed to the transformed coefficient correction unit 113.
  • the transform coefficient correction unit 111 determines and corrects an optimal correction value for the quantized transform coefficient and passes it to the variable length coding unit 112 and the inverse quantization unit 113.
  • the variable-length encoding processing unit 112 encodes header information such as the corrected transform coefficient and motion vector based on the probability of occurrence of symbols to generate an encoded stream.
  • the inverse quantization processing unit 113 and the inverse frequency transform unit 114 perform inverse frequency transforms such as inverse quantization and inverse DCT on the quantized frequency transform coefficients, respectively, obtain a prediction difference, and add an addition unit. 115.
  • the adding unit 115 adds the predicted image and the decoded prediction difference to generate a decoded image, and stores the decoded image in the reference image memory 116.
  • FIG. 2 shows an example of the details of the conversion coefficient correction unit 111 of the first embodiment.
  • the transform coefficient correction unit 111 includes a correction coefficient candidate generation unit 201 that generates a correction coefficient candidate, an adder 202 that adds the correction coefficient candidate and the transform coefficient, and variable length coding that performs coding on the transform coefficient.
  • Unit 203 inverse quantization processing unit 204 and inverse frequency transform unit 205 for decoding the prediction difference, and error calculation unit 206 for calculating a difference value between the prediction difference before encoding and the decoded prediction difference
  • a cost evaluation unit 207 for performing cost calculation, an optimal correction coefficient storage unit 208 for storing a correction coefficient candidate with the minimum cost, and an addition unit 209 for correcting the conversion coefficient using the optimal correction coefficient.
  • the correction coefficient candidate generation unit 201 generates correction coefficient candidates and sends them to the addition unit 202 one by one.
  • the adding unit 202 adds the obtained correction coefficient candidate to the quantized transform coefficient sent from the quantization processing unit 110 and sends the sum to the variable length coding unit 203 and the inverse quantization processing unit 204.
  • the variable length coding unit 203 performs coding on the received corrected coefficient candidate, measures the amount of code, and sends the code amount to the cost evaluation unit 207.
  • the inverse quantization processing unit 204 and the inverse frequency transform unit 205 perform inverse quantization and inverse frequency transform on the same corrected coefficient candidate, decode the prediction difference, and send it to the error calculation unit 206.
  • the error calculation unit 206 calculates an error with respect to the decoded value of the prediction difference and the prediction difference before encoding using [Equation 1], [Equation 2], and the like, and sends the result to the cost evaluation unit 207.
  • the cost evaluation unit 207 performs cost calculation using a calculation formula such as [Formula 3] using the received code amount and error information, and it should be smaller than the cost of any correction coefficient candidate calculated so far. For example, the correction coefficient and the cost value are sent to the optimum correction coefficient storage unit.
  • the correction coefficients stored in the optimal correction coefficient storage unit 208 are sent to the addition unit 209 and sent from the quantization processing unit 110.
  • the obtained quantized transform coefficients are added together and sent to the variable length coding unit 112 as corrected transform coefficients.
  • FIG. 13 shows an encoding processing procedure for one frame in the first embodiment.
  • the following processing is performed on all blocks existing in the frame to be encoded (1301). That is, the prediction process is executed once for all coding modes (combination of prediction method and block size) for the corresponding block, and the prediction difference is calculated.
  • intra prediction 1302 and inter prediction 1303 are performed as prediction methods, and mode selection processing 1304 for selecting an optimum mode from all the encoding modes is performed.
  • frequency conversion processing 1305 and quantization processing 1306 are performed on the prediction difference of the selected coding mode to calculate quantized transform coefficients.
  • a correction coefficient search process for determining a correction coefficient for correcting the conversion coefficient is performed (1307).
  • one correction coefficient candidate is calculated (1308) and added to the quantized transform coefficient to generate a corrected coefficient candidate (1309).
  • the code amount is calculated by performing variable-length coding on the corrected coefficient candidate (1310), while the same corrected coefficient candidate is subjected to inverse quantization and inverse frequency transform to obtain a prediction error decoded value.
  • Obtain (1311).
  • the error between this and the prediction difference is calculated (1312), and the cost is calculated using the code amount and the error information (1313).
  • the correction coefficient and the cost value are updated (1315).
  • the above processing is performed for all correction coefficient candidates, and the coefficient with the lowest cost is set as the optimum correction coefficient.
  • the transform coefficient is corrected with the optimal correction coefficient (1316), and a variable length encoding process 1317 is performed to generate an encoded stream.
  • the corrected transform coefficient is subjected to inverse quantization processing (1318 and inverse frequency transform processing 1319 to decode the prediction difference, and a decoded image is generated and stored in the reference image memory (1320). If the processing is completed for all the blocks, the encoding for one frame of the image is completed (1321).
  • the loop 2 (1307) termination condition may include a cost value that is equal to or lower than a predetermined value, the number of trials reaching an upper limit, and the like. The upper limit of the number of trials is accumulated in the memory of the input image 102.
  • the correction coefficient search process according to the second embodiment is a modification of the first embodiment so that image quality degradation is evaluated in the frequency domain, and the amount of calculation is reduced.
  • the configuration is the same as that of the first embodiment except that the details of the conversion coefficient correction unit 111 are different from those of the first embodiment, and the description of those portions is omitted.
  • FIG. 14 shows correction coefficient search processing according to the second embodiment.
  • one candidate 1402 is selected from the correction coefficient candidates 1401 and added to the quantized DCT coefficient 603 to generate a corrected coefficient candidate 1404.
  • inverse quantization is performed on this, and a decoded value 1405 of the DCT coefficient when the corrected coefficient candidate is used is obtained.
  • This is compared with the DCT coefficient 1406 before quantization, and an error 1408 expressed as a difference value between them is calculated.
  • the absolute value error sum SAD or the square error sum SSD described above can be used.
  • the DCT coefficient has a large effect on the image quality due to the error of the low frequency component, so it is more effective to set a large weight for the error of the low frequency component.
  • (Weighted SAD) and WSSD Weighted SSD
  • P (i, j) is the (i, j) component of the pre-quantization DCT coefficient 1406
  • Q (i, j) is the (i, j) component of the dequantized value 1405 of the corrected DCT coefficient
  • the function W (i, j) is a function that decreases as i and j increase.
  • one-dimensional expansion is performed on the corrected coefficient candidate 1404, and VLC is applied to measure the code amount 1410.
  • cost calculation is performed based on the measured error 1408 and code amount 1410.
  • Dist represents an error value such as SAD, SSD, WSAD, WSSD
  • Rate represents a code amount
  • Weight 2 represents a weight coefficient.
  • the trade-off between image quality and code amount can be controlled by adjusting the value of Weight2. For example, if the code amount is to be significantly reduced even if the image quality is somewhat deteriorated, the value of Weigh2 may be set higher so that the contribution rate of the code amount to the cost value is increased.
  • FIG. 3 shows an example of the details of the conversion coefficient correction 111A in the second embodiment.
  • the conversion coefficient correction unit 111A is provided in place of the conversion coefficient correction unit 111 of the first embodiment.
  • the conversion coefficient correction unit 111A generates a correction coefficient candidate and adds the correction coefficient candidate and the conversion coefficient.
  • An adder 302 ; a variable length coding unit 303 that performs coding on the transform coefficient; an inverse quantization processing unit 304 for decoding the transform coefficient; a transform coefficient before quantization and a decoded transform coefficient
  • An error calculation unit 305 for calculating the difference value, a cost evaluation unit 306 for performing cost calculation, an optimal correction coefficient storage unit 307 for storing a correction coefficient candidate with the lowest cost, and an optimal correction coefficient
  • An adder 308 is used to correct the conversion coefficient.
  • the correction coefficient candidate generation unit 301 generates correction coefficient candidates and sends them to the addition unit 302 one by one.
  • the adding unit 302 adds the acquired correction coefficient candidate to the quantized transform coefficient sent from the quantization processing unit 110 and sends it to the variable length coding unit 303 and the inverse quantization processing unit 304.
  • the variable length coding unit 303 performs coding on the received corrected coefficient candidate, measures the amount of code, and sends the code amount to the cost evaluation unit 306.
  • the inverse quantization processing unit 304 performs inverse quantization on the same corrected coefficient candidate, decodes the transform coefficient, and sends it to the error calculation unit 305.
  • the error calculation unit 305 calculates an error between the decoded value of the transform coefficient and the pre-quantization transform coefficient using [Expression 1], [Expression 2], [Expression 4], [Expression 5], and the like, and sends the result to the cost evaluation unit 306.
  • the cost evaluation unit 306 performs cost calculation using a calculation formula such as [Formula 6] using the transmitted code amount and error information, and if it is smaller than the cost of any correction coefficient candidate calculated so far, The correction coefficient and the cost value are sent to the optimum correction coefficient storage unit 307.
  • the correction coefficient stored in the optimal correction coefficient storage unit 307 is sent to the addition unit 308, and the quantization processing unit 110 It is added to the quantized transform coefficient that is sent and sent to the variable length coding unit 112 as a corrected transform coefficient.
  • FIG. 15 illustrates a correction coefficient determination processing procedure in the second embodiment.
  • one correction coefficient candidate is calculated (1501) and added to the quantized transform coefficient to generate a corrected coefficient candidate (1502). Further, variable length coding is performed on the corrected coefficient candidates to calculate a code amount (1503), while inverse quantization is performed on the same corrected coefficient candidates to obtain a decoded coefficient decoding value (1504). ). The error between this and the pre-quantization transform coefficient is calculated (1505), and the cost is calculated using the code amount and the error information (1506). Furthermore, if the calculated cost value is the smallest so far (1507), the correction coefficient and the cost value are updated (1508). When the above process is completed for all the correction coefficient candidates, the correction coefficient determination process ends with the coefficient having the smallest cost as the optimal correction coefficient.
  • FIG. 16 shows correction coefficient search processing according to the third embodiment.
  • one of the correction coefficient candidates 1601 is selected 1602) and added to the quantized DCT coefficient 603 to generate a corrected coefficient candidate 1604.
  • the size of the correction coefficient candidate 1602 is calculated 1605.
  • SAE absolute value sum of Absolute Element
  • WSAE Weighted SAE
  • s (i, j) is the (i, j) component of the correction coefficient candidate 1602
  • the function W (i, j) is a function that decreases in value as i and j increase.
  • one-dimensional expansion is performed on the corrected coefficient candidate 1404, and VLC is applied to measure the code amount 1607.
  • cost calculation is performed based on the measured correction coefficient size 1605 and code amount 1607.
  • Dist represents the size of a correction coefficient candidate such as SAE or WSAE
  • Rate represents a code amount
  • Weight 3 represents a weighting coefficient.
  • the tradeoff between image quality and code amount can be controlled by adjusting the value of Weight3. For example, if the code amount is to be significantly reduced even if the image quality is somewhat deteriorated, the value of Weigh3 may be set higher so that the contribution rate of the code amount to the cost value is increased.
  • FIG. 4 shows an example of the details of the conversion coefficient correction unit 111B in the third embodiment.
  • the conversion coefficient correction unit 111B includes a correction coefficient candidate generation unit 401 that generates a correction coefficient candidate, a correction coefficient adder 402 that calculates the size of the correction coefficient candidate, and a combination of the correction coefficient candidate and the conversion coefficient.
  • the correction coefficient candidate generation unit 401 generates correction coefficient candidates and sends them one by one to the addition unit 402.
  • the adding unit 402 adds the obtained correction coefficient candidate to the quantized transform coefficient sent from the quantization processing unit 110, and sends it to the correction coefficient adding unit 403 and the variable length coding unit 404.
  • the correction coefficient addition unit 403 calculates the size of the correction coefficient candidate using [Equation 7], [Equation 8], and the like, and sends it to the cost evaluation unit 407.
  • the variable length encoding unit 404 encodes the corrected coefficient candidate, measures the code amount, and sends the code amount to the cost evaluation unit 405.
  • the cost evaluation unit 405 performs cost calculation using a calculation formula such as [Equation 9] using the received code amount and the size of the correction coefficient candidate, and from any correction coefficient candidate cost calculated so far. If smaller, the correction coefficient and the cost value are sent to the optimum correction coefficient storage unit 406.
  • the correction coefficient stored in the optimal correction coefficient storage unit 406 is sent to the addition unit 407, and is sent from the quantization processing unit 110. It is added to the quantized transform coefficient that is sent and sent to the variable length coding unit 112 as a corrected transform coefficient.
  • FIG. 17 illustrates a correction coefficient determination processing procedure in the third embodiment.
  • one correction coefficient candidate is calculated (1701) and added to the quantized transform coefficient to generate a corrected coefficient candidate (1702). Further, variable length coding is performed on the corrected coefficient candidate to calculate the code amount (1703), while the size of the correction coefficient candidate is calculated (1704). Subsequently, cost calculation is performed using the code amount and the correction coefficient (1705). If the calculated cost value is the smallest so far (1706), the correction coefficient and the cost value are updated (1707).
  • the correction coefficient determination process ends with the coefficient having the smallest cost as the optimum correction coefficient.
  • weighting function W (i, j) may be used in the first to third embodiments, but an example is shown below.
  • FIG. 18 is a block diagram of the video encoding device according to the fourth embodiment.
  • a first pass encoding unit 141 and a selection unit 142 are added to the video encoding device according to the first embodiment, and are explicitly shown.
  • a configuration for performing two-pass encoding is shown.
  • the first pass encoding unit 141 is a part that outputs a conventional H.264 encoded stream that does not perform DCT coefficient correction.
  • the configurations of the block division unit 103 to the reference image memory 116 are referred to as a second pass encoding unit for convenience.
  • CABAC can be used for the first and second pass encoding units.
  • the first pass encoding unit 141 also outputs various encoding parameters determined during encoding, motion information, and the like for the second pass encoding unit.
  • the selection unit 142 is a macroblock unit or a larger unit (hereinafter referred to as a selection unit), a first pass encoding unit 141 and a second pass encoding unit (codes input from the variable length encoding unit 112).
  • a desired image is selected and output from the encoded stream, and the reference image between the first and second passes is copied by copying the encoding result of the selected pass to the reference image memory of the other pass.
  • the selection unit 142 includes a cost evaluation unit 247 similar to the cost evaluation unit 207.
  • the cost evaluation unit 247 encodes the original image read from the input image memory and the reference image memory of each path.
  • the distortion of each path is measured and the amount of encoded stream of each path is measured, and based on a technique such as RD optimization, it is determined which path has the lower cost.
  • the distortion is preferably measured in consideration of visual characteristics, and when it is known that the image area is not visually important, the second pass encoding unit may be temporarily stopped.
  • the second pass encoding unit operates with a delay of about a selection unit from one block than the first pass encoding unit 141, and the encoding result (rate and distortion, macroblock party) of the first pass encoding unit 141 is operated.
  • Encoding that is tuned to achieve higher efficiency while referring to the prediction mode selection and block prediction mode).
  • the correction of the DCT coefficient is one of the objects to be tuned, and does not always have to be performed in each block, but may be performed in only one block whose cost is remarkably large in the selection unit in the first pass.
  • the correction coefficient 703 may be tried once in one block. In that case, it is desirable to use a correction coefficient that can reliably reduce the code amount or distortion.
  • the selection unit may be a unit composed of one or a plurality of macroblocks such as a basic unit in rate control.
  • prediction and frequency conversion are performed in units of blocks. However, for example, calculation may be performed in units of objects separated from the background of an image.
  • DCT is cited as an example of frequency transformation.
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen-Loeve
  • Any transformation can be used as long as it is an orthogonal transformation used to remove correlation between pixels, such as Transformation (Karunen-Reeve transformation).
  • Transformation Kerrunen-Reeve transformation
  • the correction coefficient search 1802 is performed on the DCT coefficient 1801 before quantization, and the DCT coefficient is corrected by adding the obtained correction coefficient 1803 to the DCT coefficient before quantization.
  • the corrected DCT coefficient 1804 is subjected to normal encoding processing (quantization, one-dimensional expansion, VLC) to generate a code word. Further, for example, frequency conversion may be performed on the original image without performing prediction, such as intra coding of MPEG-1 or MPEG-2. There is no need to perform variable length coding.
  • the present invention can be applied to any moving image encoding method as long as it uses a frequency conversion method such as H.261, MPEG-1, H.262 / MPEG-2, MPEG-4, H.263, and H.264 / AVC. Not only can it be applied, but it can also be applied to still image coding systems that use frequency conversion such as JPEG and JPEG-2000. Further, it can be applied not only to images but also to voice coding using a combination of frequency conversion and variable length coding.
  • a frequency conversion method such as H.261, MPEG-1, H.262 / MPEG-2, MPEG-4, H.263, and H.264 / AVC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像の1 区画をＤＣＴ等の直交変換により変換し、得られた変換係数の各成分の一部を補正する。補正値は、画質の歪みを反映した特微量と符号量を反映する特微量の両方に基づくコスト関数を計算し、そのコスト関数を最小化するように決定する。補正係数の候補は、補正係数のサイズに応じて多数あるため、遺伝的アルゴリズムや勾配法等を用いて、補正の試行回数を削減する。これにより符号化効率を著し<低下させる変換係数を、適正に補正できる。本発明は、映像信号をデジタル処理により圧縮し符号化する技術に属し、ビデオ符号化装置等に利用できる。

Description

動画像符号化装置及び動画像符号化方法
　本発明は、動画像符号化装置に関し、特にDCT係数を適切に補正して符号化効率を向上させた動画像符号化装置に関する。
　大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、ＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ－１規格、ＭＰＥＧ－２規格、ＭＰＥＧ－４規格、Ｈ．264／ＡＶＣ（Advanced Video Coding）規格等として国際標準の符号化方式となっている。
　これらの規格では、ブロック単位で予測技術と変換技術を組み合わせて符号化するハイブリッド画像符号化技術が採用されている。すなわち、ブロック単位で計算された予測画像に対して原画像からの差分（予測差分）を計算し、周波数変換技術の一つであるDCT（Discrete Cosine Transform：離散コサイン変換）を施してその係数を量子化し、可変長符号化する。
　一般に自然画像では、DCT係数が低周波成分に集中する性質があるため、上記可変長符号化方式は高周波成分に０などの小さい値が集中するほど符号化効率が高められるように設計されている。また予測差分が大きい場合には、高周波成分に対して強い量子化をかけたり、高周波成分の係数を強制的に切り捨てたりすることで、符号量を大きく削減している。
特開２００９－２００５４１号公報 特開２０１１－１３０１９２号公報 特開２０１０－１１８７２９号公報 特開２００７－２５１６７２号公報 特開２００６－２３７７０９号公報
En-Hui　Yang,　Xiang　Yu,　"Rate　Distortion　Optimization　for　H.264　Interframe　Coding:A　General　Framework　and　Algorithms",　IEEE　TRANSATIONS　ON　IMAGE　PROCESSING,　IEEE,　JULY　２００７,　VOL.１６,　NO.７,　p.１７７４-１７８４ G. Sullivan and T.Wiegand,　"Rate-DistortionOptimization for Video Compression", IEEE Signal Processing Magazine, vol.１５, no.６, pp.７４-９０, １９９８.
　しかしながら、従来の予測と変換を基本とするハイブリッド画像符号化では、可変長符号化の性能がDCT係数の分布に大きく依存し、符号化性能を大きく左右する。予測差分情報が大きいため切り捨てた場合、高周波成分だけを対象にした係数補正しか行わない。そのため高周波成分に電力が集中した場合に十分に対処できず、場合によっては著しく符号化効率が低下するという問題があった。
　一方で、符号量と画質のトレードオフを適正に評価することができれば、高周波成分だけでなく、低～中程度の周波数成分に対しても係数操作を行うことにより、符号化効率の向上を見込むことができる。
　本発明では、上記DCT係数の補正を適正に行うことにより、符号化効率を向上させた動画像符号化装置等を提供することを目的とする。
　本発明に係る動画像符号化装置あるいは方法は、
　予測差分もしくは原画像に対して周波数変換を行う周波数変換部と、該周波数変換部が出力する変換係数に対して量子化を行う量子化部と、該変換係数に対して補正を行う変換係数補正部と、該補正された変換係数に対し符号の発生確率に応じた符号化を施す可変長符号化部とを有し、
　該変換係数補正部は、該補正に用いる値として複数の候補を生成し、該複数の候補の中から可変長符号化の効率が最も高くなる１つの値を探索し、該１つの値を補正値として量子化前もしくは量子化後の前記変換係数に対して補正を行い、
　前記可変長符号化部は、該補正された前記変換係数に符号化を施して、符号化ストリームとして出力することを特徴とする。
　上記補正値には、もしそれが最適であれば、何も補正しない補正値も含まれうる。
　また、前記変換係数補正部は、前記複数の候補を、遺伝的アルゴリズム若しくは勾配法によって動的に生成することを特徴とする。
　また、前記変換係数補正部は、前記補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、該補正された前記変換係数を用いて画像を復号した場合の歪み量とを、パラメータとしてコスト計算を行う。
　或いは、前記変換係数補正部は、最適な補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、補正された前記変換係数を逆量子化した時の歪み量をパラメータとしてコスト計算を行うことを特徴とする請求項２記載の画像符号化装置。
　或いは、変換係数補正部は、最適な補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、補正値の大きさをパラメータとしてコスト計算を行う。
　本発明によれば、DCT係数の適切な補正により、少ない符号量で高画質の復号画像を得ることができる。
動画像符号化装置のブロック図（実施例１～３ 変換係数補正部１１１のブロック図（実施例１ 変換係数補正部１１１Ａのブロック図（実施例２ 変換係数補正部１１１Ｂのブロック図（実施例３ DCTに関する概念的な説明図 ハイブリッド符号化の手順を示す概念図 実施形態に係るDCT係数の補正方法に関する概念図 実施形態に係る補正係数探索処理に関する概念図 補正係数候補の決定過程の一例を示す図 補正係数候補の決定過程の一例を示す図 補正係数候補の決定過程の一例を示す図 補正係数の値域に関する説明図 画像符号化処理の流れ図（実施例１～３ 補正係数探索処理に関する概念図（実施例２ 補正係数探索処理の流れ図（実施例２ 補正係数探索処理に関する概念図（実施例３ 補正係数探索処理の流れ図（実施例３ DCT係数の補正方法に関する概念的な説明図 動画像符号化装置のブロック図（実施例４
　以下、本発明の実施例に係る動画像符号化装置を、図面を参照して説明する。本例の動画像符号化装置は、H.264/AVC等のハイブリッド符号化方式に基づいて符号化を行うものであり、最初に、H.264/AVC符号化について概説する。
　MPEG-4やH.264/AVCなどのハイブリッド符号化方式では、符号化処理が完了した画像情報を利用して符号化対象画像を予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を減らして符号量を削減している。ここでは、動画像の局所的性質を利用したきめ細かな予測を実現するために、画像を細かく分割したブロック単位で予測が行われる。
　上記予測差分は、周波数変換手法の一つであるDCTにより周波数成分（変換係数）に分解され、その係数値が符号化される。以下、上記の規格に合わせてDCTを周波数変換方式として用いた場合について説明する。
　図５は、予測差分がDCTにより周波数成分に分解される様子について概念的に示している。DCTは、基底信号６０３の係数値による加重和によって入力信号を表現する周波数変換の一手法であり、予測差分６０１に対してDCTを適用することによりその係数値６０２が低周波成分に偏る性質を利用して、係数値を効率的に符号化している。
　図６に、各ブロックに対する予測差分信号の符号化手順について示す。まず対象ブロックの予測差分６０１に対してDCTを施し、取得されたDCT係数６０２に対して量子化を行う。続いて、量子化後のDCT係数６０３に対し、低周波成分から高周波成分に向かって２次元的なジグザグ方向のスキャン６０４を行って係数値を一次元展開し、取得された１次元データに対して可変長符号化(VLC：Variable length coding)６０５を施して符号語を生成する。
　図７は、本発明の実施形態において、DCT係数に対して補正を行って符号化効率を高める方法の概念図である。ここでは、例として量子化後のDCT係数に対して補正を行う方法について示している。まず、量子化済みDCT係数６０３に対する補正値(以後、補正係数)の候補７０２を複数用意し、これらの中から符号化効率を最も高められる最適解７０３を決定するための補正係数探索を行う。次に、得られた補正係数７０３を量子化済みDCT係数６０３に足し合わせることによりDCT係数の補正を行い、補正済みDCT係数７０４を取得する。以後、この補正済みDCT係数に対して通常の符号化処理１次元展開、VLC)を行い、符号語を生成する。補正係数としては、量子化済みDCT係数に現れる大きさが２や１の要素１つを１や０に置き換えるようなものを用いれば符号量の低下が十分期待でき、複数の非ゼロの要素を有するものを多数試行することで量子化による欠損を補って歪を小さくするような補正係数が見つかる可能性もある。
　図８は、本発明の実施形態における、補正係数探索処理の概念図である。まず、補正係数の候補８０１の中から一つを選び８０２）、量子化済みDCT係数６０３に足し合わせて、補正係数候補で補正したDCT係数(以後、補正後係数候補)８０４を生成する。続いて、これに対して逆量子化および逆DCTを施し、補正後係数候補を用いた予測差分の復号値８０５を取得する。これと符号化前の予測差分８０６を比較８０７し、それらの差分値として表される誤差８０８を計算する。誤差としては、例えば以下に示すブロック内各画素値の絶対値誤差和SAD（um of Absolute Difference)や二乗誤差和SSD（um of Squared Difference)を用いると効果的である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 ここで、p(i,j)は座標(i,j)における予測差分８０６の値を、q(i,j)は座標(i,j)における予測差分の復号値８０５の値を示している。
　一方、補正後係数候補８０４に対して一次元展開を行い、VLCを施して符号量８１０を計測する。最後に、計測した誤差８０８と符号量８１０をもとにコスト計算を行う。例えば、以下に示すコスト値を利用すると効果的である。
Figure JPOXMLDOC01-appb-M000003
 ただし、DistはSADやSSDなどの誤差値、Rateは符号量、Weight１は重み係数を表す。ここで、Weight１の値を調整することにより、画質と符号量のトレードオフを制御することができる。例えば画質を多少劣化させても符号量を大幅に低下させたければ、コスト値に対する符号量の寄与率が大きくなるようにWeigh１の値を高めに設定すればよい。または、画質歪みと符号量の統計的性質から誤差と符号量のトレードオフについて適正に評価するため、非特許文献１に記載されているRD-Optimization方式を利用してコスト計算してもよい。
　以上の処理を補正係数の候補すべてに対して実施し、その結果コスト値を最小にする候補を最適な補正係数として決定する。なお、補正係数候補の生成や選出の仕方により、いくつかの補正係数探索処理が考えられる。図９～図１１を参照して、３種類の方法に分けて説明する。
　図９は、補正係数候補の決定過程の一例を示す図である。例えば４×４サイズのブロック単位でDCTを施す場合、DCT係数９０１も４×４サイズの行列となる。この場合、補正係数も４×４サイズの行列(以後、補正係数行列)として計算する。簡単のため、補正係数行列の各要素が取り得る値を±１１, ０, １の３種類)に限定すると、９０２に示す 通りの候補が存在する。この中からコスト値を最小とする補正係数行列９０３を決定し、補正を行う９０４）。
　しかし、この例では、通りの候補すべてに対してコスト計算を行う必要があるため、莫大な計算量が必要となる。さらに、現実には補正係数行列の各要素が取り得る値の範囲は上記の例よりもさらに広く、補正係数探索のための計算量は、各要素が取り得る値の数に対して指数関数的に増大する。そのため、図９のようにすべての候補に対してコスト計算を行うことは現実的ではない。そこで、効率的な探索アルゴリズムを利用することにより、探索精度の低下を抑えつつ計算量を大幅に削減する方法について、以下に述べる。
　図１０は、遺伝的アルゴリズムを応用した補正係数行列の決定方法の模式図である。
　遺伝的アルゴリズムは、データ列を遺伝子として見立てた複数の個体に対し、選択、交叉、突然変異などの遺伝子操作を繰り返すことにより、適応度の高い個体が選択淘汰されていく自然界の様子を模した探索アルゴリズムである。ここでは、個体として補正係数行列の候補を、適応度としてコスト値の逆数(コスト値が低いほど適応度が高くなるように設定)を設定している。例えば、第n世代として１００１に示す６種類の個体(Ａ～Ｆ)が選ばれているとする。ここで、次世代の個体集合を決定するために、遺伝子操作を行う。まず、適応度に応じて現世代の個体を次世代に残す選択処理により、例えば適応度の最も高い２つの個体Ａ１００２およびＢ１００３が残る。
　続いて、２種類の異なる個体に対して、一部のデータ列を入れ替える交叉処理では、例えば個体Ｃの第２行および第３行を個体Ｄと入れ替えた１００４と、個体Ａの第２列および第４列を個体Ｃと入れ替えた１００５を生成する。この場合、交叉を行う個体は無作為に選択してもよいが、各個体の選択確率がその適応度に応じて偏った分布になるように抽出するとより効果的である。また、どの行もしくは列のデータを入れ替えるかについても、無作為に決定すると効果的である。続いて、個体のデータ列の一部が突発的に別の値に変化する突然変異処理では、例えば個体Ａの第２, ３成分と４, ４成分の値が変化した１００６を生成する。この場合も、突然変異を起こす個体と、データ列のどの値を変化させるかについては、無作為もしくは適応度に応じて決定すると良い。なお、交叉と突然変異を組み合わせて１００７のような個体を生成するのも効果的である。
　以上のように、第n世代の個体に対して遺伝子操作を行って生成される第n+１世代の個体１００８を各個体の適応度によって整列すると、全体的に第n世代よりも適応度が上昇していることがわかる。この処理を、適応度が十分大きくなるか収束するまで繰り返し、最終的に最も適応度の高い個体が最適解となる。
　図１１は、勾配法を応用した補正係数行列の決定方法の模式図である。ここでは、局所的なコスト分布の傾きに応じて解の推定値を繰り返し更新する。すなわち、現時点での推定値に対して、局所的な周辺探索を行い、コスト関数を最小化する方向に推定値を更新していく。
　例えば、第n回目の試行後によって補正係数行列１１０１が最適解として推定されているとする。第n＋１回目の試行では、任意の成分、例えば第１,　１成分の値を変化させた補正係数行列１１０２～１１０４を用いてコスト値を計算し、その結果補正係数行列１１０４のコストが最も小さかった場合、これを第n+１番目の推定結果とする。この処理を、変化させる成分を変えながらコスト値が十分小さくなるか収束するまで繰り返す。なお、この方法は局所解に陥りやすいため、初期推定値を変化させて何度か上記探索処理を行い、得られた複数解の中からコストを最小化するものを最終的に選択すると効果的である。
　これらの全試行に拠らない方法においても、同時に封数の補正係数候補が挙がることがある。ハードウェアに実装する際は、複数の候補について並列処理できるようにしてもよい。
　図１２は、補正係数の値域について、その一例を示している。補正係数の値は量子化パラメータによって変化するが、例えば１２０１に示すように補正係数行列のすべての要素について±１０（１０, -９, …, ０, …, ９, １０）の範囲で変化させると効果的である。また、DCT係数の低周波成分に対して強い補正を行うと画質に大きく影響するため、あまり大きな値で補正を行うことは望ましくない。そのため、１２０２に示すように、周波数成分によって補正係数の値の範囲に差を設けると効果的である。
　図１は、実施例１に係る動画像符号化装置のブロック図である。本例の動画像符号化装置は、入力された原画像１０１を保持する入力画像メモリ１０２と、入力画像を小領域に分割するブロック分割部１０３と、ブロック単位で過去のフレームからの動き量を探索する動き探索部１０４と、ブロック単位で画面内予測を行う画面内予測部１０５と、動き探索部１０４にて検出された動き量をもとにブロック単位で画面間予測を行う画面間予測部１０６と、画像の性質に合った予測モード（予測手段およびブロックサイズ）を決定するモード選択部１０７と、予測差分を生成するための減算部１０８と、予測差分を量子化済み変換係数へ処理する周波数変換部１０９および量子化処理部１１０と、変換係数に補正を加える変換係数部１１１と、補正済みＤＣＴ係数等を符号の発生確率に応じて適応的符号化する可変長符号化部１１２と、補正済み変換係数から予測差分を復元（復号化）する逆量子化処理部１１３および逆周波数変換部１１４と、復元された予測差分を用いて復号化画像を生成するための加算部１１５と、復号化画像を保持して後の予測に活用するための参照画像メモリ１１６を有する。
　入力画像メモリ１０２は、原画像１０１（映像４１と同義）の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部１０３にて細かなブロックに分割し、動き探索部１０４、画面内予測部１０５、画面間予測部１０６、および減算部１０８に渡す。
　動き探索部１０４では、参照画像メモリ１１６に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部１０６に渡す。
　画面内予測部１０５および画面間予測部１０６は、それぞれ、周辺ブロックの原画像を用いた画面内予測処理および符号化済みの別画像を参照した画面間予測処理を、複数のブロックサイズで実行する。
　モード選択部１０７は、両予測部において複数のブロックサイズで実行された中から、最適な予測モードを選択し、その予測画像を減算部１０８および加算部１１５に送る。
　減算部１０８は、対象ブロックの原画像と、モード選択部１０７で選択された予測画像との差分（予測差分）を生成し、周波数変換部１０９に渡す。
　周波数変換部１０９および量子化処理部１１０は、送られてきた予測差分に対して指定された大きさのブロック単位で、ＤＣＴなどによる周波数変換および量子化マトリクスによる量子化処理をそれぞれ行い、得られた変換係数あるいは量子化済み変換係数を変換係数補正部１１３に渡す。
　変換係数補正部１１１は、量子化済みの変換係数に対し、最適な補正値を決定して補正を行い、可変長符号化部１１２および逆量子化部１１３に渡す。
　可変長符号化処理部１１２では、補正済みの変換係数と動きベクトルなどのヘッダ情報を、記号の発生確率に基づいて符号化を行って符号化ストリームを生成する。
　また、逆量子化処理部１１３および逆周波数変換部１１４では、量子化後の周波数変換係数に対して、それぞれ逆量子化および逆DCTなどの逆周波数変換を施し、予測差分を取得して加算部１１５に送る。
　加算部１１５では、予測画像と復号化済み予測差分を加算して復号化画像を生成し、参照画像メモリ１１６に格納する。
　図２は、実施例１の変換係数補正部１１１について、その詳細の一例を示したものである。変換係数補正部１１１は、補正係数候補を生成する補正係数候補生成部２０１と、補正係数候補と変換係数を足し合わせるための加算器２０２と、変換係数に対して符号化を行う可変長符号化部２０３と、予測差分を復号化するための逆量子化処理部２０４および逆周波数変換部２０５と、符号化前の予測差分と復号化済み予測差分の差分値を計算するための誤差計算部２０６と、コスト計算を行うためのコスト評価部２０７と、コスト最小の補正係数候補を格納するための最適補正係数格納部２０８と、最適な補正係数を用いて変換係数を補正する加算部２０９を有する。
　補正係数候補生成部２０１は、補正係数候補を生成して１つずつ加算部２０２へ送る。加算部２０２では、取得した補正係数候補を量子化処理部１１０から送られてきた量子化済み変換係数と足し合わせて、可変長符号化部２０３および逆量子化処理部２０４へ送る。可変長符号化部２０３では、送られてきた補正後係数候補に対して符号化を行い、符号量を計測してコスト評価部２０７へ送る。
　一方で、逆量子化処理部２０４および逆周波数変換部２０５では、同じ補正後係数候補に対して逆量子化および逆周波数変換を施して予測差分を復号し、誤差計算部２０６へ送る。誤差計算部２０６では、[式１]、［式２］等により予測差分の復号値と符号化前の予測差分に対して誤差計算を行い、コスト評価部２０７へ送る。
　コスト評価部２０７では、送られてきた符号量と誤差情報を用いて［式３］等の計算式にてコスト計算を行い、それがこれまでに計算されたどの補正係数候補のコストよりも小さければ、その補正係数とコスト値を最適補正係数格納部へ送る。補正係数候補生成部２０１が出すすべての候補に対して上記処理を完了した時点で、最適補正係数格納部２０８に格納されている補正係数は加算部２０９へ送られ、量子化処理部１１０から送られてくる量子化済み変換係数と足し合わされ補正済み変換係数として可変長符号化部１１２へと送られる。
　図１３は、実施例１における１フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して（１３０１）、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して予測処理を実行し、予測差分を計算する。ここでは、予測方法として、画面内予測１３０２、および画面間予測１３０３を実施し、すべての符号化モードの中から最適なモードを選択するモード選択処理１３０４を行う。
　続いて、選択された符号化モードの予測差分に対して、周波数変換処理１３０５および量子化処理１３０６を施して量子化済み変換係数を算出する。続いて、変換係数を補正するための補正係数を決定するための補正係数探索処理を行う（１３０７）。すなわち、補正係数の候補を１つ算出し（１３０８）、量子化済み変換係数と足し合わせて補正後係数候補を生成する（１３０９）。さらに、補正後係数候補に対して可変長符号化を施して符号量を計算する一方（１３１０）、同じ補正後係数候補に対して逆量子化および逆周波数変換を施して予測誤差の復号値を取得する（１３１１）。これと予測差分との誤差を計算し（１３１２）、上記符号量と誤差情報を用いてコスト計算を行う（１３１３）。さらに、算出されたコスト値がこれまでで最小なら（１３１４）、補正係数とコスト値を更新する（１３１５）。上記処理をすべての補正係数候補に対して行い、コストが最小となる係数を最適な補正係数とする。
　続いて、上記最適補正係数で変換係数を補正し（１３１６）、可変長符号化処理１３１７を施して符号化ストリームを生成する。一方で、補正済み変換係数に対して逆量子化処理（１３１８と逆周波数変換処理１３１９を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する（１３２０）。以上の処理をすべてのブロックに対して完了すれば、画像１フレーム分の符号化は終了する（１３２１）。
　なお、ループ２（１３０７）の終了条件として、コスト値が所定値以下になること、試行回数が上限に達すること、などを含めてもよく、試行回数の上限は、入力画像１０２メモリに溜まった処理待ち画像の量に応じて設定することができる。またループ２において、また１３１０で得られる可変長符号化の符号量が、試行済みの補正後係数候補の符号量或いは補正係数を用いないときの符号量を超えた時点で、現在の補正係数候補を諦め次の候補を試行するようにしてもよい。
　後述の実施例２以降では、本フローチャートのうちで補正係数を決定する補正係数探索処理のみ異なるため、ループ２（１３０７のみ示しその他の動作は図１３と同様とする。
　実施例２に係る補正係数探索処理は、実施例１に対し、画質の劣化を周波数領域で評価するように変更し、計算量を削減したものである。なお、実施例２以降では、実施例１に対し変換係数補正部１１１の細部が異なる他は、実施例１と同様の構成であり、それらの部分の説明は割愛する。
　図１４に、実施例２による補正係数探索処理について示す。まず、補正係数の候補１４０１の中から一つの候補１４０２を選び、量子化済みDCT係数６０３に足し合わせて補正後係数候補１４０４を生成する。続いて、これに対して逆量子化を施し、補正後係数候補を用いた場合のDCT係数の復号値１４０５を取得する。これと量子化前のDCT係数１４０６を比較し、それらの差分値として表される誤差１４０８を計算する。誤差としては、先に述べた絶対値誤差和SADや二乗誤差和SSDを利用できる。また、DCT係数については、低周波成分の誤差が画質に与える影響が大きいため、低周波成分の誤差に対する重みを大きく設定するとさらに効果的である、SADおよびSSDに対してそれぞれ重みを設定したWSAD(Weighted SAD)、WSSD(Weighted SSD)は以下の通りである。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 ただし、Ｐ(i,j)は量子化前DCT係数１４０６の(i,j)成分を、Ｑ(i,j)は補正したDCT係数の逆量子化値１４０５の(i,j)成分を、関数W(i,j)は、iおよびjが大きいほど値が小さくなる関数である。一方、補正後係数候補１４０４に対して一次元展開を行い、VLCを施して符号量１４１０を計測する。最後に、計測した誤差１４０８と符号量１４１０をもとにコスト計算を行う。ここでは、例えば以下に示すコスト値を利用すると効果的である。
Figure JPOXMLDOC01-appb-M000006
 　ただし、DistはSADやSSD、WSAD、WSSDなどの誤差値、Rateは符号量、Weight２は重み係数を表す。ここでも、Weight２の値を調整することにより、画質と符号量のトレードオフを制御することができる。例えば画質を多少劣化させても符号量を大幅に低下させたければ、コスト値に対する符号量の寄与率が大きくなるようにWeigh２の値を高めに設定すればよい。
　図３は、実施例２における変換係数補正１１１Ａについて、その詳細の一例を示したものである。変換係数補正部１１１Ａは、実施例１の変換係数補正部１１１に替えて設けられるものであり、補正係数候補を生成する補正係数候補生成部３０１と、補正係数候補と変換係数を足し合わせるための加算器３０２と、変換係数に対して符号化を行う可変長符号化部３０３と、変換係数を復号化するための逆量子化処理部３０４と、量子化前の変換係数と復号化済み変換係数の差分値を計算するための誤差計算部３０５と、コスト計算を行うためのコスト評価部３０６と、コスト最小の補正係数候補を格納するための最適補正係数格納部３０７と、最適な補正係数を用いて変換係数を補正する加算部３０８を有する。
　補正係数候補生成部３０１は、補正係数候補を生成して１つずつ加算部３０２へ送る。加算部３０２では、取得した補正係数候補を量子化処理部１１０から送られてきた量子化済み変換係数と足し合わせて、可変長符号化部３０３および逆量子化処理部３０４へ送る。可変長符号化部３０３では、送られてきた補正後係数候補に対して符号化を行い、符号量を計測してコスト評価部３０６へ送る。一方で、逆量子化処理部３０４では、同じ補正後係数候補に対して逆量子化を施して変換係数を復号し、誤差計算部３０５へ送る。誤差計算部３０５では、［式１］［式２］［式４］［式５］等により変換係数の復号値と量子化前変換係数の誤差計算を行い、コスト評価部３０６へ送る。
　コスト評価部３０６では、送られてきた符号量と誤差情報を用いて［式６］等の計算式にてコスト計算を行い、これまでに計算されたどの補正係数候補のコストよりも小さければ、その補正係数とコスト値を最適補正係数格納部３０７へ送る。補正係数候補生成部３０１が出すすべての候補に対して上記処理を完了した時点で、最適補正係数格納部３０７に格納されている補正係数は加算部３０８へと送られ、量子化処理部１１０から送られてくる量子化済み変換係数と足し合わされて補正済み変換係数として可変長符号化部１１２へと送られる。
　図１５は、実施例２における補正係数の決定処理手順について説明している。まず、補正係数の候補を１つ算出し（１５０１）、量子化済み変換係数と足し合わせて補正後係数候補を生成する（１５０２）。さらに、補正後係数候補に対して可変長符号化を施して符号量を計算する一方（１５０３）、同じ補正後係数候補に対して逆量子化を施して変換係数の復号値を取得する（１５０４）。これと量子化前変換係数との誤差を計算し（１５０５）、上記符号量と誤差情報を用いてコスト計算を行う（１５０６）。さらに、算出されたコスト値がこれまでで最小なら（１５０７）、補正係数とコスト値を更新する（１５０８）。上記処理をすべての補正係数候補に対して終了すれば、コストが最小となる係数を最適な補正係数として補正係数の決定処理を終了する。
　実施例２による補正係数探索処理でもなお、補正係数候補のそれぞれについて補正処理、逆量子化、可変長符号化を行う必要があった。本実施例３では、さらに逆量子化を行うことなく探索処理を可能にする方法について示す。
　図１６に、実施例３による補正係数探索処理について示す。まず、補正係数の候補１６０１の中から一つを選び１６０２）、量子化済みDCT係数６０３に足し合わせて補正後係数候補１６０４を生成する。続いて、補正係数候補１６０２の大きさを計算する１６０５。補正係数候補の大きさとしては、補正係数行列の各要素の絶対値和SAE（um of Absolute Element)や、低周波数成分に大きな重みを設定した重みつき絶対値和WSAE(Weighted SAE)を利用すると効果的である。
Figure JPOXMLDOC01-appb-M000008
 ただし、s(i,j)は補正係数候補１６０２の(i,j)成分を、関数W(i,j)は、iおよびjが大きいほど値が小さくなる関数であるとする。一方、補正後係数候補１４０４に対して一次元展開を行い、VLCを施して符号量１６０７を計測する。最後に、計測した補正係数の大きさ１６０５と符号量１６０７をもとにコスト計算を行う。ここでは、例えば以下に示すコスト値を利用すると効果的である。
Figure JPOXMLDOC01-appb-M000009
 ただし、DistはSAEやWSAEなどの補正係数候補の大きさ、Rateは符号量、Weight３は重み係数を表す。ここでも、Weight３の値を調整することにより、画質と符号量のトレードオフを制御することができる。例えば画質を多少劣化させても符号量を大幅に低下させたければ、コスト値に対する符号量の寄与率が大きくなるようにWeigh３の値を高めに設定すればよい。
　図４は、本実施例３における変換係数補正部１１１Bについて、その詳細の一例を示したものである。変換係数補正部１１１Bは、補正係数候補を生成する補正係数候補生成部４０１と、補正係数候補の大きさを計算するための補正係数加算器４０２と、補正係数候補と変換係数を足し合わせるための加算器４０３と、変換係数に対して符号化を行う可変長符号化部４０４と、コスト計算を行うためのコスト評価部４０５と、コスト最小の補正係数候補を格納するための最適補正係数格納部４０６と、最適な補正係数を用いて変換係数を補正する加算部４０７を有する。
　補正係数候補生成部４０１は、補正係数候補を生成して１つずつ加算部４０２へ送る。加算部４０２では、取得した補正係数候補を量子化処理部１１０から送られてきた量子化済み変換係数と足し合わせて、補正係数加算部４０３および可変長符号化部４０４へ送る。補正係数加算部４０３では、［式７］［式８］等により補正係数候補の大きさを計算し、コスト評価部４０７へ送る。
　可変長符号化部４０４では、補正後係数候補に対して符号化を行い、符号量を計測してコスト評価部４０５へ送る。コスト評価部４０５では、送られてきた符号量と補正係数候補の大きさを用いて［式９］等の計算式にてコスト計算を行い、これまでに計算されたどの補正係数候補のコストよりも小さければ、その補正係数とコスト値を最適補正係数格納部４０６へ送る。補正係数候補生成部４０１が出すすべての候補に対して上記処理を完了した時点で、最適補正係数格納部４０６に格納されている補正係数は加算部４０７へと送られ、量子化処理部１１０から送られてくる量子化済み変換係数と足し合わされて補正済み変換係数として可変長符号化部１１２へと送られる。
　図１７は、実施例３における補正係数の決定処理手順について説明している。まず、補正係数の候補を１つ算出し（１７０１）、量子化済み変換係数と足し合わせて補正後係数候補を生成する（１７０２）。さらに、補正後係数候補に対して可変長符号化を施して符号量を計算する一方（１７０３）、補正係数候補の大きさを算出する（１７０４）。続いて上記符号量と補正係数の大きさを用いてコスト計算を行う（１７０５）。算出されたコスト値がこれまでで最小なら（１７０６）、補正係数とコスト値を更新する（１７０７）。上記処理をすべての補正係数候補に対して終了すれば、コストが最小となる係数を最適な補正係数として補正係数の決定処理を終了する。
　上記の実施例１～３実施例で使用される重み関数W(i,j)は、どのようなものでも構わないが、以下にその一例を示す。
Figure JPOXMLDOC01-appb-M000010
　図１８は、実施例４に係る動画像符号化装置のブロック図であり、実施例１の動画像符号化装置に、第１パス符号化部１４１と、選択部１４２を追加し、明示的に２パス符号化を行う構成が示されている。
　第１パス符号化部１４１は、ＤＣＴ係数の補正を行わない従来のH.264符号化ストリームを出力する部分であり、ブロック分割部１０３～量子化処理部１１０及び逆量子化処理部１１３～参照画像メモリ１１６の構成を備えている。以下、ブロック分割部１０３～参照画像メモリ１１６の構成を、便宜的に第２パス符号化部と呼ぶ。本例では、第１及び第２パス符号化部はＣＡＢＡＣが利用できる。
　第１パス符号化部１４１はまた、符号化中に決定した各種符号化パラメータ、動き情報等を、第２パス符号化部のために出力する。
　選択部１４２は、マクロブロック単位或いはそれよりも大きな単位（以下、選択単位と呼ぶ）で、第１パス符号化部１４１と第２パス符号化部（可変長符号化部１１２から入力される符号化ストリームの内、望ましい一方を選択して出力するとともに、選択されたパスの符号化結果を他方のパスの参照画像メモリにコピーするなどして、第１及び第２パスとの間で参照画像を同じに保つ制御を行う。
　選択部１４２は、コスト評価部２０７と同様のコスト評価部２４７を有しており、コスト評価部２４７は、入力画像メモリから読み出した原画像と、各パスの参照画像メモリなどから読み出した符号化結果の部分画像とから、各パスの歪みを計測するとともに、各パスの符号化ストリームの量を計測し、Ｒ－Ｄ最適化等の手法に基づき、どちらのパスのコストが低いかを判断する。歪は、視覚特性を考慮して計測することが望ましく、視覚的に重要でない画像領域であることが分っている場合、第２パス符号化部を一時的に停止させてもよい。
　次に、本例の動作を説明する。
　第２パス符号化部は、第１パス符号化部１４１よりも１ブロックから選択単位程度の時間遅れて動作し、第１パス符号化部１４１の符号化結果（レートと歪、マクロブロックのパーティショニング、ブロックの予測モード選択など）を参照しつつ、より高い効率を目指してチューニングされた符号化を行う。
　ＤＣＴ係数の補正はチューニングの対象の１つであり、各ブロックで常に行う必要なく、第１パスにおいて選択単位中でコストが顕著に大きかった１つのブロックのみで行うようにしてもよい。また１つのブロックにおいて補正係数７０３を試行する回数は１回だけにしてもよく、その場合は確実に符号量或いは歪の低減が期待できる補正係数を用いることが望ましい。
　選択単位は一例として、レート制御におけるBasic Unitの様な、１ないし複数のマクロブロックからなる単位とすることができる。
上記の実施例１～３では、どれも予測および周波数変換をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わない。
　これらの実施例では、図７のように量子化後のDCT係数に対して補正を行うものとして説明したが、図１９に示すように、量子化前のDCT係数に対して補正を行っても良い。この場合、量子化前のDCT係数１８０１に対して補正係数探索１８０２を行い、得られた補正係数１８０３を量子化前DCT係数に足し合わせることによりDCT係数の補正を行う。補正済みDCT係数１８０４に対しては、通常の符号化処理(量子化、１次元展開、VLC)を行い、符号語を生成する。
　また、例えばMPEG-１やMPEG-２のイントラ符号化のように、特に予測を行わずに原画像に対して周波数変換を施しても構わない。可変長符号化も特に行わなくて良い。
　本発明は、H.261、MPEG-１、H.262/MPEG-２、MPEG-4、H.263、H.264/AVCなど周波数変換を用いる方式ならどのような動画像符号化方式にも適用できるだけでなく、JPEG、JPEG-２０００など周波数変換を用いる静止画像符号化方式にも適用可能である。また、画像だけでなく、周波数変換と可変長符号化を組み合わせて用いる音声符号化などにも適用可能である。
　１０１…原画像、１０２…入力画像メモリ、１０３…ブロック分割部、１０４…動き探索部、１０５…画面内予測部、１０６…画面間予測部、１０７…モード選択部、１０８…現残部、１０９…周波数変換部、１１０…量子化処理部、１１１…変換係数補正部、１１２…可変長符号化部、１１３…逆量子化処理部、１１４…逆周波数変換部、１１５…加算部、１１６…参照画像メモリ、２０１…補正係数候補生成部、２０２…加算部、２０３…可変長符号化部、２０４…逆量子化処理部、２０５…逆周波数変換部、２０６…誤差計算部、２０７…コスト評価部、２０８…最適補正係数格納部、２０９…加算部。

Claims (5)

  1. 　予測差分もしくは原画像に対して周波数変換を行う周波数変換部と、該周波数変換部が出力する変換係数に対して量子化を行う量子化部と、該変換係数に対して補正を行う変換係数補正部と、該補正された変換係数に対し符号の発生確率に応じた符号化を施す可変長符号化部とを有し、
    　該変換係数補正部は、該補正に用いる値として複数の候補を生成し、該複数の候補の中から可変長符号化の効率が最も高くなる１つの値を探索し、該１つの値を補正値として量子化前もしくは量子化後の前記変換係数に対して補正を行い、
    　前記可変長符号化部は、該補正された前記変換係数に符号化を施して、符号化ストリームとして出力することを特徴とする画像符号化装置。
  2. 　前記変換係数補正部は、前記複数の候補を、遺伝的アルゴリズム若しくは勾配法によって動的に生成することを特徴とする請求項２記載の画像符号化装置。
  3. 　前記変換係数補正部は、前記補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、該補正された前記変換係数を用いて画像を復号した場合の歪み量とを、パラメータとしてコスト計算を行うことを特徴とする請求項２記載の画像符号化装置。
  4. 　前記変換係数補正部は、最適な補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、補正された前記変換係数を逆量子化した時の歪み量をパラメータとしてコスト計算を行うことを特徴とする請求項２記載の画像符号化装置。
  5. 　前記変換係数補正部は、最適な補正値を探索する際に、補正された前記変換係数を可変長符号化した場合の符号量と、補正値の大きさをパラメータとしてコスト計算を行うことを特徴とする請求項２記載の画像符号化装置。
PCT/JP2011/069162 2011-03-18 2011-08-25 動画像符号化装置及び動画像符号化方法 WO2012127706A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013505766A JP5850536B2 (ja) 2011-03-18 2011-08-25 動画像符号化装置及び動画像符号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011061501 2011-03-18
JP2011-061501 2011-03-18

Publications (1)

Publication Number Publication Date
WO2012127706A1 true WO2012127706A1 (ja) 2012-09-27

Family

ID=46878896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069162 WO2012127706A1 (ja) 2011-03-18 2011-08-25 動画像符号化装置及び動画像符号化方法

Country Status (2)

Country Link
JP (1) JP5850536B2 (ja)
WO (1) WO2012127706A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082616A (ja) * 2012-10-16 2014-05-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2016086262A (ja) * 2014-10-24 2016-05-19 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
JP2010199959A (ja) * 2009-02-25 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法および画像符号化プログラム
WO2011016250A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730895A (ja) * 1993-06-15 1995-01-31 Texas Instr Inc <Ti> 画像処理装置及びその処理方法
JPH10136359A (ja) * 1996-10-24 1998-05-22 Sharp Corp 直交変換符号化装置
EP1816870A4 (en) * 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
JP4784618B2 (ja) * 2008-05-02 2011-10-05 日本ビクター株式会社 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
JP2010199959A (ja) * 2009-02-25 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法および画像符号化プログラム
WO2011016250A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082616A (ja) * 2012-10-16 2014-05-08 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2016086262A (ja) * 2014-10-24 2016-05-19 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム

Also Published As

Publication number Publication date
JP5850536B2 (ja) 2016-02-03
JPWO2012127706A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
RU2543519C2 (ru) Способ и устройство для кодирования и декодирования изображения с использованием крупной единицы преобразования
US8144770B2 (en) Apparatus and method for encoding moving picture
KR101818997B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
TWI542203B (zh) 視訊解碼方法
CN108235023B (zh) 用于编码和解码图像的方法、编码和解码设备
KR101712097B1 (ko) 유연한 직교 변환에 기초한 영상 부호화, 복호화 방법 및 장치
JP2007166617A (ja) 映像のイントラ予測符号化、復号化方法及び装置
JP5717465B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2013502140A (ja) 動きベクトルの正確度の調節を利用した映像符号化、復号化方法及び装置
KR20110045950A (ko) 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR20150099165A (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
EP2252059B1 (en) Image encoding and decoding method and device
JP6360214B2 (ja) 動画像復号化方法
JP5850536B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5832263B2 (ja) 画像符号化装置及び画像符号化方法
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP5713719B2 (ja) 動画像符号化装置
CA2803202C (en) Methods and devices for data compression using adaptive reconstruction levels
WO2022164853A1 (en) Dynamically biasing mode selection in video encoding
Yan et al. Rate prediction for image compression based on lapped biorthogonal transform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11861635

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013505766

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11861635

Country of ref document: EP

Kind code of ref document: A1