WO2013145642A1 - 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム - Google Patents

画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム Download PDF

Info

Publication number
WO2013145642A1
WO2013145642A1 PCT/JP2013/001875 JP2013001875W WO2013145642A1 WO 2013145642 A1 WO2013145642 A1 WO 2013145642A1 JP 2013001875 W JP2013001875 W JP 2013001875W WO 2013145642 A1 WO2013145642 A1 WO 2013145642A1
Authority
WO
WIPO (PCT)
Prior art keywords
quantization
quantization parameter
decoding
coding
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/001875
Other languages
English (en)
French (fr)
Inventor
福島　茂
博哉 中村
西谷　勝義
上田　基晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012073575A external-priority patent/JP5664584B2/ja
Priority claimed from JP2012073574A external-priority patent/JP5928073B2/ja
Priority to RU2014142920A priority Critical patent/RU2607998C9/ru
Priority to BR122020010110-5A priority patent/BR122020010110B1/pt
Priority to BR112014023948-7A priority patent/BR112014023948B1/pt
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2013145642A1 publication Critical patent/WO2013145642A1/ja
Priority to US14/478,572 priority patent/US10063874B2/en
Anticipated expiration legal-status Critical
Priority to US16/035,885 priority patent/US10171829B2/en
Priority to US16/196,044 priority patent/US10356434B2/en
Priority to US16/196,047 priority patent/US10499076B2/en
Priority to US16/196,041 priority patent/US10244251B1/en
Priority to US16/662,368 priority patent/US10616594B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to an image encoding and decoding technique, and more particularly to an image encoding and decoding technique using predictive encoding of a quantization parameter.
  • MPEG-2 Part 2 (hereinafter referred to as MPEG-2) and MPEG-4 Part 10 / H.
  • AVC digital video coding
  • an image is divided into blocks of a predetermined size and coded to indicate the roughness of quantization for a prediction error signal (or simply an image signal). Transmit quantization parameters.
  • By variably controlling the quantization parameter in units of predetermined blocks on the encoding side it is possible to control the code amount and improve the subjective image quality.
  • Adaptive Quantization is often used as control of a quantization parameter that improves subjective image quality.
  • adaptive quantization it is changed according to the activity of each macroblock so that it is quantized more finely in the flat part that is visually noticeable, and coarser in the complicated part of the pattern that is relatively inconspicuous. . That is, in a macroblock with a high activity that tends to have a large allocated bit amount when encoded, the quantization parameter is changed so that a large quantization scale is set.
  • Subjective image quality is improved while controlling the number of bits to be as small as possible in the data.
  • the quantization parameter of the previous block in the encoding / decoding order is used as a prediction value, and the quantization parameter of the encoding target block is differentially encoded. This is based on the fact that since the code amount control is generally performed in the coding order, the quantization parameter of the previous block in the coding order is closest to the quantization parameter of the coding block. It aims to suppress the amount of information of the conversion parameter.
  • the difference between the quantization parameter of the block to be encoded is calculated using the quantization parameter of the immediately preceding block as the prediction quantization parameter, and the calculated difference quantization parameter.
  • the amount of code of the quantization parameter was reduced by encoding.
  • the quantization parameter of the immediately preceding block is the predicted quantization parameter, there is a problem that when the quantization parameter control by adaptive quantization is performed, the differential quantization parameter becomes large and the code amount increases.
  • the present invention has been made in view of such a situation, and an object thereof is to provide a technique for improving the coding efficiency by reducing the code amount of the quantization parameter.
  • an image encoding device encodes an image and performs differential quantization in units of quantization encoding blocks, which are management units of quantization parameters obtained by dividing the image.
  • An image encoding apparatus for encoding a parameter, the quantization parameter deriving unit (110) for deriving a quantization parameter of a quantization coding block to be coded, and the quantization coding block to be coded A prediction quantization parameter deriving unit (114) for deriving a prediction quantization parameter using quantization parameters of a plurality of quantization coding blocks preceding in the coding order, and the quantization coding block to be coded
  • Another aspect of the present invention is an image encoding method.
  • This method is an image encoding method for encoding an image and encoding a differential quantization parameter in units of quantization encoding blocks, which are management units of quantization parameters obtained by dividing the image.
  • a quantization parameter deriving step for deriving a quantization parameter of a quantization coding block of the plurality, and a quantization parameter of a plurality of quantization coding blocks preceding the quantization coding block to be coded in coding order A predictive quantization parameter deriving step for deriving a predictive quantization parameter using a coding method, and a quantization code of the encoding target according to a difference between a quantization parameter of the quantization coding block to be encoded and the prediction quantization parameter
  • a coding step of reduction for deriving a quantization parameter of a quantization coding block of the plurality, and a quantization parameter of a plurality of quantization coding blocks preceding the quantization coding block to be coded in coding order.
  • Still another aspect of the present invention is a transmission device.
  • This apparatus packetizes a bitstream encoded by an image encoding method that encodes a differential quantization parameter together with the image in units of quantization encoding blocks, which are management units of quantization parameters obtained by dividing an image.
  • a packet processing unit for obtaining a coded stream, and a transmitting unit for transmitting the packetized coded stream.
  • the image coding method includes a quantization parameter derivation step for deriving a quantization parameter of a quantization coding block to be coded, and a plurality of preceding coding order blocks for the quantization coding block to be coded.
  • a predictive quantization parameter deriving step for deriving a predictive quantization parameter using a quantization parameter of a quantization coding block of the encoding, a quantization parameter of the quantization coding block to be coded, and the prediction quantization parameter;
  • a differential quantization parameter deriving step for deriving a differential quantization parameter of the quantization coding block to be encoded by a difference; and an encoding step for encoding the differential quantization parameter.
  • Still another aspect of the present invention is a transmission method.
  • a bitstream encoded by an image encoding method that encodes a differential quantization parameter together with the image in units of quantization coding blocks, which are management units of quantization parameters obtained by dividing an image, is packetized and encoded.
  • a packet processing step for obtaining a coded stream, and a sending step for sending the packetized coded stream.
  • the image coding method includes a quantization parameter derivation step for deriving a quantization parameter of a quantization coding block to be coded, and a plurality of preceding coding order blocks for the quantization coding block to be coded.
  • a predictive quantization parameter deriving step for deriving a predictive quantization parameter using a quantization parameter of a quantization coding block of the encoding, a quantization parameter of the quantization coding block to be coded, and the prediction quantization parameter;
  • a differential quantization parameter deriving step for deriving a differential quantization parameter of the quantization coding block to be encoded by a difference; and an encoding step for encoding the differential quantization parameter.
  • An image decoding apparatus decodes an image and decodes a bitstream in which a differential quantization parameter is encoded in units of quantization decoding blocks, which are management units of quantization parameters obtained by dividing the image.
  • An image decoding apparatus comprising: a decoding unit (202) that decodes the bit stream in units of the quantization decoding block and extracts a differential quantization parameter of a quantization decoding block to be decoded; and the quantization decoding to be decoded
  • a quantization parameter of the quantization decoding block to be decoded is obtained by adding the quantization parameter and the prediction quantization parameter.
  • This method is an image decoding method for decoding a bitstream in which a differential quantization parameter is encoded in units of a quantization decoding block, which is a management unit of quantization parameters obtained by dividing the image,
  • a predictive quantization parameter deriving step for deriving a predictive quantization parameter using a quantization parameter of a quantization decoding block of the decoding, and by adding the difference quantization parameter of the quantization decoding block to be decoded and the prediction quantization parameter Quantization parameter for deriving a quantization parameter of the quantization decoding block to be decoded Out and a step.
  • Still another aspect of the present invention is a receiving device.
  • This apparatus is a receiving apparatus that receives and decodes a bitstream, and a bitstream in which a differential quantization parameter is encoded together with the image in units of quantization decoding blocks, which are quantization parameter management units obtained by dividing an image
  • a receiving unit that receives the packetized encoded stream, a restoration unit that performs packet processing on the received packetized encoded stream and restores the original bitstream, and the restored bitstream
  • a decoding unit that performs decoding in units of the quantization decoding block and extracts a differential quantization parameter of the quantization decoding block to be decoded; and a plurality of quantization decodings that precede the decoding target quantization decoding block in decoding order
  • a predictive quantization parameter deriving unit for deriving a predictive quantization parameter using a quantization parameter of the block
  • a quantization parameter deriving unit for deriving the quantization parameter of the quantization decoding blocks of the decoding target and No. differential
  • Still another aspect of the present invention is a receiving method.
  • This method is a receiving method for receiving and decoding a bit stream, and a bit stream in which a differential quantization parameter is encoded together with the image in units of quantization decoding blocks, which are management units of quantization parameters obtained by dividing an image.
  • Receiving a packetized encoded stream, a packet processing of the received packetized encoded stream to restore the original bitstream, and the restored bitstream A decoding step of decoding in units of the quantized decoding block and extracting a differential quantization parameter of the quantized decoding block to be decoded; and a plurality of quantizing decoding preceding the quantized decoding block to be decoded in decoding order Predictive quantization parameters for deriving predictive quantization parameters using block quantization parameters And a quantization parameter derivation step for deriving the quantization parameter of the quantization decoding block to be decoded by adding the difference quantization parameter of the quantization decoding block to be decoded and the prediction quantization parameter.
  • Fig. 11 is a diagram for explaining the positions of upper and lower adjacent coding blocks in MPEG-2 TM5 screen code amount control. It is a figure showing an example of the encoding table of a difference quantization parameter. It is a figure which shows the relationship between an encoding object tree block and an encoded tree block.
  • the embodiment of the present invention divides a picture into rectangular blocks of a predetermined size, further divides the block into one or a plurality of quantization coding blocks that are units for managing quantization parameters, and performs quantization coding.
  • image coding in which differential quantization parameters are transmitted in units of blocks, in order to reduce the amount of coding of the quantization parameters of the block to be processed, the optimal prediction quantization parameter is determined from the coding information of a plurality of coded blocks.
  • the code amount control technique for calculating and calculating the difference from the prediction quantization parameter is provided.
  • FIG. 1 is a block diagram showing the configuration of a moving picture coding apparatus 100 that implements the present invention, in which an image memory 101, a residual signal generation unit 102, an orthogonal transform / quantization unit 103, and a second encoded bit string generation unit.
  • a first encoded bit string generation unit 112 an encoded information storage memory 113, a predicted quantization parameter derivation unit 114, and an encoded bit string multiplexing unit 115 are configured.
  • the thick solid arrows connecting the blocks represent picture image signals, and the thin solid arrows represent the flow of parameter signals for controlling encoding.
  • the image memory 101 temporarily stores image signals to be encoded supplied in order of shooting / display time.
  • the image memory 101 supplies the stored image signal to be encoded to the residual signal generation unit 102, the predicted image generation unit 108, and the activity calculation unit 109 in units of predetermined pixel blocks.
  • the images stored in the order of shooting / display time are rearranged in the encoding order and output from the image memory 101 in units of pixel blocks.
  • the residual signal generation unit 102 subtracts the image signal to be encoded from the prediction signal generated by the prediction image generation unit 108 to generate a residual signal, and supplies the residual signal to the orthogonal transform / quantization unit 103.
  • the orthogonal transform / quantization unit 103 performs orthogonal transform and quantization on the residual signal using the quantization parameter calculated by the quantization parameter calculation unit 110, and converts the residual signal that has been orthogonally transformed / quantized into the residual signal. It is generated and supplied to the second encoded bit string generation unit 104 and the inverse quantization / inverse orthogonal transform unit 105.
  • the second encoded bit sequence generation unit 104 generates a second encoded bit sequence by entropy encoding the orthogonally transformed and quantized residual signal according to a prescribed syntax rule, and the encoded bit sequence multiplexing unit 115 Supply.
  • the inverse quantization / inverse orthogonal transform unit 105 reverses the orthogonal transform / quantized residual signal supplied from the orthogonal transform / quantization unit 103 using the quantization parameter calculated by the quantization parameter calculation unit 110.
  • a residual signal is calculated by performing quantization and inverse orthogonal transform, and supplied to the decoded image signal superimposing unit 106.
  • the decoded image signal superimposing unit 106 superimposes the predicted image signal generated by the predicted image generating unit 108 and the residual signal subjected to inverse quantization and inverse orthogonal transform by the inverse quantization / inverse orthogonal transform unit 105 to generate a decoded image. It is generated and stored in the decoded image memory 107.
  • the decoded image may be subjected to a filtering process for reducing distortion such as block distortion due to encoding, and may be stored in the decoded image memory 107. In that case, a post filter such as a deblocking filter may be used as necessary.
  • Predicted encoded information such as a flag for identifying the information is stored in the encoded information storage memory 113.
  • the predicted image generation unit 108 uses an image signal supplied from the image memory 101 and a decoded image signal supplied from the decoded image memory 107, based on a prediction mode, intra-picture prediction (intra prediction) or inter-picture prediction (inter prediction). To generate a predicted image signal.
  • Intra prediction is a coding target block obtained by dividing an image signal supplied from the image memory 101 in units of a predetermined block and a coding target block supplied from the decoded image memory 107 in the same picture.
  • a prediction image signal is generated using pixel signals of surrounding encoded blocks adjacent to the conversion target block.
  • the inter prediction is stored in the decoded image memory 107 that precedes or follows the time series of the picture (encoded picture) of the block to be encoded obtained by dividing the image signal supplied from the image memory 101 in a predetermined block unit.
  • the coded picture is used as a reference picture, block matching is performed between the coded picture and the reference picture, a motion vector indicating the amount of motion is obtained, motion compensation is performed from the reference picture based on this amount of motion, and prediction is performed.
  • An image signal is generated.
  • the predicted image signal generated in this way is supplied to the residual signal generation unit 102. Coding information such as a motion vector obtained by the predicted image generation unit 108 is stored in the coding information storage memory 113 as necessary.
  • the prediction image generation unit 108 evaluates the distortion amount between the generated prediction image signal and the original image signal, and thereby selects an optimum prediction mode.
  • the prediction image signal generated by the prediction in the determined prediction mode is selected and supplied to the residual signal generation unit 102.
  • the prediction mode is intra prediction
  • the intra prediction mode is selected as the encoded information storage memory. 113 and the first encoded bit string generator.
  • the activity calculation unit 109 calculates an activity, which is a coefficient indicating the complexity and smoothness of the image of the encoding target block supplied from the image memory 101, and supplies it to the quantization parameter calculation unit 110.
  • the detailed configuration and operation of the activity calculation unit 109 will be described later.
  • the quantization parameter calculation unit 110 calculates the quantization parameter of the block to be encoded based on the activity calculated by the activity calculation unit 109, and supplies the quantization parameter to the differential quantization parameter generation unit 111 and the encoded information storage memory 113. .
  • the detailed configuration and operation of the quantization parameter calculation unit 110 will be described later.
  • the difference quantization parameter generation unit 111 performs subtraction on the quantization parameter calculated by the quantization parameter calculation unit 110 and the prediction quantization parameter derived by the prediction quantization parameter derivation unit 114, thereby obtaining a difference quantum.
  • the calculation parameter is calculated and supplied to the first encoded bit string generation unit 112.
  • the first encoded bit sequence generation unit 112 generates a first encoded bit sequence by encoding the differential quantization parameter calculated by the differential quantization parameter generation unit 111 according to a specified syntax rule, and generates an encoded bit sequence multiplexed To the conversion unit 115.
  • the encoding information storage memory 113 stores the quantization parameter of the block that has been encoded. Although the connection is not shown in FIG. 1, the encoding information such as the prediction mode and the motion vector generated by the prediction image generation unit 108 is also used as information necessary for encoding the next encoding target block. Store. Furthermore, encoded information generated in units of pictures and slices is also stored as necessary.
  • the prediction quantization parameter deriving unit 114 derives the prediction quantization parameter of the quantization coding target block using the quantization parameter and coding information of the already coded quantization coding block, and calculates the difference quantization parameter. This is supplied to the generation unit 111. The detailed configuration and operation of the predicted quantization parameter deriving unit 114 will be described later.
  • the encoded bit string multiplexing unit 115 multiplexes the first encoded bit string and the second encoded bit string in accordance with a specified syntax rule, and outputs a bit stream.
  • FIG. 2 is a block diagram showing a configuration of a moving picture decoding apparatus 200 according to an embodiment corresponding to the moving picture encoding apparatus 100 of FIG.
  • the moving picture decoding apparatus 200 includes a bit string separation unit 201, a first encoded bit string decoding unit 202, a quantization parameter generation unit 203, an encoded information storage memory 204, a predicted quantization parameter derivation unit 205, and a second code.
  • the thick solid line arrows connecting the blocks represent picture image signals
  • the thin solid line arrows represent the flow of parameter signals for controlling encoding.
  • the decoding process of the moving picture decoding apparatus 200 in FIG. 2 corresponds to the decoding process provided in the moving picture encoding apparatus 100 in FIG. 1, and therefore the inverse quantization / inverse orthogonal transform unit in FIG. 2.
  • 207, the decoded image signal superimposing unit 208, the predicted image generating unit 209, the decoded image memory 210, and the encoded information storage memory 204 are configured by the inverse quantization / inverse orthogonal transform unit 105 of the moving image encoding apparatus 100 in FIG.
  • the predicted image generation unit 209 does not include the motion vector detection function and the prediction mode selection function of the predicted image generation unit 108 of the moving image encoding device in FIG.
  • the bit stream supplied to the bit string separation unit 201 is separated according to a rule of a prescribed syntax, and the separated encoded bit string is supplied to the first encoded bit string decoding unit 202 and the second encoded bit string decoding unit 206.
  • the first encoded bit string decoding unit 202 decodes the supplied encoded bit string, outputs encoding information related to the prediction mode, motion vector, differential quantization parameter, and the like, and converts the differential quantization parameter to the quantization parameter generation unit 203. And the encoded information is stored in the encoded information storage memory 204.
  • the quantization parameter generation unit 203 adds the difference quantization parameter supplied from the first encoded bit string decoding unit 202 and the quantization parameter derived by the prediction quantization parameter deriving unit 205 to calculate the quantization parameter. And supplied to the inverse quantization / inverse orthogonal transform unit 207 and the encoded information storage memory 204.
  • the encoding information storage memory 204 stores the quantization parameter of the quantization encoding block that has been decoded. Furthermore, not only the block unit encoded information decoded by the first encoded bit string decoding unit 202 but also the encoded information generated in units of pictures and slices are stored as necessary. Although not shown in FIG. 2, the encoded information such as the decoded prediction mode and motion vector is supplied to the prediction image generation unit 209.
  • the prediction quantization parameter deriving unit 205 derives a prediction quantization parameter using the quantization parameter of the already-decoded quantization coding block and supplies the prediction quantization parameter to the quantization parameter generation unit 203.
  • the predicted quantization parameter derivation unit 205 has a function equivalent to that of the predicted quantization parameter derivation unit 114 of the video encoding device 100, and a detailed configuration and operation will be described later.
  • the second encoded bit string decoding unit 206 decodes the supplied encoded bit string to calculate an orthogonally transformed / quantized residual signal, and dequantizes / inverts the orthogonally transformed / quantized residual signal. This is given to the orthogonal transform unit 207.
  • the inverse quantization / inverse orthogonal transform unit 207 generates a quantization signal generated by the quantization parameter generation unit 203 for the orthogonal transform / quantized residual signal decoded by the second encoded bit string decoding unit 206. Using the parameters, inverse orthogonal transform and inverse quantization are performed to obtain a residual signal subjected to inverse orthogonal transform and inverse quantization.
  • the decoded image signal superimposing unit 208 superimposes the predicted image signal generated by the predicted image generating unit 209 and the residual signal subjected to inverse orthogonal transform / inverse quantization by the inverse quantization / inverse orthogonal transform unit 207.
  • the decoded image signal is generated, output, and stored in the decoded image memory 210.
  • the decoded image may be stored in the decoded image memory 210 after filtering processing for reducing block distortion or the like due to encoding is performed on the decoded image.
  • the predicted image generation unit 209 uses the decoded image memory 210 based on the encoded information such as the prediction mode and motion vector decoded by the second encoded bit string decoding unit 206 and the encoded information from the encoded information storage memory 204.
  • a predicted image signal is generated from the decoded image signal supplied from, and supplied to the decoded image signal superimposing unit 208.
  • the units 120 use a pixel block of a predetermined pixel size unit supplied from the image memory 101 as a quantization coding block, and determine a quantization parameter for quantizing the quantization coding block.
  • the quantization parameter is determined on the encoding side mainly by a code amount control and adaptive quantization algorithm, and is transmitted to the decoding side after performing a quantization parameter prediction process.
  • an adaptive quantization method in the activity calculation unit 109 will be described.
  • the activity calculation unit 109 since human visual characteristics are generally sensitive to low-frequency components with few edges, a more complex portion of a pattern that is quantized more finely on a flat part that is visually conspicuous and is relatively inconspicuous. Then, an activity expressing the complexity and smoothness of the image is calculated for each predetermined quantized coding block unit so as to perform coarser quantization. However, since activity calculation is a function only on the encoding device side and is not included on the decoding device side, the activity calculation unit is not necessarily a quantization coding block unit, and encoding is performed in consideration of complexity. You can decide freely on the side.
  • the activity there is a calculation based on a variance value of pixels in a coding block described in MPEG-2 Test Model 5 (TM5).
  • the variance value is a value indicating the degree of dispersion from the average of the pixels constituting the image in the block. The flatter the image in the block (the smaller the luminance change), the smaller the value, and the more complex the image (the luminance change is). The larger the value, the larger the value, so use it as a block activity.
  • the pixel value in the block is represented by p (x, y)
  • the activity act of the block is calculated by the following equation.
  • BLK is the total number of pixels of the quantization coding block
  • p_mean is the average value of the pixels in the block.
  • the present invention is not limited to the above-described variance, and the absolute value of the difference between adjacent pixels in the horizontal direction and the vertical direction may be taken with respect to the pixels in the quantization coding block, and the sum may be taken in the block. Even in this case, it is small when the image is flat, and a large value is obtained in a complicated picture portion having many edges, and can be used as an activity. It is calculated by the following formula.
  • the activity act calculated in this way is supplied to the quantization parameter calculation unit 110.
  • the moving image coding apparatus 100 does not particularly include a unit that realizes the code amount control.
  • the quantization parameter of the coding block is determined based on the generated code amount. It is assumed that the function is included in the parameter calculation unit 110.
  • the code amount control is intended to match the generated code amount of a predetermined unit such as a picture or a slice to the vicinity of the target code amount, and when it is determined that the generated code amount of the encoded block is larger than the target code amount.
  • a relatively fine quantization is applied to the block.
  • the target code amount (T) is determined for each picture.
  • T is determined so that I picture> P picture> reference B picture> non-reference B picture.
  • the target code amount is Ti, Tp, Tbr, Tb
  • Ti 400 kbit
  • Tp 300 kbit
  • Tbr 200 kbit
  • Tb 100 kbit.
  • the allocated code amount for each picture type does not affect the essence of the present invention.
  • code amount control in a picture will be described. If the number of blocks, which are units for determining the quantization parameter, is N, the generated code amount is B, and the difference bit from the target code amount is D, It becomes.
  • j is an encoding processing order count number of the quantized encoding block.
  • D (0) is an initial value of the target code amount difference.
  • the quantization parameter bQP by code amount control is determined as follows.
  • r is a proportional coefficient for converting the target code amount difference into a quantization parameter.
  • the proportional coefficient r is determined according to the available quantization parameter.
  • the quantization parameter calculation unit 110 changes the quantization parameter of the coding block calculated by the code amount control using the activity act calculated by the activity calculation unit 109 for each quantization coding block.
  • the coding process order count number of the quantization parameter by the code amount control is deleted and represented by bQP.
  • the quantization parameter calculation unit 110 records the average activity in the picture encoded immediately before as avg_act, and calculates the normalized activity Nact of the encoded block by the following equation.
  • the coefficient “2” in the above equation is a value representing the dynamic range of the quantization parameter, and a normalized activity Nact having a range of 0.5 to 2.0 is calculated.
  • the coefficient of the quantization parameter is not limited to 2, and may be other values depending on the characteristics of the image.
  • avg_act may be calculated in advance for all blocks in the picture before the encoding process, and the average value may be avg_act. Furthermore, avc_act may be stored in the encoded information storage memory 113, and the quantization parameter calculation unit 110 may acquire avg_act from the encoded information storage memory 113 as necessary.
  • the quantization parameter of the coding block calculated in this way is supplied to the coding information storage memory 113 and the differential quantization parameter generation unit 111.
  • the encoded information storage memory 113 not only stores the quantization parameter calculated by the quantization parameter calculation unit 110 and the quantization parameter of the past quantization encoded block that has already been encoded, Coding information such as block motion vectors and prediction modes is also stored, and each unit obtains coding information as necessary.
  • the predicted quantization parameter derivation unit 114 uses the already encoded quantization parameter from the encoded information storage memory 113 to calculate the predicted quantization parameter for efficiently encoding and transmitting the quantization parameter of the encoded block. To derive.
  • the predicted quantization parameter predicted from the quantization parameter of the already-encoded quantization coding block is used. It is more efficient to take the difference (difference quantization parameter) and encode and transmit the difference quantization parameter. From the viewpoint of code amount control, if the quantization parameter of the previous encoded block in the encoding processing order is the predicted quantization parameter, the value of the differential quantization parameter to be transmitted becomes small and the code amount becomes small.
  • the quantization coding block and the quantization coding block adjacent to the quantization coding block often have a similar pattern, so that the quantization coding block adjacent to the quantization coding block
  • the activity has a value close to the activity of the coding block.
  • the quantization parameter of the adjacent quantization coding block is the prediction quantization parameter, the value of the differential quantization parameter to be transmitted is small, and the code amount is small. Therefore, in AVC, as shown in FIG. 4, the unit for transmitting the quantization parameter is fixed in a macro block (16 ⁇ 16 pixel group), and the left adjacent to the coded block immediately before the coded block in the raster scan order.
  • a method is adopted in which the quantization parameter of the block adjacent to the block is used as the prediction quantization parameter, the difference between the quantization parameter of the coding block and the prediction quantization parameter is taken, and the difference quantization parameter is encoded and transmitted. That is, AVC is optimized for prediction of quantization parameters assuming code amount control. However, since AVC does not perform hierarchical tree coding, which will be described later, since the immediately preceding block is the left block except for the left end of the image, the quantization parameter of the adjacent block is used as the prediction quantization parameter. It can be said that it is almost optimized for prediction assuming quantization. Therefore, as in AVC, when the unit for transmitting the quantization parameter is fixed and the hierarchical tree coding is not performed, the prediction of the quantization parameter is optimal for the immediately preceding coded block. I can say that.
  • the quantization parameter of the immediately preceding block is used as a predictive quantization parameter as in AVC, the quantization parameter is optimized, but adaptive quantization is used to quantize the quantization parameter. Is not an optimal prediction value, and there is a problem that the code amount of the differential quantization parameter increases.
  • a depth representing a coding unit is determined for each tree block (here, 64 ⁇ 64 blocks), and quantization coding is performed for each coding block using the determined depth.
  • the optimum depth depending on the definition of the image can be determined and quantization coding can be performed, and the coding efficiency is greatly improved.
  • Fig. 5 shows the coding processing order of the hierarchical tree coding structure.
  • the inside of the screen is equally divided in units of square rectangles having a predetermined same size.
  • This unit is called a tree block, and is a basic unit of address management for specifying an encoding / decoding block in an image.
  • the tree block can be divided into four hierarchical blocks as necessary to make the block smaller in size in order to optimize the encoding process according to the texture in the image.
  • Such a hierarchical block structure divided into small blocks is called a tree block structure, and this divided block is called a coding block (CU: Coding Unit) for encoding and decoding.
  • CU Coding Unit
  • the CU and the quantized coding block are set as the same unit, that is, the quantization parameter is set in CU unit.
  • the tree block is also the maximum size coding block.
  • the unit of the quantization coding block is not the same as that of the CU, and an independent predetermined unit can be set.
  • the quantization coding block can be fixed to a 16 ⁇ 16 block unit without depending on the size of the CU. An example in which the unit of the quantized coding block is not the same as that of the CU will be described later.
  • the coding order is different from the raster scan order (left to right) such as AVC in FIG. 4, and therefore the quantization parameter is the same for the immediately preceding coded block and the left adjacent block.
  • the quantization parameter of the lower right encoded block (rectangle in gray in FIG. 6) encoded last is used for prediction.
  • the lower left quantization coding block the shaded rectangle in FIG.
  • the prediction quantization parameter of the quantization coding block at the upper left in the tree block is the previous one as shown in FIG.
  • a quantization parameter calculated at a past time point farther than the quantization coding block may be used.
  • the processing order i of the quantization coding blocks spatially adjacent to the processing order j of the quantization coding block is the code amount even if spatially adjacent as the quantization coding block. From the viewpoint of control, as shown in FIG. 9, since i ⁇ j in the encoding processing order, it cannot be said that the quantization parameters of adjacent quantization coding blocks are highly correlated.
  • the spatially adjacent quantization coding blocks are tree blocks. If it is outside the tree block, it is determined that the coding processing block is far from the coding processing order, and only the quantization parameter in the tree block is used for prediction. Derivation of quantization parameters that are inappropriate in terms of quantity control can be avoided. However, it is necessary to determine whether the quantization coding block spatially adjacent is outside the tree block in the unit for predicting the quantization parameter, or even within the tree block. In some cases, the processing is not necessarily optimal from the viewpoint of code amount control, for example, there is a quantized coding block whose processing order is not close.
  • the predictive quantization parameter deriving unit 114 derives the predictive quantization parameter using the quantization parameters of the immediately preceding plurality of quantized coding blocks, so that it is possible to control the amount of code. Enables prediction of quantization parameters from spatially adjacent quantized coding blocks with high prediction efficiency from the viewpoint of adaptive quantization, while using quantization parameters close in encoding order with high prediction efficiency Is realized. In addition, prediction of the quantization parameter with a small amount of memory is realized by minimizing the storage of the quantization parameter for obtaining the quantization parameter that is spatially close. Details of the predicted quantization parameter deriving unit 114 will be described later.
  • the differential quantization parameter generation unit 111 performs the prediction quantization parameter derived by the prediction quantization parameter deriving unit 114 on the quantization parameter of the quantization coding block calculated by the quantization parameter calculation unit 110, and Subtraction is performed to calculate a difference quantization parameter.
  • Predictive quantization parameters are derived from decoded quantized blocks in the same way as at the time of encoding at the time of decoding, so there is no contradiction between encoding and decoding by making the differential encoding parameter to be encoded. Thus, it is possible to reduce the code amount of the quantization parameter.
  • the calculated difference quantization parameter is supplied to the first encoded bit string generation unit 112.
  • the first encoded bit string generation unit 112 generates a first encoded bit string by entropy encoding the differential quantization parameter calculated by the differential quantization parameter generation unit 111 according to a prescribed syntax rule.
  • FIG. 10 shows an example of a coding conversion table used for entropy coding of the differential quantization parameter.
  • the first bit indicates that the differential quantization parameter that is most likely to appear is 0, then the second bit is a positive / negative flag, and the third bit is whether the absolute value of the differential quantization parameter is 1 or not. In the fourth bit, whether or not the absolute value of the differential quantization parameter is 2 continues.
  • FIG. 10 is an encoding table in which the bit length is increased in proportion to the absolute value of the differential quantization parameter. Therefore, the generated code amount becomes very small when a small differential quantization parameter is transmitted, and a large differential quantization parameter is obtained. During transmission, the amount of generated codes tends to be relatively large.
  • the first encoded bit string generation unit 112 extracts a code bit string corresponding to the differential quantization parameter from the table of FIG. 10 and supplies the code bit string to the encoded bit string multiplexing unit 115.
  • the differential quantization parameter first decoded by the first encoded bit string decoding unit 202 is supplied to the quantization parameter generation unit 203. Also, encoded information other than the differential quantization parameter is stored in the encoded information storage memory 204 as necessary.
  • the quantization parameter generation unit 203 adds the differential quantization parameter supplied from the first encoded bit string decoding unit 202 and the quantization parameter derived by the prediction quantization parameter deriving unit 205 to obtain the quantization of the decoded block.
  • the quantization parameter is calculated and supplied to the inverse quantization / inverse orthogonal transform unit 207 and the encoded information storage memory 204.
  • the coding information storage memory 204 stores the quantization parameter of the quantization coding block that has been decoded. Furthermore, not only the block unit encoded information decoded by the first encoded bit string decoding unit 202 but also the encoded information generated in units of pictures and slices are stored as necessary.
  • the predicted quantization parameter deriving unit 205 derives a predicted quantization parameter using the quantization parameter of the already decoded block, and supplies it to the quantization parameter generating unit 203.
  • the quantization parameter calculated by the quantization parameter generation unit 203 is stored in the encoding information storage memory 204, and is used when deriving the predicted quantization parameter of the quantization coding block to be decoded later.
  • the decoded quantization parameter obtained in this way is the same as the quantization parameter acquired from the encoded information storage memory 113 by the predictive quantization parameter deriving unit 114 of the video encoding device 100.
  • the predictive quantization parameter deriving unit 205 has the same function as the predictive quantization parameter deriving unit 114 of the video encoding device 100, the quantization parameter supplied from the encoded information storage memory 204 is the same. For example, the same prediction quantization parameter as that at the time of encoding is derived.
  • the predicted quantization parameter derived on the encoding side is derived on the decoding side without any contradiction.
  • encoding is performed in the order of raster scan from the upper left to the lower right of the screen in units of tree blocks. If the encoding target tree block is represented by a hatched rectangle in FIG. 11, the encoded tree block is represented by a gray portion in FIG. Since hierarchical tree coding is performed in the tree block according to the coding conditions, the coding block is divided into a size equal to or smaller than the tree block. Although it is adjacent to the encoded block inside the tree block, it is far away in the encoding processing order.
  • the quantization parameter calculated by the code amount control is calculated in the order of encoding processing, the quantization parameter of the encoding block is close to the quantization parameter of the encoded block in the upper tree block. I can't say. Therefore, the prediction quantization parameter is encoded using the quantization parameters of the immediately preceding plurality of quantization coding blocks.
  • 12 to 15 are diagrams showing prediction sources of the quantized coding blocks in the upper left, upper right, lower left, and lower right inside the tree block divided by the hierarchical tree coding, respectively.
  • prevQP1 and the quantization parameter prevQP2 of the quantization coding block two before in the coding order are derived.
  • the coding order is one from the quantization coding in the previous tree block, and from the left quantization coding block in the same tree block.
  • the quantization parameter prevQP1 of the previous quantization coding block and the quantization parameter prevQP2 of the second quantization coding block in the coding order are derived.
  • the previous quantization code in the coding order from the upper quantization coding block and the upper right quantization coding block in the same tree block respectively.
  • the quantization parameter prevQP1 of the quantization block and the quantization parameter prevQP2 of the quantization coding block two before in the coding order are derived.
  • the quantization parameter prevQP1 of the coding block and the quantization parameter prevQP2 of the quantization coding block two before in the coding order are derived.
  • the predicted quantization parameter is determined by the average value of prevQP1 and prevQP2.
  • the quantized coding blocks that are spatially separated serve as the prediction source of the quantization parameter, but since the average value of the prediction quantization parameter is taken, prevQP1 is unexpectedly reliable. Even when the quantization parameter becomes low, the error is averaged, and the prediction efficiency of the quantization parameter is improved. Even if spatially separated quantized coding blocks are used, the average value of a plurality of predictive quantization parameters is used when the difference quantization parameter coding table of FIG. 10 is used. Since it is important to derive a predictive quantization parameter that generates as few parameters as possible, the effect of error averaging becomes particularly significant.
  • the quantization parameter close in the coding order with high prediction efficiency in terms of code amount control can be obtained. While enabling the prediction of quantization parameters from spatially adjacent quantization coding blocks with high prediction efficiency in terms of adaptive quantization, the code amount of differential quantization parameters is suppressed, Efficiency.
  • FIG. 16 is a flowchart for deriving the prediction quantization parameter.
  • the quantization parameter prevQP of the immediately preceding quantization coding block in the coding / decoding order is acquired (S1000).
  • prevQP1 in which the quantization parameter value of the previous quantization coding block is stored is substituted into prevQP2 in which the quantization parameter value of the previous quantization coding block is stored (S1001).
  • the quantization parameter prevQP of the previous quantization coding block acquired in S100 is substituted into prevQP1 that stores the value of the quantization parameter of the previous quantization coding block (S1002).
  • the average value of prevQP1 and prevQP2 is calculated and used as the predicted quantization parameter (S1003).
  • prevQP1 and prevQP2 are initialized with the slice QP described in the slice header or the like.
  • FIG. 17 is a diagram showing an example of the prediction quantization parameter calculation process.
  • the value of prevQP1 is copied to the buffer of prevQP2, and the quantization parameter of the previous quantization coding block is loaded into the buffer storing prevQP1. To do.
  • the average value calculation is always applied to the prevQP1 buffer and the prevQP2 buffer. Thereby, the prediction of the quantization parameter with a small amount of memory can be realized by suppressing the storage of the quantization parameter to the minimum.
  • the coding order and decoding order Since the quantization parameter can be predicted from the quantization coding blocks spatially close by using the immediately preceding quantization parameter group, the processing amount is small and suitable for both code amount control and adaptive quantization. Quantization parameters can be predicted.
  • the average value may be used as the quantization parameter by using the quantization parameter prevQP3 of the quantization coding block three before in the coding order and the quantization parameter prevQP4 of the quantization coding block four before.
  • the quantization parameter of the prediction source is increased, it is possible to predict a quantization parameter suitable for adaptive quantization.
  • the weighted average value is not the average value of the quantization parameter of the quantization coding block coded one time ago and the quantization parameter of the quantization coding block coded two times before.
  • the weighted average value is not the average value of the quantization parameter of the quantization coding block coded one time ago and the quantization parameter of the quantization coding block coded two times before.
  • PrevQP1 and prevQP2 have higher reliability in terms of code amount control, and prevQP1 has higher reliability in terms of adaptive quantization. Therefore, prevQP1 has a higher weighting coefficient.
  • the weighting factor is 3: 1, but other ratios may be used. Thereby, the reliability of a prediction quantization parameter further improves, the code amount of a difference quantization parameter is suppressed, and encoding efficiency improves.
  • the optimal predictive quantization parameter is determined by using the quantization parameter of the encoded block as the quantization parameter encoded for each block to be encoded.
  • the quantization parameter is predicted using the quantization coding block and the coding block as the same unit, but the quantization parameter is encoded and transmitted.
  • the quantization parameter may be predicted as a unit different from the block.
  • the unit of the quantization coding block may be fixed, and the quantization coding block size n may be encoded and transmitted in the bitstream.
  • the size is represented by a value obtained by multiplying the length of the side of the block of the tree block by 1/2 n times (n is an integer of 0 or more). That is, a value obtained by shifting the length of the side of the block of the tree block to the right by n bits becomes the length of the side of the quantization coding block. Since this value determines the block size in the same manner as the tree block structure, it has a high affinity with the tree block. Further, since the tree block is divided into equal sizes, management and readout of the quantization parameters stored in the encoded information storage memories 113 and 204 can be simplified.
  • FIG. 18 shows an example in which the inside of a tree block is divided into a tree block structure.
  • the block size of the tree block is 64 ⁇ 64
  • the inside of the tree block is hierarchically divided into four, 32 ⁇ 32 blocks (dotted rectangle in FIG. 18) in the first division, and 16 ⁇ 16 blocks in the second division ( A hatched rectangle in FIG. 18) is divided into encoded blocks of 8 ⁇ 8 blocks (white rectangles in FIG. 18) in the third division.
  • the quantization coding block is a 16 ⁇ 16 rectangular block
  • the quantization coding block is represented by a thick dotted line in FIG. 18, and the quantization parameter is predicted for each quantization coding block.
  • the inside of the coding block represented by the dotted rectangle in FIG. 18 is four quantization coding blocks. It is divided into. In this case, although it is divided into four by the quantization coding block, since the quantization parameter required for this coding block is one, when the size of the coding block is larger than the size of the quantization coding block, Then, the differential quantization parameter after the prediction of the quantization parameter of the coding block is coded and transmitted, and the coded information storage memories 113 and 204 corresponding to each of the quantization coding blocks divided into four are stored in the memory areas. Store the same quantization parameter. Although the quantization parameter overlaps in the memory, it becomes easy to access the quantization parameter of the surrounding encoded block in the prediction of the quantization parameter.
  • the encoding block to be encoded is the same as the block size of the quantization encoding block (16 ⁇ 16 blocks), it is the same as the above-described prediction of the quantization parameter in units of encoding blocks.
  • the coding block to be coded is smaller than the block size of the quantization coding block (8 ⁇ 8 blocks), for example, it is a coding block represented by a white rectangle in FIG. Since four coding blocks are accommodated in the coding block, the coding blocks in the quantization coding block do not have quantization parameters individually, but have one quantization parameter in the quantization coding block, It is assumed that each encoded block is encoded with the quantization parameter.
  • the block size of the quantized coding block may be described directly in the header information of the bitstream, or whether the block size is 1/2 n times the tree block size (n is an integer of 0 or more).
  • the bit shift amount to be expressed may be described.
  • the quantization group size may be determined implicitly by encoding and decoding without being described in the bitstream.
  • the moving image encoded stream output from the moving image encoding apparatus of the embodiment described above has a specific data format so that it can be decoded according to the encoding method used in the embodiment. Therefore, the moving picture decoding apparatus corresponding to the moving picture encoding apparatus can decode the encoded stream of this specific data format.
  • the encoded stream When a wired or wireless network is used to exchange an encoded stream between a moving image encoding device and a moving image decoding device, the encoded stream is converted into a data format suitable for the transmission form of the communication path. It may be transmitted.
  • a video transmission apparatus that converts the encoded stream output from the video encoding apparatus into encoded data in a data format suitable for the transmission form of the communication channel and transmits the encoded data to the network, and receives the encoded data from the network Then, a moving image receiving apparatus that restores the encoded stream and supplies the encoded stream to the moving image decoding apparatus is provided.
  • the moving image transmitting apparatus is a memory that buffers the encoded stream output from the moving image encoding apparatus, a packet processing unit that packetizes the encoded stream, and transmission that transmits the packetized encoded data via the network.
  • the moving image receiving apparatus generates a coded stream by packetizing the received data, a receiving unit that receives the packetized coded data via a network, a memory that buffers the received coded data, and packet processing. And a packet processing unit provided to the video decoding device.
  • the above processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, and is stored in a ROM (Read Only Memory), a flash memory, or the like. It can also be realized by firmware or software such as a computer.
  • the firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
  • 100 video encoding device 101 image memory, 102 residual signal generation unit, 103 orthogonal transform / quantization unit, 104 second encoded bit string generation unit, 105 inverse quantization / inverse orthogonal transform unit, 106 decoded image signal Superimposition unit, 107 decoded image memory, 108 predicted image generation unit, 109 activity calculation unit, 110 quantization parameter calculation unit, 111 differential quantization parameter generation unit, 112 first encoded bit string generation unit, 113 encoded information storage memory , 114 Predictive quantization parameter derivation unit, 115 Encoded bit string multiplexing unit, 200 Video decoding device, 201 Bit sequence separation unit, 202 First encoded bit sequence decoding unit, 203 Quantization parameter generation unit, 204 Encoding information storage memory , 20 Predictive quantization parameter deriving unit, 206 second coded bit stream decoding unit, 207 inverse quantization and inverse orthogonal transform unit, 208 decoded image signal superimposing unit, 209 predicted image generation unit, 210 decoded image memory.
  • the present invention can be used for image encoding and decoding techniques using predictive encoding of quantization parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化装置において、量子化パラメータ算出部１１０は、符号化対象の量子化符号化ブロックの量子化パラメータを導出する。予測量子化パラメータ導出部１１４は、符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する。差分量子化パラメータ生成部１１１は、符号化対象の量子化符号化ブロックの量子化パラメータと予測量子化パラメータとの差分により符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する。第１の符号化ビット列生成部１１２は、符号化対象の量子化符号化ブロックの差分量子化パラメータを符号化する。

Description

画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
　本発明は、画像の符号化及び復号技術に関し、特に量子化パラメータの予測符号化を利用した画像の符号化及び復号技術に関する。
　ＭＰＥＧ－２　Ｐａｒｔ２（以下ＭＰＥＧ－２と呼ぶ）やＭＰＥＧ－４　Ｐａｒｔ１０／Ｈ．２６４（以下ＡＶＣと呼ぶ）等のデジタル動画像符号化では、画像を所定の大きさのブロックに分割して符号化を行い、予測誤差信号（又は単に画像信号）に対する量子化の粗さを示す量子化パラメータを伝送する。符号化側でこの量子化パラメータを所定ブロック単位で可変制御することにより、符号量を制御することや主観画質を向上させることが可能である。
　主観画質を向上させる量子化パラメータの制御としては、Ａｄａｐｔｉｖｅ　Ｑｕａｎｔｉｚａｔｉｏｎ（適応量子化）が度々用いられる。適応量子化では、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化され、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化されるように、各マクロブロックのアクティビティによって変化させる。即ち、符号化されたときの割り当てビット量が大きくなりやすいアクティビティの高いマクロブロックにおいては、大きい量子化スケールが設定されるように、量子化パラメータを変化させ、その結果、符号化された画像のデータにおいてビット数が出来るだけ少なくなるように制御しながら、主観画質を向上させることになる。
　ＭＰＥＧ－２では符号化／復号する順序で１つ前のブロックの量子化パラメータと符号化対象のブロックの量子化パラメータが同一であるかどうかを判断し、同一でない場合には量子化パラメータを伝送する。ＡＶＣでは符号化／復号する順序で１つ前のブロックの量子化パラメータを予測値として、符号化対象のブロックの量子化パラメータを差分符号化する。これは、一般的に符号量制御は符号化順に行うため、符号化順で１つ前のブロックの量子化パラメータが最も符号化ブロックの量子化パラメータに近いということに基づいており、伝送する量子化パラメータの情報量を抑制することを狙っている。
特開２０１１－９１７７２号公報
　従来の量子化パラメータの制御では、符号化済みの直前のブロックの量子化パラメータを予測量子化パラメータとして、符号化対象のブロックの量子化パラメータとの差分を算出し、算出された差分量子化パラメータを符号化することで、量子化パラメータの符号量を削減した。しかしながら、直前のブロックの量子化パラメータを予測量子化パラメータとすると、適応量子化による量子化パラメータ制御を施した場合、差分量子化パラメータが大きくなり、符号量が増加する課題があった。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、量子化パラメータの符号量を削減して、符号化効率を向上させる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像符号化装置は、画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化装置であって、符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出部（１１０）と、前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部（１１４）と、前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出部（１１１）と、前記差分量子化パラメータを符号化する符号化部（１１２）とを備える。
　本発明の別の態様は、画像符号化方法である。この方法は、画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化方法であって、符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、前記差分量子化パラメータを符号化する符号化ステップとを備える。
　本発明のさらに別の態様は、送信装置である。この装置は、画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを前記画像と共に符号化する画像符号化方法により符号化されたビットストリームをパケット化して符号化ストリームを得るパケット処理部と、パケット化された前記符号化ストリームを送信する送信部とを備える。前記画像符号化方法は、符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、前記差分量子化パラメータを符号化する符号化ステップとを備える。
　本発明のさらに別の態様は、送信方法である。この方法は、画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを前記画像と共に符号化する画像符号化方法により符号化されたビットストリームをパケット化して符号化ストリームを得るパケット処理ステップと、パケット化された前記符号化ストリームを送信する送信ステップとを備える。前記画像符号化方法は、符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、前記差分量子化パラメータを符号化する符号化ステップとを備える。
　本発明のある態様の画像復号装置は、画像を復号すると共に、前記画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが符号化されたビットストリームを復号する画像復号装置であって、前記ビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号部（２０２）と、前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部（２０５）と、前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出部（２０３）とを備える。
　本発明の別の態様は、画像復号方法である。この方法は、画像を復号すると共に、前記画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが符号化されたビットストリームを復号する画像復号方法であって、前記ビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとを備える。
　本発明のさらに別の態様は、受信装置である。この装置は、ビットストリームを受信して復号する受信装置であって、画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが前記画像と共に符号化されたビットストリームが、パケット化された符号化ストリームを受信する受信部と、受信された前記パケット化された符号化ストリームをパケット処理して元のビットストリームを復元する復元部と、前記復元されたビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号部と、前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部と、前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出部とを備える。
　本発明のさらに別の態様は、受信方法である。この方法は、ビットストリームを受信して復号する受信方法であって、画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが前記画像と共に符号化されたビットストリームが、パケット化された符号化ストリームを受信する受信ステップと、受信された前記パケット化された符号化ストリームをパケット処理して元のビットストリームを復元する復元ステップと、前記復元されたビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとを備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、量子化パラメータの符号量を削減して、符号化効率を向上させることができる。
実施の形態に係る予測量子化パラメータの導出方法を具備した動画像符号化装置の構成を示すブロック図である。 実施の形態に係る予測量子化パラメータの導出方法を具備した動画像復号装置の構成を示すブロック図である。 ＭＰＥＧ－２　ＴＭ５の画面内の符号量制御を説明する図である。 ＡＶＣの量子化パラメータ予測方法を示す図である。 階層ツリー符号化を使用した場合の符号化処理順の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左下の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 ＭＰＥＧ－２　ＴＭ５の画面内の符号量制御において、上下で隣接する符号化ブロックの位置を説明する図である。 差分量子化パラメータの符号化テーブルの一例を表す図である。 符号化対象ツリーブロックと符号化済みツリーブロックとの関係を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の右上の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左下の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の右下の量子化符号化ブロックの予測元を示す図である。 予測量子化パラメータ導出のフローチャートである。 予測量子化パラメータの演算処理の例を示す図である。 量子化符号化ブロックの一例を説明する図である。 空間的に隣接する量子化符号化ブロックとツリーブロックの関係を表す図である。
　本発明の実施の形態は、ピクチャを所定サイズの矩形ブロックに分割し、更にそのブロックを量子化パラメータを管理する単位である１つ或いは複数の量子化符号化ブロックに分割し、量子化符号化ブロック単位に差分量子化パラメータの伝送を行う画像符号化において、処理対象のブロックの量子化パラメータの符号量を削減するために、複数の符号化済みブロックの符号化情報から最適な予測量子化パラメータを導出し、予測量子化パラメータとの差分を算出して、符号化する符号量制御技術を提供する。
（実施の形態１）
　本発明を実施する好適な動画像符号化装置１００及び動画像復号装置２００について説明する。図１は本発明を実施する動画像符号化装置１００の構成を示すブロック図であり、画像メモリ１０１、残差信号生成部１０２、直交変換・量子化部１０３、第２の符号化ビット列生成部１０４、逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、復号画像メモリ１０７、予測画像生成部１０８、アクティビティ算出部１０９、量子化パラメータ算出部１１０、差分量子化パラメータ生成部１１１、第１の符号化ビット列生成部１１２、符号化情報格納メモリ１１３、予測量子化パラメータ導出部１１４及び符号化ビット列多重化部１１５から構成される。尚、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
　画像メモリ１０１は、撮影／表示時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象の画像信号を、所定の画素ブロック単位で、残差信号生成部１０２、予測画像生成部１０８及びアクティビティ算出部１０９に供給する。その際、撮影／表示時間順に格納された画像は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
　残差信号生成部１０２は、符号化する画像信号と予測画像生成部１０８にて生成された予測信号との減算を行い残差信号を生成し、直交変換・量子化部１０３に供給する。
　直交変換・量子化部１０３は、量子化パラメータ算出部１１０で算出された量子化パラメータを用いて残差信号に対して直交変換及び量子化を行い、直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１０４と逆量子化・逆直交変換部１０５に供給する。
　第２の符号化ビット列生成部１０４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
　逆量子化・逆直交変換部１０５は、量子化パラメータ算出部１１０で算出された量子化パラメータを用いて直交変換・量子化部１０３から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１０６に供給する。
　復号画像信号重畳部１０６は、予測画像生成部１０８により生成された予測画像信号と逆量子化・逆直交変換部１０５で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１０７に格納する。尚、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１０７に格納されることもあり、その場合、必要に応じてデブロッキングフィルタ等のポストフィルタの情報を識別するフラグ等の予測された符号化情報を符号化情報格納メモリ１１３に格納する。
　予測画像生成部１０８は、画像メモリ１０１から供給される画像信号と復号画像メモリ１０７から供給される復号画像信号から、予測モードを基にピクチャ内予測（イントラ予測）或いはピクチャ間予測（インター予測）を行い、予測画像信号を生成する。イントラ予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象のブロックと、復号画像メモリ１０７から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象のブロックに隣接する周囲の符号化済みブロックの画素信号を用いて予測画像信号を生成する。インター予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象のブロックのピクチャ（符号化ピクチャ）の時系列で前または後ろにある復号画像メモリ１０７に格納されている符号化済みピクチャを参照ピクチャとし、符号化ピクチャと参照ピクチャとの間でブロックマッチングを行い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行い、予測画像信号を生成する。こうして生成された予測画像信号を残差信号生成部１０２に供給する。予測画像生成部１０８にて得られた動きベクトル等の符号化情報は、必要に応じて符号化情報格納メモリ１１３に格納する。更に、予測画像生成部１０８では、複数の予測モードの選択が可能である場合、生成された予測画像信号と元の画像信号との間の歪量等を評価することにより、最適な予測モードを決定し、決定された予測モードによる予測により生成された予測画像信号を選択し、残差信号生成部１０２に供給するとともに、予測モードがイントラ予測である場合はイントラ予測モードを符号化情報格納メモリ１１３及び第１の符号化ビット列生成部に供給する。
　アクティビティ算出部１０９は、画像メモリ１０１から供給される符号化対象のブロックの画像の複雑さや滑らかさを示す係数であるアクティビティが計算され、量子化パラメータ算出部１１０に供給する。アクティビティ算出部１０９の詳細な構成と動作は、後述する。
　量子化パラメータ算出部１１０は、アクティビティ算出部１０９にて算出されたアクティビティによって、符号化対象のブロックの量子化パラメータを算出し、差分量子化パラメータ生成部１１１及び符号化情報格納メモリ１１３に供給する。量子化パラメータ算出部１１０の詳細な構成と動作は、後述する。
　差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化パラメータに対して、予測量子化パラメータ導出部１１４にて導出された予測量子化パラメータと減算を行い、差分量子化パラメータを算出し、第１の符号化ビット列生成部１１２に供給する。
　第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従って符号化して第１の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。
　符号化情報格納メモリ１１３は、符号化が終了したブロックの量子化パラメータを格納する。また、図１に結線を図示していないが、予測画像生成部１０８にて生成される予測モードや動きベクトル等の符号化情報も、次の符号化対象のブロックを符号化に必要な情報として格納する。更に、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。
　予測量子化パラメータ導出部１１４は、既符号化済みの量子化符号化ブロックの量子化パラメータや符号化情報を用いて、量子化符号化対象ブロックの予測量子化パラメータを導出し、差分量子化パラメータ生成部１１１に供給する。予測量子化パラメータ導出部１１４の詳細な構成と動作は、後述する。
　符号化ビット列多重化部１１５は、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
　図２は図１の動画像符号化装置１００に対応した実施の形態に係る動画像復号装置２００の構成を示すブロック図である。実施の形態の動画像復号装置２００は、ビット列分離部２０１、第１符号化ビット列復号部２０２、量子化パラメータ生成部２０３、符号化情報格納メモリ２０４、予測量子化パラメータ導出部２０５、第２符号化ビット列復号部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９及び復号画像メモリ２１０を備える。尚、図１の動画像符号化装置１００と同様に、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。
　図２の動画像復号装置２００の復号処理は、図１の動画像符号化装置１００の内部に設けられている復号処理に対応するものであるから、図２の逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９、復号画像メモリ２１０及び符号化情報格納メモリ２０４の各構成は、図１の動画像符号化装置１００の逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、予測画像生成部１０８、復号画像メモリ１０７及び符号化情報格納メモリ１１３の各構成とそれぞれ対応する機能を有する。ただし、予測画像生成部２０９は図１の動画像符号化装置の予測画像生成部１０８動きベクトル検出機能及び予測モードの選択機能は含まない。
　ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０６に供給される。
　第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して予測モード、動きベクトル、差分量子化パラメータ等に関する符号化情報を出力し、差分量子化パラメータを量子化パラメータ生成部２０３に与えるとともに、符号化情報を符号化情報格納メモリ２０４に格納する。
　量子化パラメータ生成部２０３は、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ導出部２０５にて導出される量子化パラメータとを加算して量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
　符号化情報格納メモリ２０４は、復号が終了した量子化符号化ブロックの量子化パラメータを格納する。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。また、図２に結線を図示していないが、復号された予測モードや動きベクトル等の符号化情報を予測画像生成部２０９に供給する。
　予測量子化パラメータ導出部２０５は、既復号済みの量子化符号化ブロックの量子化パラメータを用いて、予測量子化パラメータを導出し、量子化パラメータ生成部２０３に供給する。予測量子化パラメータ導出部２０５は動画像符号化装置１００の予測量子化パラメータ導出部１１４と同等の機能を有しており、詳細な構成と動作は後述する。
　第２符号化ビット列復号部２０６は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に与える。
　逆量子化・逆直交変換部２０７は、第２符号化ビット列復号部２０６で復号された直交変換・量子化された残差信号に対して、量子化パラメータ生成部２０３にて生成された量子化パラメータを用いて、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
　復号画像信号重畳部２０８は、予測画像生成部２０９で生成された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ２１０に格納する。復号画像メモリ２１０に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１０に格納されることもある。
　予測画像生成部２０９は、第２符号化ビット列復号部２０６で復号される予測モードや動きベクトル等の符号化情報、更に符号化情報格納メモリ２０４から符号化情報を基にして、復号画像メモリ２１０から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０８に供給する。
　次に、動画像符号化装置１００の中で太点線に囲まれた諸部１２０、特に予測量子化パラメータ導出部１１４と、動画像復号装置２００の中で太点線に囲まれた諸部２２０、特に予測量子化パラメータ導出部２０５とで共通に実施される予測量子化パラメータを導出する方法の詳細について説明する。
　まず、本実施の形態の動画像符号化装置１００の中で太点線で囲まれた諸部１２０の各部の動作について説明する。諸部１２０では、画像メモリ１０１から供給される所定画素サイズ単位の画素ブロックを量子化符号化ブロックとし、その量子化符号化ブロックを量子化する為の量子化パラメータを決定する。量子化パラメータは主に符号量制御と適応量子化のアルゴリズムによって符号化側で決定され、量子化パラメータ予測処理を行い復号側に伝送される。最初にアクティビティ算出部１０９における適応量子化の手法について説明する。
　アクティビティ算出部１０９では、一般に人間の視覚特性はエッジの少ない低周波成分に敏感である為、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、所定量子化符号化ブロック単位に画像の複雑さや滑らかさを表現するアクティビティを算出する。ただし、アクティビティを算出は符号化装置側のみの機能であり復号装置側には含まれないため、アクティビティ算出単位は量子化符号化ブロック単位であるとは限らず、複雑度を考慮して符号化側で自由に決定できる。
　アクティビティの一例として、ＭＰＥＧ－２　ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）に記載される符号化ブロック内の画素の分散値による算出が挙げられる。分散値はブロック内の画像を構成する画素の平均からの散らばりの度合いを示す値であり、ブロック内に画像が平坦である（輝度変化が小さい）程小さく、複雑な絵柄である（輝度変化が大きい）もの程値が大きくなるので、ブロックのアクティビティとして利用する。ブロック内の画素値をｐ（ｘ，ｙ）で表すと、ブロックのアクティビティａｃｔは次式で算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、ＢＬＫは量子化符号化ブロックの画素総数であり、ｐ＿ｍｅａｎはブロック内の画素の平均値である。
　また、以上のような分散に限らず、量子化符号化ブロック内の画素に対して、水平方向及び垂直方向で隣接する画素との差分絶対値をとり、ブロック内で総和をとっても良い。この場合でも、画像が平坦である場合は小さく、エッジが多い複雑な絵柄部分では大きい値となり、アクティビティとして利用可能である。次式により算出される。
Figure JPOXMLDOC01-appb-M000002
　こうして算出されたアクティビティａｃｔは量子化パラメータ算出部１１０に供給される。
　次に、符号量制御について説明する。本実施の形態の動画像符号化装置１００では、特に符号量制御を実現する部を設けていないが、符号量制御では発生符号量に基づき符号化ブロックの量子化パラメータを決定する為、量子化パラメータ算出部１１０の中にその機能を包含することとして説明する。
　符号量制御はピクチャやスライス等の所定単位の発生符号量を目標符号量付近に合わせることを目的としており、符号化済ブロックの発生符号量が目標符号量よりも多いと判断した場合には以降に量子化パラメータを符号化する量子化符号化ブロックに相対的に粗い量子化を適用し、符号化済ブロックの発生符号量が目標符号量よりも少ないと判断した場合には以降に符号化するブロックに相対的に細かい量子化を適用するものである。
　具体的な符号量制御のアルゴリズムについて、図３を用いて説明する。
　まず、ピクチャ毎に目標符号量（Ｔ）を決定する。一般的にはＩピクチャ＞Ｐピクチャ＞参照Ｂピクチャ＞非参照ＢピクチャとなるようにＴを決定する。例えば、動画像の目標ビットレートが５Ｍｂｐｓであり、１秒間にＩピクチャが１枚、Ｐピクチャが３枚、参照Ｂピクチャが１１枚、非参照Ｂピクチャが１５枚ある場合において、ピクチャタイプ別の目標符号量をＴｉ、Ｔｐ、Ｔｂｒ、Ｔｂとすると、Ｔｉ：Ｔｐ：Ｔｂｒ：Ｔｂ＝４：３：２：１の比率となるように目標符号量を制御したい場合、Ｔｉ＝４００ｋｂｉｔ、Ｔｐ＝３００ｋｂｉｔ、Ｔｂｒ＝２００ｋｂｉｔ、Ｔｂ＝１００ｋｂｉｔとなる。但し、ピクチャタイプ別の割当符号量は本発明の本質には影響しない。
　次に、ピクチャ内の符号量制御について説明する。量子化パラメータを決定する単位であるブロックの数をＮ、発生符号量をＢ、目標符号量との差分ビットをＤとすると、
Figure JPOXMLDOC01-appb-M000003
 となる。ここで、ｊは量子化符号化ブロックの符号化処理順カウント番号である。Ｄ（０）は目標符号量差分の初期値である。
　符号量制御による量子化パラメータｂＱＰは以下のように決定される。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｒは目標符号量差分を量子化パラメータに変換する比例係数である。この比例係数ｒは使用可能な量子化パラメータに応じて決定される。
　量子化パラメータ算出部１１０は、量子化符号化ブロック毎にアクティビティ算出部１０９で算出されたアクティビティａｃｔを使って、符号量制御にて算出された符号化ブロックの量子化パラメータを変化させる。以下では、量子化符号化ブロック毎に算出するので、符号量制御による量子化パラメータの符号化処理順カウント番号を削除し、ｂＱＰで表すものとする。
　量子化パラメータ算出部１１０は、直前に符号化したピクチャ内の平均アクティビティをａｖｇ＿ａｃｔとして記録しておき、符号化ブロックの正規化アクティビティＮａｃｔを次式により算出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、上式の係数"２"は量子化パラメータのダイナミックレンジを表す値であり、０．５～２．０の範囲をとる正規化アクティビティＮａｃｔが算出される。ただし、量子化パラメータの係数は２に限らず、画像の特性等に応じて他の値にしても良い。
　尚、ａｖｇ＿ａｃｔは、符号化過程の前に、予めピクチャ内の全てのブロックに対してアクティビティを算出し、その平均値をａｖｇ＿ａｃｔとしてもよい。更に、ａｖｃ＿ａｃｔは符号化情報格納メモリ１１３に格納しておいてもよく、必要に応じて量子化パラメータ算出部１１０が符号化情報格納メモリ１１３からａｖｇ＿ａｃｔを取得してもよい。
　算出された正規化アクティビティＮａｃｔを基準となる量子化パラメータｂＱＰと次式の如く乗算を行い、符号化ブロックの量子化パラメータＱＰを得る。
Figure JPOXMLDOC01-appb-M000006
　こうして算出された符号化ブロックの量子化パラメータは、符号化情報格納メモリ１１３及び差分量子化パラメータ生成部１１１に供給される。
　符号化情報格納メモリ１１３は、量子化パラメータ算出部１１０にて算出された量子化パラメータや既に符号化が終了した過去の量子化符号化ブロックの量子化パラメータが格納されるだけでなく、符号化ブロックの動きベクトルや予測モード等の符号化情報も格納され、必要に応じて各部が符号化情報を取得する。
　予測量子化パラメータ導出部１１４は、符号化情報格納メモリ１１３から既符号化済みの量子化パラメータを用いて、符号化ブロックの量子化パラメータを効率良く符号化、伝送する為の予測量子化パラメータを導出する。
　量子化パラメータを効率良く符号化、伝送する為には、量子化パラメータをそのまま符号化するよりも、既符号化済みの量子化符号化ブロックの量子化パラメータから予測された予測量子化パラメータとの差分（差分量子化パラメータ）をとって、その差分量子化パラメータを符号化、伝送する方が効率が良い。符号量制御の観点から見れば、符号化処理順で直前の符号化済みブロックの量子化パラメータを予測量子化パラメータとすると伝送する差分量子化パラメータの値が小さくなり符号量は小さくなる。一方、適応量子化の観点から見れば、量子化符号化ブロックと近接する量子化符号化ブロックとは似た絵柄となることが多いので、量子化符号化ブロックに近接する量子化符号化ブロックのアクティビティは符号化ブロックのアクティビティと近い値となり、近接する量子化符号化ブロックの量子化パラメータを予測量子化パラメータとすると伝送する差分量子化パラメータの値が小さくなり、符号量は小さくなる。その為、ＡＶＣでは、図４で示されるように、量子化パラメータを伝送する単位がマクロブロック（１６ｘ１６画素群）で固定されており、ラスタスキャン順に符号化ブロックの直前に符号化をした左隣に隣接するブロックの量子化パラメータを予測量子化パラメータとし、符号化ブロックの量子化パラメータと予測量子化パラメータとの差分をとり、差分量子化パラメータを符号化、伝送する方法が採用されている。つまり、ＡＶＣでは符号量制御を想定した量子化パラメータの予測に最適化されている。但し、ＡＶＣは後述する階層ツリー符号化を行わないので、画像の左端以外は、直前のブロックが左ブロックである為、隣接ブロックの量子化パラメータを予測量子化パラメータとして使用することになり、適応量子化を想定した予測にもほぼ最適化されていると言える。その為、ＡＶＣのように、量子化パラメータを伝送する単位が固定され、階層ツリー符号化を行わないような構成の場合には、量子化パラメータの予測は直前の符号化済みブロックが最適だと言える。
　しかしながら、階層ツリー符号化を行う場合、ＡＶＣと同様に直前のブロックの量子化パラメータを予測量子化パラメータとして使用すると、符号量制御には最適化されるが、適応量子化を用いて量子化パラメータを伝送する場合、最適な予測値とはならず、差分量子化パラメータの符号量が増大してしまうという課題が生じる。
　ここで、階層ツリー符号化について説明する。ここで言う階層ツリー符号化とは、ツリーブロック単位（ここでは６４ｘ６４ブロックとする）でそれぞれ符号化単位を表すｄｅｐｔｈを決定し、決定されたｄｅｐｔｈで符号化ブロック単位の量子化符号化を行う。これにより、画像の精細度に依存した最適なｄｅｐｔｈを決定して量子化符号化を行うことができ、符号化効率を大幅に向上する。
　図５に階層ツリー符号化構造の符号化処理順序を示す。図５の上図に示されるように、画面内を所定の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと呼び、画像内での符号化／復号ブロックを特定するためのアドレス管理の基本単位とする。ツリーブロックは画像内のテクスチャ等に応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内を階層的に４分割して、ブロックサイズの小さいブロックにすることが出来る。このように小さなブロックに分割して構成される階層的なブロック構造をツリーブロック構造と呼び、この分割されたブロックを符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼び、符号化及び復号を行う際の処理の基本単位とする。図５の下図はツリーブロックを４分割してできた各ＣＵのうち、左下を除く３つのＣＵさらに４分割した例である。本実施例においては、ＣＵと量子化符号化ブロックを同一の単位と設定し、つまり、ＣＵ単位で量子化パラメータを設定するものとする。ツリーブロックは最大サイズの符号化ブロックでもある。ただし、量子化符号化ブロックの単位をＣＵと同一でなく、独立した所定単位を設定することも可能である。つまり、量子化符号化ブロックは、ＣＵの大きさに依存せず、１６ｘ１６ブロック単位固定であるとすることも可能である。量子化符号化ブロックの単位をＣＵと同一にしない場合の例について後述する。
　このような階層ツリー符号化では、符号化順序は図４のAVCのようなラスタスキャン順（左～右）と異なる為、量子化パラメータが直前の符号化済みブロックと左の隣接ブロックとで等しくならない場合が多々ある。例えば階層ツリー符号化の一例として、図６で示されるように、符号化対象とするツリーブロックの中の左上の量子化符号化ブロック（図６中の斜線部の矩形）は、左に隣接するツリーブロックの中で分割されたブロックのうち、最後に符号化された右下の符号化済みブロック（図６中の灰色部の矩形）の量子化パラメータを予測に用いる。また、図７に示されるように、符号化対象とするツリーブロックの中の左下の量子化符号化ブロック（図７中の斜線部の矩形）は、同じツリーブロックの中で分割され、直前に量子化符号化されたブロック（図７中の灰色部の矩形）の量子化パラメータを予測に用いることになる。その為、直前の符号化済みブロックから量子化パラメータを予測するだけでは、符号量制御に最適化された予測は行うことが出来ても、分割によってブロック間の距離を隔てる為に、適応量子化に適した予測を行うことが出来ないので、差分量子化パラメータの符号量が増大し、符号化効率を低減させてしまう。
　また、一意に左隣の量子化符号化ブロックの量子化パラメータを予測量子化パラメータとすると、図８のようにツリーブロック内の左上の量子化符号化ブロックの予測量子化パラメータは、１つ前のツリーブロックの量子化符号化ブロックが多く分割されているほど、符号化順で離れた量子化パラメータとなっている。そのため、符号化順で近い量子化符号化ブロックからの量子化パラメータ予測が効率の良い符号量制御の観点では、符号化効率が低下してしまう。
　つまり、空間的に近接する量子化符号化ブロックから量子化パラメータを予測する場合、量子化符号化ブロックよりも遠い過去の時点で算出された量子化パラメータを用いる場合があるため、図１９に示されるように、量子化符号化ブロックの処理順ｊに対して、空間的に隣接する量子化符号化ブロックの処理順ｉは、量子化符号化ブロックとして空間的に隣接していても、符号量制御の観点から見れば、図９に示すように、符号化処理順ではｉ＜＜ｊとなるので、隣接する量子化符号化ブロックの量子化パラメータは相関性が高いとは言えない。また、空間的に近接する量子化符号化ブロックの中から、符号化処理順が近い量子化符号化ブロックからのみ量子化パラメータ予測を行う場合、空間的に隣接する量子化符号化ブロックがツリーブロック外であるかどうかを判定し、ツリーブロック外である場合には、符号化処理順が遠い量子化符号化ブロックであると判断し、ツリーブロック内の量子化パラメータのみ予測に用いことで、符号量制御の観点で不適な量子化パラメータの導出を回避することができる。しかし、量子化パラメータの予測を行う単位で、空間的に隣接する量子化符号化ブロックがツリーブロック外であるかどうかを判定する処理が必要になることや、ツリーブロック内であっても符号化処理順が近くない量子化符号化ブロックが存在するなど、符号量制御の観点からは必ずしも最適な処理であるとは言えない場合もある。
　そこで、本発明の実施の形態に係る予測量子化パラメータ導出部１１４は、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出することで、符号量制御の観点での予測効率の高い符号化順で近い量子化パラメータを用いつつ、適応量子化の観点での予測効率の高い空間的に近接する量子化符号化ブロックからの量子化パラメータの予測を可能と方法を実現する。また、空間的に近接する量子化パラメータを取得するための量子化パラメータの保存を最小限に抑制することで、少ないメモリ量での量子化パラメータの予測を実現する。予測量子化パラメータ導出部１１４の詳細は後述する。
　差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化符号化ブロックの量子化パラメータに対して、予測量子化パラメータ導出部１１４にて導出された予測量子化パラメータと減算を行い、差分量子化パラメータを算出する。予測量子化パラメータは復号時にも復号済みの量子化符号化ブロックから符号化時と同様に導出されるので、差分符号化パラメータを符号化対象とすることで、符号化と復号で矛盾が生じず、量子化パラメータの符号量を削減することが可能となる。算出された差分量子化パラメータは第１の符号化ビット列生成部１１２に供給される。
　第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従ってエントロピー符号化して第１の符号化ビット列を生成する。図１０に差分量子化パラメータのエントロピー符号化に使用される符号化変換テーブルの一例を示す。まず、最も出現しやすい差分量子化パラメータが０であることを１ビット目で表現し、続いて２ビット目では正負のフラグ、３ビット目では差分量子化パラメータの絶対値が１であるかどうか、４ビット目では差分量子化パラメータの絶対値が２であるかどうか…と続く。このような差分量子化パラメータの符号化では、差分量子化パラメータの絶対値が小さい程短い符号長を与えつつ、ビット長で差分量子化パラメータの絶対値がわかるようになっている。そのため、複雑でない構成で且つ差分量子化パラメータの発生符号量を抑制することができる。また、図１０は差分量子化パラメータの絶対値に比例してビット長が長くなる符号化テーブルであるため、小さい差分量子化パラメータの伝送時に発生符号量が非常に小さくなり、大きな差分量子化パラメータの伝送時には発生符号量が比較的大きくなる傾向を持つ。図１０のような符号化テーブルを用いた差分量子化パラメータの符号化を行う場合、差分量子化パラメータが０になる確率を向上させるだけでなく、値の大きな差分量子化パラメータができるだけ発生させないような予測量子化パラメータの導出が重要となる。第１の符号化ビット列生成部１１２は、差分量子化パラメータに対応する符号ビット列を図１０のテーブルから抽出し、その符号ビット列を符号化ビット列多重化部１１５に供給する。
　上述した本実施例の動画像符号化装置１００に対応する動画像復号装置２００の中で太点線で囲まれた諸部２２０の各部の動作について説明する。
　諸部２２０では、最初に第１符号化ビット列復号部２０２にて復号された差分量子化パラメータが量子化パラメータ生成部２０３に供給される。また、差分量子化パラメータ以外の符号化情報が必要に応じて符号化情報格納メモリ２０４に格納される。
　量子化パラメータ生成部２０３では、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ導出部２０５にて導出される量子化パラメータとを加算して、復号ブロックの量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。
　符号化情報格納メモリ２０４は、復号が終了した量子化符号化ブロックの量子化パラメータが格納される。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納される。
　予測量子化パラメータ導出部２０５は、既復号済みのブロックの量子化パラメータを用いて、予測量子化パラメータを導出し、量子化パラメータ生成部２０３に供給する。量子化パラメータ生成部２０３で算出された量子化パラメータは符号化情報格納メモリ２０４に格納され、以降に復号する量子化符号化ブロックの予測量子化パラメータの導出時に使用される。こうして得られる復号済みの量子化パラメータは、動画像符号化装置１００の予測量子化パラメータ導出部１１４が符号化情報格納メモリ１１３から取得する量子化パラメータと同一である。予測量子化パラメータ導出部２０５は動画像符号化装置１００の予測量子化パラメータ導出部１１４と同等の機能を有しているので、符号化情報格納メモリ２０４から供給される量子化パラメータが同じであれば、符号化時と同一の予測量子化パラメータが導出される。
　こうして符号化側で導出された予測量子化パラメータが、復号側でも矛盾無く導出されることになる。
　以下、予測量子化パラメータ導出部１１４及び２０５で共通に実施される予測量子化パラメータを導出する方法の詳細について説明する。
　予測量子化パラメータ導出部１１４の詳細な動作について説明する。図１１に示されるように、符号化はツリーブロック単位に画面の左上から右下に向かってラスタスキャン順に行われる。今、符号化対象ツリーブロックを図１１中の斜線矩形で表すと、符号化済みのツリーブロックは図１１中の灰色部分で表される。ツリーブロック内部では符号化条件に応じて、階層ツリー符号化がなされることから、符号化ブロックはツリーブロック以下のサイズに分割にされるので、符号化対象ツリーブロック内部の符号化ブロックと上のツリーブロック内部の符号化済みブロックとは隣接しているものの、符号化処理順では大きく離れていることになる。その為、符号量制御により算出される量子化パラメータは、符号化処理順で算出されるので、符号化ブロックの量子化パラメータと上のツリーブロック内部の符号化済みブロックの量子化パラメータが近い値になるとは言えない。そこで、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを符号化する。
　図１２～図１５は、階層ツリー符号化により分割されたツリーブロック内部のそれぞれ、左上、右上、左下、右下における量子化符号化ブロックの予測元を示す図である。
　図１２のツリーブロック内部の左上の量子化符号化ブロックでは、１つ前のツリーブロック内の２つの量子化符号化から、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。
　図１３のツリーブロック内部の右の量子化符号化ブロックでは、１つ前のツリーブロック内の量子化符号化から１つ、同一ツリーブロック内の左側の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。
　図１４のツリーブロック内部の左下の量子化符号化ブロックでは、同一ツリーブロック内の上側の量子化符号化ブロック及び右上の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。
　図１５のツリーブロック内部の右下の量子化符号化ブロックでは、同一ツリーブロック内の左側の量子化符号化ブロック及び上側の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。
　予測量子化パラメータは、ｐｒｅｖＱＰ１及びｐｒｅｖＱＰ２の平均値によって決定する。
Figure JPOXMLDOC01-appb-M000007
　図１２、図１３の例の場合には、空間的に離れた量子化符号化ブロックが量子化パラメータの予測元となるが、予測量子化パラメータの平均値をとるため、ｐｒｅｖＱＰ１が突発で信頼性の低い量子化パラメータになった場合でも、誤差が平均化され、量子化パラメータの予測効率が向上する。空間的に離れた量子化符号化ブロックを用いても複数の予測量子化パラメータの平均値を用いることは、図１０の差分量子化パラメータの符号化テーブルを用いた場合、値の大きな差分量子化パラメータができるだけ発生させないような予測量子化パラメータの導出が重要となるため、誤差の平均化の効果が特に顕著になる。
　図１４、図１５の例の場合には、空間的に近接した量子化符号化ブロックが量子化パラメータの予測元となるため、量子化パラメータの予測効率の向上が特に顕著である。つまり、符号化順的にも空間的にも近い量子化符号化ブロックからの量子化パラメータの予測が可能となり、符号量制御と適応量子化の双方に適した量子化パラメータの予測が行えるためである。
　このように、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出することで、符号量制御の観点での予測効率の高い符号化順で近い量子化パラメータを用いつつ、適応量子化の観点での予測効率の高い空間的に近接する量子化符号化ブロックからの量子化パラメータの予測を可能にすることで、差分量子化パラメータの符号量が抑制され、符号化効率が向上する。
　図１６は予測量子化パラメータ導出のフローチャートである。まず、符号化・復号順で直前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰを取得する（Ｓ１０００）。次に、１つ前の量子化符号化ブロックの量子化パラメータの値が格納されているｐｒｅｖＱＰ１を２つ前の量子化符号化ブロックの量子化パラメータの値を格納するｐｒｅｖＱＰ２に代入する（Ｓ１００１）。次に、Ｓ１００で取得した直前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰを１つ前の量子化符号化ブロックの量子化パラメータの値を格納するｐｒｅｖＱＰ１に代入する（Ｓ１００２）。最後に、ｐｒｅｖＱＰ１とｐｒｅｖＱＰ２の平均値を演算し、予測量子化パラメータとする（Ｓ１００３）。
　なお、ピクチャやスライスの先頭では、ｐｒｅｖＱＰ１及びｐｒｅｖＱＰ２はスライスヘッダ等に記述されているスライスＱＰで初期化する。
　図１７は予測量子化パラメータの演算処理の例を示す図である。実際の量子化パラメータの予測処理では、量子化符号化ブロックが切り替わる時に、ｐｒｅｖＱＰ１の値をｐｒｅｖＱＰ２のバッファにコピーして、ｐｒｅｖＱＰ１を保存するバッファに直前の量子化符号化ブロックの量子化パラメータをロードする。平均値演算は常に、ｐｒｅｖＱＰ１バッファ及びｐｒｅｖＱＰ２バッファに対して施される。これにより、量子化パラメータの保存を最小限に抑制することで、少ないメモリ量での量子化パラメータの予測を実現できる。また、空間的に隣接する量子化符号化ブロックのアドレス計算及び空間的に隣接する量子化符号化ブロックがツリーブロック内であるかどうか等の条件判断を行わずに、符号化順・復号化順で直前の量子化パラメータ群を用いて、空間的に近接した量子化符号化ブロックから量子化パラメータの予測を行うことができるため、処理量が少なく符号量制御及び適応量子化の双方に適した量子化パラメータの予測を行うことができる。
　また、符号化順で３つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ３や４つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ４を用いて、平均値を量子化パラメータとしてももちろん良い。予測元の量子化パラメータを増やした場合、適応量子化に適した量子化パラメータの予測が可能となる。
（実施の形態２）
　実施の形態２では、１つ前に符号化した量子化符号化ブロックの量子化パラメータと、２つ前に符号化した量子化符号化ブロックの量子化パラメータの平均値ではなく、重みづけ平均値を取ることのみが実施の形態１と異なる。ｐｒｅｖＱＰ１とｐｒｅｖＱＰ２は符号量制御の観点ではｐｒｅｖＱＰ１の方が信頼度が高く、適応量子化の観点でもｐｒｅｖＱＰ１の方が信頼度が高いため、ｐｒｅｖＱＰ１に高い重みづけ係数とする。
Figure JPOXMLDOC01-appb-M000008
　ただし、重みづけ係数は３：１としたが、他の比率にしてももちろん良い。これにより、予測量子化パラメータの信頼度がさらに向上し、差分量子化パラメータの符号量が抑制され、符号化効率が向上する。
　本実施の形態の動画像符号化装置によれば、符号化対象のブロック毎に符号化される量子化パラメータを、符号化済みのブロックの量子化パラメータを用いて、最適な予測量子化パラメータを予測して導出し、量子化パラメータと予測量子化パラメータとの差分をとり符号化することで、量子化パラメータの符号量を削減して、符号化効率を向上させることが出来る。
　尚、上述の説明では、量子化符号化ブロックと符号化ブロックを同一単位として量子化パラメータの予測を行ったが、量子化パラメータを符号化、伝送する単位である量子化符号化ブロックを符号化ブロックと異なる単位として量子化パラメータの予測を行うことにしてもよい。
　例えば、量子化符号化ブロックの単位を固定とし、量子化符号化ブロックサイズｎをビットストリーム内に符号化して伝送してもよい。そのサイズはツリーブロックのブロックの辺の長さに１／２ｎ倍（ｎは０以上の整数）を乗じた値で表される。即ち、ツリーブロックのブロックの辺の長さをｎビット右にシフトした値が量子化符号化ブロックの辺の長さとなる。この値はツリーブロック構造と同じようにブロックサイズが決定されるので、ツリーブロックとの親和性が高い。また、ツリーブロック内を均等サイズで分割されるので、符号化情報格納メモリ１１３及び２０４に記憶される量子化パラメータの管理や読み出しを簡便化することが出来る。
　図１８はツリーブロック内部をツリーブロック構造で分割した一例を示す。ツリーブロックのブロックサイズは６４×６４とし、ツリーブロック内部を階層的に４分割し、１回目の分割で３２×３２ブロック（図１８中の点線矩形）、２回目の分割で１６×１６ブロック（図１８中の斜線矩形）、３回目の分割で８×８ブロック（図１８中の白抜き矩形）の符号化ブロックに分割される。ここで、量子化符号化ブロックを１６×１６の矩形ブロックとすると、量子化符号化ブロックは図１８の太点線で表され、量子化符号化ブロック単位に量子化パラメータの予測を行う。
　符号化対象の符号化ブロックが量子化符号化ブロックブロックサイズよりも大きい場合（３２×３２ブロック）、例えば図１８の点描矩形で表される符号化ブロックの内部は量子化符号化ブロックで４つに分割される。この場合、量子化符号化ブロックにより４分割されているものの、この符号化ブロックに必要な量子化パラメータは１つであるので、符号化ブロックのサイズが量子化符号化ブロックのサイズより大きい場合は、符号化ブロックの量子化パラメータの予測後の差分量子化パラメータを符号化、伝送し、４つに分割された量子化符号化ブロックそれぞれに対応する符号化情報格納メモリ１１３及び２０４のメモリ領域に同じ量子化パラメータを記憶する。メモリ内部で量子化パラメータが重複することになるが、量子化パラメータの予測での周囲の符号化済みブロックの量子化パラメータのアクセスしやすくなる。
　符号化対象の符号化ブロックが量子化符号化ブロックのブロックサイズと同じ場合（１６×１６ブロック）、上述した符号化ブロック単位での量子化パラメータの予測の場合と同じである。
　符号化対象の符号化ブロックが量子化符号化ブロックのブロックサイズより小さい場合（８×８ブロック）、例えば図１８の白抜き矩形で表される符号化ブロックであり、量子化符号化ブロックの中に４つの符号化ブロックが収納されるので、量子化符号化ブロックの中の符号化ブロックは個々で量子化パラメータを備えるのではなく、量子化符号化ブロック内で１つの量子化パラメータを備え、その量子化パラメータで個々の符号化ブロックを符号化することとする。
　尚、量子化符号化ブロックのブロックサイズは、ビットストリームのヘッダー情報にブロックサイズを直接記述しても良いし、ツリーブロックサイズの１／２ｎ倍（ｎは０以上の整数）にするかを表すビットシフト量を記述しても良い。また、特にビットストリームに記述せずに、符号化と復号で暗黙に量子化グループのサイズを決めておいても良い。
　以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
　動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
　動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
　以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１００　動画像符号化装置、　１０１　画像メモリ、　１０２　残差信号生成部、　１０３　直交変換・量子化部、　１０４　第２の符号化ビット列生成部、　１０５　逆量子化・逆直交変換部、　１０６　復号画像信号重畳部、　１０７　復号画像メモリ、　１０８　予測画像生成部、　１０９　アクティビティ算出部、　１１０　量子化パラメータ算出部、　１１１　差分量子化パラメータ生成部、　１１２　第１の符号化ビット列生成部、　１１３　符号化情報格納メモリ、　１１４　予測量子化パラメータ導出部、　１１５　符号化ビット列多重化部、　２００　動画像復号装置、　２０１　ビット列分離部、　２０２　第１符号化ビット列復号部、　２０３　量子化パラメータ生成部、　２０４　符号化情報格納メモリ、　２０５　予測量子化パラメータ導出部、　２０６　第２符号化ビット列復号部、　２０７　逆量子化・逆直交変換部、　２０８　復号画像信号重畳部、　２０９　予測画像生成部、　２１０　復号画像メモリ。
　本発明は、量子化パラメータの予測符号化を利用した画像の符号化及び復号技術に利用できる。

Claims (18)

  1. 　画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化装置であって、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出部と、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部と、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出部と、
    　前記差分量子化パラメータを符号化する符号化部とを備えることを特徴とする画像符号化装置。
  2. 　前記予測量子化パラメータ導出部は、前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータの平均値を前記予測量子化パラメータとして導出することを特徴とする請求項１に記載の画像符号化装置。
  3. 　前記量子化符号化ブロック単位は、前記画像を分割した最大符号化ブロック、又は前記最大復号ブロックを複数の量子化符号化ブロックに分割したものであることを特徴とする請求項１または２に記載の画像符号化装置。
  4. 　前記予測量子化パラメータ導出部は、前記符号化対象の量子化符号化ブロックに対して符号化順で直前の２つの量子化符号化ブロックの量子化パラメータを用いて前記予測量子化パラメータを導出することを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
  5. 　画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化方法であって、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、
    　前記差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする画像符号化方法。
  6. 　画像を符号化すると共に、前記画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを符号化する画像符号化プログラムであって、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、
    　前記差分量子化パラメータを符号化する符号化ステップとをコンピュータに実行させることを特徴とする画像符号化プログラム。
  7. 　画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを前記画像と共に符号化する画像符号化方法により符号化されたビットストリームをパケット化して符号化ストリームを得るパケット処理部と、
    　パケット化された前記符号化ストリームを送信する送信部とを備え、
    　前記画像符号化方法は、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、
    　前記差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする送信装置。
  8. 　画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを前記画像と共に符号化する画像符号化方法により符号化されたビットストリームをパケット化して符号化ストリームを得るパケット処理ステップと、
    　パケット化された前記符号化ストリームを送信する送信ステップとを備え、
    　前記画像符号化方法は、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、
    　前記差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする送信方法。
  9. 　画像を分割した量子化パラメータの管理単位である量子化符号化ブロック単位で差分量子化パラメータを前記画像と共に符号化する画像符号化方法により符号化されたビットストリームをパケット化して符号化ストリームを得るパケット処理ステップと、
    　パケット化された前記符号化ストリームを送信する送信部ステップとをコンピュータに実行させ、
    　前記画像符号化方法は、
    　符号化対象の量子化符号化ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックに対して符号化順で先行する複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記符号化対象の量子化符号化ブロックの量子化パラメータと前記予測量子化パラメータとの差分により前記符号化対象の量子化符号化ブロックの差分量子化パラメータを導出する差分量子化パラメータ導出ステップと、
    　前記差分量子化パラメータを符号化する符号化ステップとを備えることを特徴とする送信プログラム。
  10. 　画像を復号すると共に、前記画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが符号化されたビットストリームを復号する画像復号装置であって、
    　前記ビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号部と、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部と、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出部とを備えることを特徴とする画像復号装置。
  11. 　前記予測量子化パラメータ導出部は、前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータの平均値を前記予測量子化パラメータとして導出することを特徴とする請求項１０に記載の画像復号装置。
  12. 　前記量子化復号ブロック単位は、前記画像を分割した最大復号ブロック、又は前記最大復号ブロックを複数の量子化復号ブロックに分割したものであることを特徴とする請求項１０または１１に記載の画像復号装置。
  13. 　前記予測量子化パラメータ導出部は、前記復号対象の量子化復号ブロックに対して復号順で直前の２つの量子化復号ブロックの量子化パラメータを用いて前記予測量子化パラメータを導出することを特徴とする請求項１０から１２のいずれかに記載の画像復号装置。
  14. 　画像を復号すると共に、前記画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが符号化されたビットストリームを復号する画像復号方法であって、
    　前記ビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとを備えることを特徴とする画像復号方法。
  15. 　画像を復号すると共に、前記画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが符号化されたビットストリームを復号する画像復号プログラムであって、
    　前記ビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとをコンピュータに実行させることを特徴とする画像復号プログラム。
  16. 　ビットストリームを受信して復号する受信装置であって、
    　画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが前記画像と共に符号化されたビットストリームが、パケット化された符号化ストリームを受信する受信部と、
    　受信された前記パケット化された符号化ストリームをパケット処理して元のビットストリームを復元する復元部と、
    　前記復元されたビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号部と、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出部と、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出部とを備えることを特徴とする受信装置。
  17. 　ビットストリームを受信して復号する受信方法であって、
    　画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが前記画像と共に符号化されたビットストリームが、パケット化された符号化ストリームを受信する受信ステップと、
    　受信された前記パケット化された符号化ストリームをパケット処理して元のビットストリームを復元する復元ステップと、
    　前記復元されたビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとを備えることを特徴とする受信方法。
  18. 　ビットストリームを受信して復号する受信プログラムであって、
    　画像を分割した量子化パラメータの管理単位である量子化復号ブロック単位で差分量子化パラメータが前記画像と共に符号化されたビットストリームが、パケット化された符号化ストリームを受信する受信ステップと、
    　受信された前記パケット化された符号化ストリームをパケット処理して元のビットストリームを復元する復元ステップと、
    　前記復元されたビットストリームを前記量子化復号ブロック単位で復号して復号対象の量子化復号ブロックの差分量子化パラメータを抽出する復号ステップと、
    　前記復号対象の量子化復号ブロックに対して復号順で先行する複数の量子化復号ブロックの量子化パラメータを用いて予測量子化パラメータを導出する予測量子化パラメータ導出ステップと、
    　前記復号対象の量子化復号ブロックの差分量子化パラメータと前記予測量子化パラメータとの加算により前記復号対象の量子化復号ブロックの量子化パラメータを導出する量子化パラメータ導出ステップとをコンピュータに実行させることを特徴とする受信プログラム。
PCT/JP2013/001875 2012-03-28 2013-03-19 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム Ceased WO2013145642A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2014142920A RU2607998C9 (ru) 2012-03-28 2013-03-19 Устройство кодирования изображения, способ кодирования изображения и программа кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и программа декодирования изображения
BR122020010110-5A BR122020010110B1 (pt) 2012-03-28 2013-03-19 Dispositivo de codificação de imagem
BR112014023948-7A BR112014023948B1 (pt) 2012-03-28 2013-03-19 dispositivo de decodificação de imagem
US14/478,572 US10063874B2 (en) 2012-03-28 2014-09-05 Picture coding device, picture coding method, and picture coding program, and picture decoding device, picture decoding method, and picture decoding program
US16/035,885 US10171829B2 (en) 2012-03-28 2018-07-16 Picture encoding device and picture encoding method
US16/196,044 US10356434B2 (en) 2012-03-28 2018-11-20 Picture encoding device and picture encoding method
US16/196,041 US10244251B1 (en) 2012-03-28 2018-11-20 Picture encoding device and picture encoding method
US16/196,047 US10499076B2 (en) 2012-03-28 2018-11-20 Picture encoding device and picture encoding method
US16/662,368 US10616594B2 (en) 2012-03-28 2019-10-24 Picture encoding device and picture encoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012073574A JP5928073B2 (ja) 2012-03-28 2012-03-28 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2012-073574 2012-03-28
JP2012-073575 2012-03-28
JP2012073575A JP5664584B2 (ja) 2012-03-28 2012-03-28 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/478,572 Continuation US10063874B2 (en) 2012-03-28 2014-09-05 Picture coding device, picture coding method, and picture coding program, and picture decoding device, picture decoding method, and picture decoding program

Publications (1)

Publication Number Publication Date
WO2013145642A1 true WO2013145642A1 (ja) 2013-10-03

Family

ID=49258955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001875 Ceased WO2013145642A1 (ja) 2012-03-28 2013-03-19 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム

Country Status (5)

Country Link
US (6) US10063874B2 (ja)
BR (2) BR122020010110B1 (ja)
RU (5) RU2607998C9 (ja)
TW (5) TWI715508B (ja)
WO (1) WO2013145642A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145642A1 (ja) 2012-03-28 2013-10-03 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
CN105872539B (zh) 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10244255B2 (en) 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression
US10356428B2 (en) 2015-04-13 2019-07-16 Qualcomm Incorporated Quantization parameter (QP) update classification for display stream compression (DSC)
US9936203B2 (en) 2015-04-13 2018-04-03 Qualcomm Incorporated Complex region detection for display stream compression
US10284849B2 (en) 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
EP3425911A1 (en) * 2017-07-06 2019-01-09 Thomson Licensing A method and a device for picture encoding and decoding
KR102746988B1 (ko) * 2017-09-06 2024-12-30 삼성전자주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
EP3737098A4 (en) 2018-01-02 2021-06-09 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE FOR IT AND DECODING METHOD AND DEVICE FOR IT
US10491897B2 (en) 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
CN112004083B (zh) * 2019-05-27 2022-04-01 北京君正集成电路股份有限公司 一种利用帧间预测特性优化码率控制方法及系统
WO2021086021A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152518A1 (ja) * 2010-06-04 2011-12-08 ソニー株式会社 画像処理装置および方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
KR100335611B1 (ko) * 1997-11-20 2002-10-09 삼성전자 주식회사 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치
NZ519132A (en) * 1999-12-02 2004-08-27 Qualcomm Inc Apparatus and method for decoding digital image and audio signals
US7221483B2 (en) * 2000-09-05 2007-05-22 Ricoh Company, Ltd. Image encoding method and apparatus, image decoding method and apparatus, image processing apparatus, image formation apparatus, and computer-executable programs
CN1305311C (zh) * 2001-06-29 2007-03-14 株式会社Ntt都科摩 图像编码装置、图像解码装置、图像编码方法、及图像解码方法
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc CODING PROCEDURE, DECODING PROCESS, CODING DEVICE, DECODING DEVICE, IMAGE PROCESSING SYSTEM, CODING PROGRAM AND DECODING PROGRAM
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
CA2609648A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US8848789B2 (en) * 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
JPWO2008132774A1 (ja) * 2007-04-13 2010-07-22 パナソニック株式会社 動画像復号化方法、動画像復号化装置および電子機器
EP2381580A1 (en) * 2007-04-13 2011-10-26 Global IP Solutions (GIPS) AB Adaptive, scalable packet loss recovery
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
RU2471306C2 (ru) * 2008-06-27 2012-12-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
CN102090065A (zh) * 2008-07-10 2011-06-08 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
CN101790096B (zh) * 2009-01-24 2013-03-13 华为技术有限公司 基于二重预测的编解码方法及装置
JP5649296B2 (ja) 2009-10-26 2015-01-07 キヤノン株式会社 画像符号化装置
US8588297B2 (en) * 2009-12-23 2013-11-19 Oracle America, Inc. Quantization parameter prediction
MY191461A (en) * 2010-06-10 2022-06-28 Thomson Licensing Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
JP5361941B2 (ja) 2010-09-03 2013-12-04 日東電工株式会社 偏光膜を有する積層体ストリップロールの製造方法
US10298939B2 (en) * 2011-06-22 2019-05-21 Qualcomm Incorporated Quantization in video coding
WO2013145642A1 (ja) 2012-03-28 2013-10-03 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152518A1 (ja) * 2010-06-04 2011-12-08 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROFUMI AOKI ET AL.: "Non-CE4: Rate control friendly spatial QP prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC-G1028, ITU-T, 27 November 2011 (2011-11-27), pages 1 - 9 *
HIROYA NAKAMURA ET AL.: "Non-CE4: Compatible QP prediction with RC and AQ", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC-H204, ITU-T, 7 February 2012 (2012-02-07), pages 1 - 12 *

Also Published As

Publication number Publication date
RU2697929C9 (ru) 2020-09-02
TWI618400B (zh) 2018-03-11
RU2676241C1 (ru) 2018-12-26
US10063874B2 (en) 2018-08-28
TWI699112B (zh) 2020-07-11
US20200059655A1 (en) 2020-02-20
US10244251B1 (en) 2019-03-26
TW201709736A (zh) 2017-03-01
RU2014142920A (ru) 2016-05-20
RU2676241C9 (ru) 2019-08-05
US10616594B2 (en) 2020-04-07
TW201349877A (zh) 2013-12-01
US20180324451A1 (en) 2018-11-08
TWI569632B (zh) 2017-02-01
US10171829B2 (en) 2019-01-01
RU2697929C1 (ru) 2019-08-21
RU2647693C9 (ru) 2018-09-03
TWI715508B (zh) 2021-01-01
RU2694442C9 (ru) 2020-08-18
BR122020010110B1 (pt) 2021-08-17
BR112014023948B1 (pt) 2021-05-25
TW201820874A (zh) 2018-06-01
US20190089973A1 (en) 2019-03-21
US10356434B2 (en) 2019-07-16
US20190089972A1 (en) 2019-03-21
TW201926994A (zh) 2019-07-01
RU2607998C9 (ru) 2017-07-07
TW202041023A (zh) 2020-11-01
RU2647693C1 (ru) 2018-03-16
RU2694442C1 (ru) 2019-07-15
US20190089971A1 (en) 2019-03-21
US20140376621A1 (en) 2014-12-25
TWI660624B (zh) 2019-05-21
US10499076B2 (en) 2019-12-03
RU2607998C2 (ru) 2017-01-11

Similar Documents

Publication Publication Date Title
US10616594B2 (en) Picture encoding device and picture encoding method
JP6256565B2 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP6256572B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP5954514B1 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5664584B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP5928073B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6264428B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP6128265B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5954513B1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6128264B2 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6256566B2 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2013219680A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP6070875B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
JP2015080231A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013219679A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13769043

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014023948

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2014142920

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13769043

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 112014023948

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140926