WO2012120908A1 - 動画像符号化装置および動画像符号化方法 - Google Patents

動画像符号化装置および動画像符号化方法 Download PDF

Info

Publication number
WO2012120908A1
WO2012120908A1 PCT/JP2012/001665 JP2012001665W WO2012120908A1 WO 2012120908 A1 WO2012120908 A1 WO 2012120908A1 JP 2012001665 W JP2012001665 W JP 2012001665W WO 2012120908 A1 WO2012120908 A1 WO 2012120908A1
Authority
WO
WIPO (PCT)
Prior art keywords
code string
image
residual
coefficient
generated
Prior art date
Application number
PCT/JP2012/001665
Other languages
English (en)
French (fr)
Inventor
秀之 大古瀬
安倍　清史
荒川　博
重里　達郎
一仁 木村
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP12755720.5A priority Critical patent/EP2685721B1/en
Priority to KR1020137026064A priority patent/KR101880325B1/ko
Priority to JP2013503408A priority patent/JPWO2012120908A1/ja
Priority to CN201280012443.1A priority patent/CN103430548B/zh
Publication of WO2012120908A1 publication Critical patent/WO2012120908A1/ja
Priority to US14/021,207 priority patent/US10757422B2/en
Priority to US16/751,967 priority patent/US11303910B2/en
Priority to US17/686,698 priority patent/US11849124B2/en
Priority to US18/385,588 priority patent/US20240064314A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to a moving image encoding apparatus that divides an input moving image into blocks and encodes them.
  • each picture to be coded is divided into coding unit blocks, and the amount of information is compressed by reducing redundancy in the time direction and the spatial direction for each block.
  • inter-frame predictive coding for the purpose of reducing temporal redundancy, motion is detected and a predicted image is created in block units with reference to the front or rear picture, and the resulting predicted image and encoding target are obtained.
  • a difference image from the input image of the block is acquired.
  • intra prediction encoding for the purpose of reducing spatial redundancy
  • a prediction image is generated from pixel information of surrounding encoded blocks, and the obtained prediction image and the input image of the block to be encoded are obtained.
  • the difference image is acquired.
  • orthogonal transformation such as discrete cosine transformation and quantization are performed on the obtained difference image, and a code string is generated using variable length coding, thereby compressing the information amount.
  • prediction information and residual coefficient information are obtained by analyzing the code string generated by the encoding process, and prediction is performed by performing inter-screen prediction decoding and intra-screen prediction decoding using the prediction information.
  • An image is generated, a difference image is generated by performing inverse quantization and inverse orthogonal transform on the residual coefficient information, and a final output image is restored by adding the obtained predicted image and the difference image.
  • the maximum value of the generated code amount in block units is defined (specifically, 3200 bits). If the normal encoding process described above is performed, a code string exceeding the maximum value of the generated code amount may be generated depending on the properties of the input image and the conditions of the quantization process. By using the encoding mode, it is possible to always keep within the maximum value.
  • IPCM is a mode in which pixel values of an input image are described in a code string as they are as a bit string without generating a difference image by intra-screen / inter-screen prediction, or performing orthogonal transform / quantization. is there.
  • this mode for example, if the format of the input image is YUV 4: 2: 0 with 8 bits per pixel, the luminance component block is 16 ⁇ 16 pixels, and the two color difference component blocks are 8 ⁇ 8 pixels respectively. Therefore, the total is 384 bytes, and even if necessary information is included in the header, it can be surely stored within the maximum value of 3200 bits.
  • ITU-T H.264 Advanced Video coding for generic audiovisual services (03/2010)
  • Such an encoding / decoding device has a configuration that enables a parallel operation called a pipeline in order to increase processing speed. Specifically, the processing proceeds simultaneously by starting the processing of the next block before the processing of one block is completed.
  • FIG. 14 (a) shows an example of a pipeline in encoding.
  • block 1 pixel reading, mode determination (determination of inter-screen prediction mode or intra-screen prediction mode), inter-screen / intra-prediction, transform / quantization, and variable-length encoding are performed.
  • the same processing is applied to the block 2 in order.
  • the block 2 starts the processing immediately after the pixel reading of the block 1 is completed, thereby performing the processing in parallel while delaying the processing timing by one step.
  • H. In the H.264 and HEVC encoding / decoding processes processing is performed while referring to information of previously encoded / decoded blocks. Therefore, prediction information, pixel information, and encoding determined in block 1 as shown in FIG. It is necessary to perform processing while the block 2 refers to information and the like.
  • FIG. 14 (b) shows an example of a pipeline when switching to IPCM occurs. Assume that switching to the IPCM is confirmed in the variable-length encoding process of block 1. However, at this time, the encoding process has already progressed in block 2 while referring to prediction information, pixel information, and the like when block 1 performs normal encoding. For this reason, it is necessary to return to the mode determination of block 1 and update the information to be referred to by replacing the block 1 with the assumption that the block 1 has been encoded with the IPCM, and repeat the processing of the block 2.
  • the present invention solves the above-described problem.
  • the code amount generated in a block unit is kept below a specific maximum value while suppressing going back in the pipeline.
  • An object of the present invention is to provide an encoding method that can replace the conventional IPCM.
  • the moving image encoding device is a moving image encoding device that encodes an input moving image in units of blocks, and generates a predicted image corresponding to an encoding target image.
  • a prediction residual encoding unit that performs an inverse quantization process and an inverse orthogonal transform process on the residual coefficient, and generates a residual decoded image; and the prediction image generation unit
  • An adder that generates a reconstructed image by adding the generated predicted image and the residual decoded image generated by the prediction residual decoding unit, and prediction information used when generating the predicted image
  • the first coefficient code string is generated by variable-length coding the residual coefficient generated by the prediction residual coding section, and the header information is generated in the coefficient code string.
  • a coefficient code string generation unit that outputs the coefficient code string and the header information in a state in which the difference image is directly used as a coefficient code string and the header information generated by the header information generation unit is associated with the difference image.
  • the moving image encoding apparatus is a moving image encoding apparatus that encodes an input moving image in units of blocks, and generates a prediction image corresponding to an encoding target image.
  • An image generation unit, a subtracter that generates a difference image between the encoding target image and the generated predicted image, and an orthogonal transform process and a quantization process are performed on the output of the subtractor, and a residual coefficient is obtained.
  • An adder that generates a reconstructed image by adding the predicted image generated in step 1 and the residual decoded image generated by the prediction residual decoding unit, and the prediction used when generating the predicted image Generate header information including at least information
  • a header code string generation unit generates a first coefficient code string by variable-length coding the residual coefficient generated by the prediction residual coding unit, and generates the header information in the coefficient code string
  • the coefficient code string and the header information are output in a state in which the header information generated by the unit is associated, and in the second mode, the difference image generated by the subtractor is variable-length-coded to output the difference
  • a coefficient code string generating unit that outputs the coefficient code string and the header information in a state in which the image is directly used as a coefficient code string and the header information generated by the
  • the moving image encoding apparatus is a moving image encoding apparatus that encodes an input moving image in units of blocks, and generates a prediction image corresponding to an encoding target image.
  • An image generation unit, a subtracter that generates a difference image between the encoding target image and the generated predicted image, and an orthogonal transform process and a quantization process are performed on the output of the subtractor, and a residual coefficient is obtained.
  • a prediction residual encoding unit to generate, a prediction residual decoding unit that generates a residual decoded image by performing an inverse quantization process and an inverse orthogonal transform process on the residual coefficient, and the prediction image generation unit
  • An adder that generates a reconstructed image by adding the predicted image generated in step 1 and the residual decoded image generated by the prediction residual decoding unit, and the prediction used when generating the predicted image
  • Generate header information including at least information
  • a header code string generation unit generates a first coefficient code string by variable-length coding the residual coefficient generated by the prediction residual coding unit, and generates the header information in the coefficient code string
  • the coefficient code string and the header information are output in a state in which the header information generated by the unit is associated, and the residual decoded image generated by the prediction residual decoding unit is variable in the second mode Without the long code, the residual decoded image is directly used as a coefficient code string, and the coefficient code string and the header code generated in the header information generation unit are associated with the residual decoded
  • the present invention can also realize processing equivalent to each means included in such a moving image coding apparatus as a program or an integrated circuit.
  • the residual coefficient generated by the prediction residual encoding unit in the first mode, is variable-length encoded to generate a coefficient code string, and the coefficient code string is generated. A coefficient code string and header information are output in a state in which the header information generated by the header information generation unit is associated.
  • the residual decoded image generated by the prediction residual decoding unit in the second mode, is not subjected to variable-length coding, and the residual decoded image is directly used as a coefficient code sequence, and the header information code is included in the coefficient code sequence
  • the coefficient code string and the header information are output in a state where the header information generated by the string generation unit is associated.
  • the residual decoded image is based on the same input image as the residual coefficient. Further, when the decoding apparatus decodes the residual coefficient using the coefficient and a set of prediction information, the same image as the residual decoded image is obtained. That is, the pixel information of the reconstructed image finally generated in the decoding device is the same in both the first mode and the second mode. For this reason, even when the second mode is used, it is not necessary to change the prediction information described in the header code string or to perform encoding again. For this reason, there is no influence on the processing of other blocks in which the encoding process is in progress while referring to the prediction information and pixel information of the current block. Therefore, it is possible to encode only the coefficient code string in the PCM mode without going back in the pipeline. Therefore, in a coding apparatus having a pipeline structure, the generated code amount in units of blocks can be kept below a specific maximum value without increasing the processing speed or increasing the processing amount.
  • the same effect as that of the encoding device of the first aspect can be obtained while variable-length encoding a difference image.
  • the residual coefficient generated by the prediction residual encoding unit is variable-length encoded to generate a coefficient code string, and the coefficient code string is generated.
  • a coefficient code string and header information are output in a state in which the header information generated by the header information generation unit is associated.
  • a final code string is obtained by adding a code string obtained without performing variable-length coding on the difference image output from the subtractor following the code string generated by the header information generation unit. Is generated.
  • the residual coefficient is based on the same input image as the difference image. Therefore, even when the current block is switched to the PCM mode, it is not necessary to change the prediction information described in the header code string.
  • the decoding apparatus decodes the residual coefficient using the signal and a set of prediction information, an image different from the difference image is generated. Therefore, the pixel information of the reconstructed image finally obtained in the decoding device differs between when encoded in the first mode and when encoded in the second mode.
  • encoding processing of other blocks that refer to the pixel information of the current block is in progress. Therefore, it is necessary to replace the pixel information and perform the process again in the other blocks. Therefore, it is necessary to go back to the inter-screen / intra-prediction processing of the current block.
  • FIG. 3 is a flowchart of a code string generation process according to the first embodiment.
  • 6 is a conceptual diagram for explaining an example of a syntax of a code string generated according to Embodiment 1.
  • FIG. 6 is a conceptual diagram for explaining another example of the syntax of the code string generated by the first embodiment.
  • FIG. 10 is a conceptual diagram for explaining yet another example of the syntax of the code string generated by the first embodiment. It is a conceptual diagram for demonstrating the pipeline control of the moving image encoder which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the moving image encoder which concerns on Embodiment 2.
  • FIG. 3 is a flowchart of a code string generation process according to the first embodiment.
  • 6 is a conceptual diagram for explaining an example of a syntax of a code string generated according to Embodiment 1.
  • FIG. 6 is a conceptual diagram for explaining another example of the syntax of the code string generated by the first embodiment.
  • FIG. 10 is a conceptual diagram for explaining yet another
  • 10 is a flowchart of a code string generation process according to the second embodiment. It is a conceptual diagram for demonstrating the pipeline control of the moving image encoder which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the structure of the moving image encoder which concerns on Embodiment 3.
  • 10 is a flowchart of a code string generation process according to the third embodiment. It is a block diagram which shows the structure of the moving image decoding apparatus which concerns on Embodiment 4.
  • 10 is a flowchart of code string analysis processing according to the fourth embodiment. It is a conceptual diagram for demonstrating the pipeline control of the conventional moving image encoder.
  • FIG. 1 is a block diagram showing the configuration of a video encoding device 100 according to this embodiment.
  • the moving image encoding apparatus 100 divides a moving image input in units of pictures into blocks, performs an encoding process in units of blocks, and generates a code string.
  • the moving picture encoding apparatus 100 includes a picture memory 101, a prediction residual encoding unit 102, a prediction residual decoding unit 103, a local buffer 104, a prediction encoding unit 105, and a quantization value determination unit 106.
  • the picture memory 101 stores the input image signal 151 input in units of pictures in the order of display by rearranging the pictures in the order of encoding.
  • the picture memory 101 receives a read command from the difference calculation unit 109 or the predictive coding unit 105, the picture memory 101 outputs an input image signal related to the read command.
  • each picture is divided into coding units composed of a plurality of pixels called coding units (hereinafter referred to as CU).
  • the CU is, for example, a horizontal 64 ⁇ vertical 64 pixel block, a horizontal 32 ⁇ vertical 32 pixel block, a horizontal 16 ⁇ vertical 16 pixel block, or the like.
  • the subsequent processing is performed in units of CUs.
  • the prediction residual encoding unit 102 performs orthogonal transformation on the difference image signal 152 output from the difference calculation unit 109. Further, the prediction residual encoding unit 102 compresses the image information by performing quantization on the obtained orthogonal transform coefficient of each frequency component, and generates a residual encoded signal 153. The prediction residual encoding unit 102 outputs the generated residual encoded signal 153 to the prediction residual decoding unit 103 and the coefficient code string generation unit 108. At this time, the prediction residual encoding unit 102 quantizes the orthogonal transform coefficient using the quantized value signal 158 determined by the quantized value determining unit 106.
  • the prediction residual decoding unit 103 generates a residual decoded signal 154 by performing inverse quantization and inverse orthogonal transform on the residual encoded signal 153 output from the prediction residual encoding unit 102. Then, the generated residual decoded signal 154 is output to the addition operation unit 110.
  • the local buffer 104 stores the reconstructed image signal 155 output from the addition operation unit 110.
  • the reconstructed image signal 155 is used for predictive coding processing in coding of a picture subsequent to a picture that is currently being coded. That is, the reconstructed image signal 155 is referred to as pixel data when a picture subsequent to the current picture to be coded is coded.
  • the local buffer 104 outputs the stored reconstructed image signal 155 as pixel data to the predictive encoding unit 105 in response to a read command from the predictive encoding unit 105.
  • the predictive encoding unit 105 generates a predictive image signal 156 using intra prediction or inter prediction based on the input image signal output from the picture memory 101. Then, the predictive coding unit 105 outputs the generated predicted image signal 156 to the difference calculation unit 109 and the addition calculation unit 110. Note that the prediction encoding unit 105 uses the reconstructed image signal 155 of a past picture that has already been encoded and stored in the local buffer 104 when using inter-screen prediction. Further, when using intra prediction, the predictive encoding unit 105 uses the reconstructed image signal 155 of the current picture of an already encoded CU adjacent to the encoding target CU. The mode determination method of using intra-screen prediction or inter-screen prediction is performed by predicting which prediction method can reduce the information amount of the residual signal.
  • the quantized value determining unit 106 sets a quantized value when the difference image signal 152 is quantized by the prediction residual encoding unit 102 based on the picture stored in the picture memory 101.
  • the quantized value determination unit 106 outputs the set quantized value to the prediction residual encoding unit 102 and the header code string generation unit 107.
  • a quantization value setting method in the quantization value determination unit 106 a quantization value is set so that the bit rate of the code string signal 159 approaches the target bit rate, so-called quantization based on rate control.
  • a value setting method may be used.
  • the header code string generation unit 107 is a variable-length code for the prediction information signal 157 output from the prediction encoding unit 105, the quantization value signal 158 output from the quantization value determination unit 106, and other control information related to encoding control.
  • the prediction information included in the prediction information signal 157 includes, for example, information indicating an intra prediction mode, information indicating an inter prediction mode, information indicating a motion vector, information indicating a reference picture, and the like.
  • the control information is information that can be acquired before the processing in the coefficient code string generation unit 108, and is information that indicates the encoding condition applied when the CU is encoded. For example, block coding type, block division information, and the like are included.
  • the coefficient code sequence generation unit 108 is a code sequence generated by variable-length encoding the residual encoded signal 153 output from the prediction residual encoding unit 102, or residual decoding output from the prediction residual decoding unit 103.
  • a final code string signal 159 is generated by adding a code string generated without variable-length coding of the signal 154 to the code string generated by the header code string generation unit 107.
  • the variable-length coding here includes arithmetic coding. The same applies to the following.
  • the coefficient code string generation unit 108 executes by switching between the two modes according to the input signal.
  • a code string signal 159 is generated from a code string obtained by variable-length encoding the residual encoded signal 153 output from the prediction residual encoding unit 102 and a code string output from the header code string generating unit 107. This is the mode to output.
  • the second mode is a mode in which the code sequence signal 159 is generated from the residual decoded signal 154 output from the prediction residual decoding unit 103 and the code sequence output from the header code sequence generating unit 107 and output.
  • the residual decoded signal 154 is not subjected to variable length coding, but the residual decoded signal 154 is handled as it is as a code sequence.
  • the difference calculation unit 109 generates a difference image signal 152 that is a difference value between the image signal read from the picture memory 101 and the prediction image signal 156 that is the output of the prediction encoding unit 105, and performs prediction residual encoding. Output to the unit 102.
  • the addition operation unit 110 adds the residual decoded signal 154 output from the prediction residual decoding unit 103 and the predicted image signal 156 output from the prediction encoding unit 105, thereby adding the reconstructed image signal 155. Generated and output to the local buffer 104 and the prediction encoding unit 105.
  • the header code string generation unit 107 performs variable-length encoding on the prediction information signal 157, the quantized value signal 158, and other encoding control information generated as a result of performing the above-described encoding process, thereby generating header information.
  • a code string is generated (S401).
  • the coefficient code string generation unit 108 determines whether or not the generated code amount of the encoding target CU may exceed the specified value using the input residual encoded signal 153 (S402). .
  • step S403 When it is determined in step S402 that there is no possibility of exceeding, an identifier indicating that the coefficient is encoded in the Residual mode is encoded (S403), and then input in the same manner as in the conventional encoding.
  • the residual encoded signal 153 is subjected to variable length coding (Residual mode) to generate a code string (S404).
  • step S402 determines whether there is a possibility of exceeding.
  • an identifier indicating that the coefficient is encoded in the PCM mode is encoded (S405), and then the input residual decoding is performed.
  • a code string is generated by adding the signal 154 without being variable-length encoded to the code string as it is (PCM mode) (S406).
  • step S402 it is determined whether there is a possibility that the generated code amount of the encoding target CU exceeds the specified value using the input residual encoded signal 153, but other methods are used. It may be used to determine whether or not there is a possibility that the generated code amount exceeds a specified value. For example, there is a method for determining whether the code amount exceeds a predetermined value using the code string signal 159. In this case, since the code sequence has already been output from the coefficient code sequence generation unit 108 at the time of determination, in the code sequence, the code sequence obtained by variable-length encoding the residual encoded signal 153 is replaced. Then, the processing is performed by replacing the input residual decoded signal 154 as it is.
  • the determination may be performed in a plurality of CU units or another block unit.
  • FIG. 3 is a diagram showing an example of syntax: coding_unit () in CU units in the code string generated according to the present embodiment.
  • a code sequence generated by the header code sequence generation unit 107 in which information such as prediction mode: pred_mode, prediction information: prediction_unit (), quantized value: qp_value, is variable-length encoded, is described. Yes.
  • the identifier pcm_flag described in FIG. 2 is described. That this identifier is 0 indicates that the coefficient code string is described in Residual_data () in the Residual mode. An identifier of 1 indicates that the coefficient code string is described in pcm_data () by the PCM mode.
  • the coefficient code string described in pcm_data () is a residual decoded signal 154 that is not subjected to variable length coding as described above.
  • FIG. 4 is a diagram showing another example of the CU unit syntax: coding_unit () of the code string generated according to the present embodiment.
  • coding_unit () of the code string generated according to the present embodiment.
  • the only difference from the syntax described in FIG. 3 is that cbp_yuv_root is used instead of pcm_flag as an identifier.
  • This identifier is used to indicate whether or not there is a residual encoded signal for each luminance component and chrominance component in the conventional encoding.
  • the fact that this identifier is 0 to 7 indicates that the coefficient code string is described in Residual_data () in the Residual mode as before. That this identifier is 8 indicates that the coefficient code string is described in pcm_data () by the PCM mode. That is, the eighth information is added to the existing information from 0 to 7.
  • FIG. 5 is a diagram showing still another example of the syntax of the CU unit of the code string generated by the present embodiment: coding_unit ().
  • residual_data_flag is used instead of pcm_flag as an identifier.
  • This identifier is used to indicate whether or not there is a residual encoded signal in the target block in another conventional encoding. That is, when this identifier is 0, it indicates that there is no coefficient information as usual.
  • the identifier of 1 indicates that the coefficient information is described in Residual_data () in the Residual mode as before.
  • the identifier being 2 indicates that the coefficient code string is described in pcm_data () by the PCM mode.
  • FIGS. 3, 4, and 5 are examples for explaining the present embodiment, and syntax and identifier values different from those described here. A similar function may be realized by assigning.
  • the specified value in step S402 in FIG. 2 is the encoding amount necessary for describing the residual decoded signal 154 as a code string as it is and all the information to be described in the header code string.
  • This is a code amount obtained by adding a margin amount to a code amount that is combined with the maximum code amount that is necessary for the above.
  • the format of the image is YUV 4: 2: 0 with 8 bits per pixel and the size of the encoding target CU is 32 ⁇ 32 pixels
  • the residual decoded signal 154 is described as a code string as it is.
  • the code amount required for 1 is 1536 bytes.
  • the specified value may be a code amount that is a combination of this code amount, the maximum code amount necessary for encoding all information to be described in the header code string, and the margin amount. Conceivable. For example, a value such as 13000 bits can be considered.
  • FIG. 6A shows pipeline control when a coefficient code string is generated in the Residual mode as a result of the determination in step S402 of FIG. Processing is performed in exactly the same flow as in the conventional control described with reference to FIG.
  • FIG. 6B is a diagram showing pipeline control when a coefficient code string is generated in the PCM mode as a result of the determination in step S402 of FIG.
  • the residual encoded signal 153 generated by the prediction residual encoding unit 102 is variable-length encoded to generate a coefficient code string, and the coefficient code string includes a header.
  • the coefficient code string and the header information are output in a state where the header information generated by the code string generation unit 107 is associated.
  • the residual decoding signal 154 generated by the prediction residual decoding unit 103 is not subjected to variable length coding, and the residual decoding signal 154 is directly used as a coefficient code string.
  • the coefficient code string and header information are output in a state where the header information generated by the header information code string generation unit 107 is associated.
  • the residual decoded signal 154 is based on the same input image signal 151 as the residual encoded signal 153. Further, when the decoding apparatus decodes the residual encoded signal 153 using the prediction information of the signal and the set, the same signal as the residual decoded signal 154 is obtained. That is, the pixel information of the reconstructed image signal finally generated in the decoding apparatus is the same in both the first mode and the second mode. For this reason, even if the block 1 is switched to the PCM mode, it is not necessary to change the prediction information described in the header code string or re-encode. Therefore, there is no influence on the process of block 2 in which the encoding process is in progress with reference to the prediction information and pixel information of block 1. Therefore, it is possible to encode only the coefficient code string in the PCM mode without going back in the pipeline.
  • the decoding apparatus when the residual decoded signal 154 is output, the decoding apparatus does not need to decode the signal. Therefore, prediction information is not necessary for decoding the signal, but this prediction information is referred to in decoding of block 2 and the like.
  • the moving picture encoding apparatus can perform encoding by switching to the PCM mode without going back in the pipeline, the block can be achieved without increasing the processing speed or increasing the processing amount. It is possible to keep the generated code amount of a unit below a specific maximum value.
  • the moving image encoding apparatus 100 is a moving image encoding apparatus 100 that encodes an input moving image in units of blocks, and generates a predicted image corresponding to an encoding target image.
  • Unit 105 a difference calculation unit 109 that generates a difference image signal 152 between the encoding target image and the generated predicted image, and an orthogonal transformation process and a quantization process on the output of the difference calculation unit 109
  • the prediction residual encoding unit 102 that generates the residual encoded signal 153 and the inverse quantized process and the inverse orthogonal transform process on the residual encoded signal 153 to generate the residual decoded signal 154
  • Prediction residual decoding unit 103 Prediction residual decoding unit 103, and the reconstructed image by adding the prediction image generated by prediction encoding unit 105 and the residual decoding signal 154 generated by prediction residual decoding unit 103
  • An addition operation unit 110 that generates a signal 155; a header code string generation unit 107 that generates header information including at least prediction information used when
  • the coefficient coding sequence is generated by variable length coding the residual encoded signal 153 generated by the unit 102, and the coefficient code sequence is associated with the header information generated by the header information generating unit. While outputting the code string and the header information, in the second mode, the residual decoded signal 154 is generated without performing variable length coding on the residual decoded signal 154 generated by the prediction residual decoding unit 103. Is directly used as a coefficient code string, and the coefficient code string and the header information are output in a state where the header information generated by the header information generation unit is associated with the coefficient code string. It includes a coefficient code string generating unit 108, a.
  • the coefficient code string generation unit 108 associates an identifier indicating whether to perform inverse quantization and inverse orthogonal transform when decoding the coefficient code string, with the coefficient code string and the header information.
  • the coefficient code string, the header information, and the identifier are output.
  • the identifier is an identifier used in common for the coefficient code string in the first mode and the coefficient code string in the second mode, and one of the identifier information is a coefficient in the first mode. It indicates that it has been encoded as a code string, and another one indicates that it has been encoded as a coefficient code string in the second mode, and whether there is an encoded residual encoded signal 153 Is shown.
  • Embodiment 2 A video encoding apparatus according to Embodiment 2 will be described with reference to the drawings.
  • FIG. 7 is a block diagram of a video encoding device 100-1 according to this embodiment.
  • the moving image encoding apparatus 100-1 divides a moving image input in units of pictures into blocks, performs encoding processing in units of blocks, and generates a code string.
  • This moving image encoding apparatus 100-1 includes a coefficient code string generation unit 108-1 instead of the coefficient code string generation unit 108 of the moving image encoding apparatus 100 of the first embodiment.
  • the coefficient code string generation unit 108-1 converts the code string obtained by variable-length coding the residual encoded signal 153 output from the prediction residual coding unit 102 into the code string generated by the header code string generation unit 107.
  • a first mode for generating a final code string signal 159-1 by additionally writing is provided.
  • the coefficient code string generation unit 108-1 converts the code string obtained without variable-length coding the difference image signal 152 output from the difference calculation unit 109 into the code string generated by the header code string generation unit 107. It has a second mode for generating a final code string signal 159-1 by additionally recording.
  • a code string obtained by variable-length coding the difference image signal 152 output from the difference calculation unit 109 is added after the code string generated by the header code string generation unit 107.
  • a mode for generating the final code string signal 159-1 may be used.
  • the coefficient code string generation unit 108-1 switches between the first mode and the second mode for execution.
  • FIG. 8 is a flowchart showing a method of generating a code string signal in the header code string generation unit 107 and the coefficient code string generation unit 108-1.
  • step S406-1 is performed instead of step S406 in the flowchart of FIG. 2 of the first embodiment.
  • step S402 when it is determined in step S402 that the generated code amount of the CU to be encoded may exceed the specified value, an identifier indicating that the coefficient is encoded in the PCM mode is encoded. (S405). Subsequently, the input differential image signal 152 is added to the code string as it is without variable length coding (PCM mode) to generate a code string (S406-1). In the above description, the difference image signal 152 may be variable-length encoded and output.
  • the specified value in step S402 in FIG. 8 is the code amount necessary for describing the difference image (the pixel value of the difference image signal 152) as a code string as it is, and all the values to be described in the header code string.
  • This is a code amount obtained by adding a margin amount to a code amount that is combined with the maximum code amount necessary for encoding information.
  • the image format is YUV 4: 2: 0 with 8 bits for each pixel and the size of the encoding target CU is 32 ⁇ 32 pixels
  • the pixel value of the difference image signal 152 is described as a code string as it is.
  • the code amount required for 1 is 1536 bytes, and a margin amount is added to the code amount combined with the maximum code amount required for encoding all the information to be described in the header code string, A value such as 13000 bits can be considered as the specified value.
  • FIG. 9A shows pipeline control when the coefficient code string is generated in the Residual mode as a result of the determination in step S402 of FIG. Processing is performed in exactly the same flow as in the conventional control described with reference to FIG.
  • FIG. 9B shows pipeline control when a coefficient code string is generated in the PCM mode as a result of the determination in step S402 of FIG.
  • the header code string generation unit 107 in the first mode, the header code string generation unit 107 generates a code string obtained by variable-length coding the residual encoded signal 153 output from the prediction residual coding unit 102.
  • the final code string signal 159-1 is generated by appending to the generated code string.
  • a code string obtained without variable-length coding the difference image signal 152 output from the difference calculation unit 109 is added after the code string generated by the header code string generation unit 107.
  • the final code string signal 159-1 is generated.
  • the residual encoded signal 153 is based on the same input image signal 151 as the difference image signal 152. Therefore, even when the block 1 is switched to the PCM mode, it is not necessary to change the prediction information described in the header code string.
  • the decoding apparatus decodes the residual encoded signal 153 using the prediction information of the signal and the set, a signal different from the difference image signal 152 is generated. Therefore, the pixel information of the reconstructed image signal finally obtained in the decoding apparatus differs between when encoded in the first mode and when encoded in the second mode.
  • the encoding process of block 2 referring to the pixel information of block 1 is in progress. Therefore, also in block 2, it is necessary to replace the pixel information and perform the process again. Therefore, it is necessary to go back to the inter-screen / intra-prediction processing of block 1.
  • the moving picture coding apparatus can reduce the amount of processing going back in the pipeline as compared with the conventional art. Therefore, it is possible to keep the generated code amount in units of blocks below a specific maximum value while suppressing delay in processing speed or increase in processing amount.
  • the difference image before the encoding process is encoded. Therefore, it is possible to improve the image quality of the image decoded by the corresponding video decoding device.
  • the moving image encoding apparatus is a moving image encoding apparatus 100-1 that encodes an input moving image on a block basis, and generates a prediction image corresponding to an encoding target image.
  • a difference calculation unit 109 that generates a difference image signal 152 between the encoding target image and the generated predicted image, and orthogonal transform processing and quantization processing on the output of the difference calculation unit 109
  • the residual encoding signal 153, and the residual encoding signal 153 is subjected to inverse quantization processing and inverse orthogonal transformation processing to generate the residual decoding signal 154.
  • the prediction residual decoding unit 103, and the prediction image generated by the prediction encoding unit 105 and the residual decoded signal 154 generated by the prediction residual decoding unit 103 are added to reconstructed image Trust
  • the prediction residual encoding is performed.
  • the coefficient coding sequence is generated by variable length coding the residual encoded signal 153 generated by the unit 102, and the coefficient code sequence is associated with the header information generated by the header information generating unit.
  • the difference image signal 152 is directly used as a coefficient code string without variable-length coding the difference image signal 152 generated by the difference calculation unit 109,
  • the moving image encoding apparatus is a moving image encoding apparatus 100-1 that encodes an input moving image in units of blocks, and generates a prediction image corresponding to an encoding target image.
  • the prediction residual decoding unit 103 Reconstructing by adding the prediction residual decoding unit 103 to be generated, the prediction image generated by the prediction encoding unit 105, and the residual decoded signal 154 generated by the prediction residual decoding unit 103 image
  • the prediction residual encoding in the first mode the addition calculation unit 110 that generates the signal 155
  • the header code string generation unit 107 that generates header information including at least prediction information used when generating the prediction image
  • the coefficient coding sequence is generated by variable length coding the residual encoded signal 153 generated by the unit 102, and the coefficient code sequence is associated with the header information generated by the header information generating unit.
  • the difference image signal 152 generated by the difference calculation unit 109 is variable-length encoded, and the difference image signal 152 is directly used as a coefficient code sequence, and the coefficient A coefficient code string generation unit that outputs the coefficient code string and the header information in a state in which the header information generated by the header information generation unit is associated with the code string. Includes a 08-1, the.
  • the coefficient code string generation unit 108-1 includes an identifier indicating whether or not to perform inverse quantization and inverse orthogonal transform when decoding the coefficient code string in the coefficient code string and the header information. In the associated state, the coefficient code string, the header information, and the identifier are output.
  • the identifier is an identifier used in common for the coefficient code string in the first mode and the coefficient code string in the second mode, and one of the identifier information is a coefficient in the first mode. It indicates that it has been encoded as a code string, and another one indicates that it has been encoded as a coefficient code string in the second mode, and whether there is an encoded residual encoded signal 153 Is shown.
  • Embodiment 3 A video encoding apparatus according to Embodiment 3 will be described with reference to the drawings.
  • FIG. 10 is a block diagram of a video encoding device 100-2 according to this embodiment.
  • the moving image encoding apparatus 100-2 divides a moving image input in units of pictures into blocks, performs encoding processing in units of blocks, and generates a code string.
  • This moving image encoding apparatus 100-2 includes a coefficient code string generation unit 108-2 instead of the coefficient code string generation unit 108 of the moving image encoding apparatus 100 of the first embodiment.
  • the coefficient code string generation unit 108-2 switches between the two modes according to the input signal and executes it.
  • a code sequence obtained by variable-length encoding the residual encoded signal 153 output from the prediction residual encoding unit 102 is added after the code sequence generated by the header code sequence generating unit 107.
  • the final code string signal 159-2 is generated.
  • the header code string generation unit 107 generates a code string obtained without performing variable length coding on a code string obtained by multiplying each coefficient of the residual decoded signal 154 by 1 / N (N is a natural number).
  • the final code string signal 159-2 is generated by adding the code string after the code string.
  • FIG. 11 is a flowchart illustrating a method of generating a code string signal in the header code string generation unit 107 and the coefficient code string generation unit 108-2.
  • step S406-2 is performed instead of step S406 in the flowchart of FIG. 2 of the first embodiment.
  • step S402 when it is determined in step S402 that the generated code amount of the encoding target CU may exceed a specified value, an identifier indicating that the coefficient is encoded in the PCM mode is encoded. (S405). Subsequently, each coefficient of the input residual decoded signal 154 is multiplied by 1 / N and added to the code string as it is without performing variable length coding (PCM mode) to generate a code string (S406-). 2).
  • Pipeline Improvement Effect The example of the pipeline of the moving picture coding apparatus according to the present embodiment is substantially the same as that shown in FIG. 9, and different points will be described below.
  • FIG. 9B is a diagram illustrating pipeline control when a coefficient code string is generated in the PCM mode as a result of the determination in step S402 in FIG.
  • the prediction information described in the header code string is not changed.
  • the residual decoded image changes. Therefore, the encoding process of block 2 that refers to the pixel information of block 1 is in progress. As a result, it is necessary to replace the pixel information and start again. Therefore, the process goes back to the inter-screen / intra-prediction process of block 1.
  • the moving picture coding apparatus can reduce the amount of processing going back in the pipeline as compared with the conventional art. Therefore, it is possible to keep the generated code amount in units of blocks below a specific maximum value while suppressing delay in processing speed or increase in processing amount.
  • the residual decoded image is multiplied by 1 / N. Therefore, the bit amount can be reduced.
  • N is a fixed value, it does not have to be described on the syntax.
  • a field for setting one value for each picture may be provided to describe the value.
  • the coefficient code string generation unit 108-2 in the present embodiment generates a first coefficient code string by variable-length coding the residual encoded signal 153 in the first mode, and in the second mode.
  • the differential decoded image multiplied by 1 / N (N is a natural number) is used as a second coefficient code string.
  • the coefficient code string generation unit 108-2 in the present embodiment generates a first coefficient code string by variable-length coding the residual encoded signal 153 in the first mode, and in the second mode.
  • the differential image signal 152 multiplied by 1 / N (N is a natural number) is used as a second coefficient code string.
  • Embodiment 4 A moving picture decoding apparatus according to Embodiment 4 will be described with reference to the drawings.
  • FIG. 12 is a block diagram illustrating a configuration of a video decoding device 200 according to the fourth embodiment.
  • the moving picture decoding apparatus 200 decodes the code sequence generated by the moving picture encoding apparatus described in Embodiment 2 in units of blocks called coding units (CUs), and generates an output image.
  • CUs coding units
  • the moving picture decoding apparatus 200 includes a header code string analysis unit 201, a coefficient code string analysis unit 202, a prediction residual recovery unit 203, a picture memory 204, a prediction decoding unit 205, and a quantization value determination. Part 206.
  • the header code string analysis unit 201 analyzes header information by performing variable length decoding on the header area of the input code string signal 251 in block units.
  • the header code string analysis unit 201 outputs the prediction information signal 256 obtained by the analysis to the prediction decoding unit 205. Further, the header code string analysis unit 201 outputs the quantized value information obtained by the analysis to the quantized value determination unit 206.
  • the coefficient code string analysis unit 202 analyzes the coefficient code string encoded following the header information analyzed by the header code string analysis unit 201. At this time, if the coefficient code string is the residual encoded signal 252 as a result of the analysis, the coefficient code string analyzing unit 202 outputs the residual encoded signal 252 to the prediction residual decoding unit 203. On the other hand, if the coefficient code string is the difference image signal 259 as a result of the analysis, the coefficient code string analysis unit 202 outputs the difference image signal 259 to the adder 207, bypassing the prediction residual decoding unit 203. . That is, when the coefficient code string is the difference image signal 259, the generation process of the residual decoded signal 253 by the prediction residual decoding unit 203 is not performed.
  • the coefficient code string analysis unit When the coefficient code string is variable-length encoded, the coefficient code string analysis unit performs variable-length decoding on the coefficient code string, and then outputs it as a residual encoded signal 252 or a difference image signal 259. On the other hand, when the variable length coding is not performed, the coefficient code string analysis unit outputs the coefficient code string as a residual encoded signal 252 or a difference image signal 259 without performing variable length decoding.
  • the prediction residual decoding unit 203 generates a residual decoded signal 253 by performing inverse quantization and inverse orthogonal transform on the residual encoded signal 252 input from the coefficient code string analyzing unit 202. Then, the prediction residual decoding unit 203 outputs the generated residual decoding signal 253 to the addition operation unit 207. At this time, the prediction residual decoding unit 203 controls inverse quantization by using the quantized value signal 257 determined by the quantized value determining unit 206.
  • the predictive decoding unit 205 generates a predicted image signal 254 using intra prediction or inter prediction based on the prediction information signal 256 output from the header code string analysis unit 201. Then, the predictive decoding unit 205 outputs the generated predicted image signal 254 to the addition operation unit 207. Note that the predictive decoding unit 205 uses the reconstructed image signal 255 of a past picture that has already been decoded and stored in the picture memory 204 when using inter-screen prediction. Further, when using intra prediction, the predictive decoding unit 205 uses the reconstructed image signal 255 of the current picture of a CU that has already been decoded and is adjacent to the decoding target CU. The determination of whether to use intra prediction or inter prediction is performed according to the input prediction information signal 256.
  • the prediction decoded output from the prediction decoding unit 205 is added to the residual decoded signal 253 output from the prediction residual decoding unit 203 or the difference image signal 259 output from the coefficient code string analysis unit 202.
  • the reconstructed image signal 255 is generated by adding the image signal 254.
  • the generated reconstructed image signal 255 is stored in the picture memory 204 and is finally output to the display device as an output image signal 258 in units of pictures.
  • the header code string analysis unit 201 analyzes header information by performing variable-length decoding on the header area of the input code string, and generates a generated prediction information signal 256, quantized value information, and the like. Is output to each processing block of FIG. 12 (S1201).
  • the coefficient code string analysis unit 202 analyzes the identifier in step S1202, and then in step S1203, the analyzed identifier indicates that the coefficient is encoded in the PCM mode, or Residual. It is determined whether the mode indicates that the coefficient is encoded.
  • the residual encoded signal 252 is obtained by performing variable-length decoding on the input coefficient code string in the same manner as in the past. And output to the prediction residual decoding unit 203 (S1204).
  • step S1203 if it is determined in step S1203 that the coefficient is encoded in the PCM mode, the input image is not subjected to variable length decoding on the coefficient code string, and is directly used as the difference image signal 259. Subsequent processing is performed in place of the residual decoded signal 253 output from the differential decoding unit 203 (S1205).
  • the processing method for the code sequence generated by the video encoding device 100-1 described in the second embodiment has been described. However, in the video encoding device 100 described in the first embodiment, the processing method is described.
  • the generated code string can be decoded by the same processing method.
  • the information acquired in step S1205 is replaced with the residual decoded signal 252 after residual decoding in the corresponding encoding device, but the decoding process can be performed without distinction. It is.
  • each coefficient of the residual decoded signal 252 is multiplied by N times in the coefficient code sequence analysis unit 202 in step S1205. Only the part that is output as the residual decoded signal 252 is different, and the other processes can be decoded by the same processing method.
  • a moving picture encoding apparatus that generates a code string corresponding to the moving picture decoding apparatus can have the configuration described in the first embodiment.
  • encoding can be performed by switching to the PCM mode without going back in the pipeline. Therefore, it is possible to keep the generated code amount in units of blocks below a specific maximum value without increasing the processing speed delay or the processing amount.
  • a moving picture coding apparatus that generates a code string corresponding to the moving picture decoding apparatus according to the present embodiment has the configuration described in the second or third embodiment.
  • the amount of processing going back in the pipeline can be reduced as compared with the conventional case. Therefore, it is possible to keep the generated code amount in units of blocks below a specific maximum value while suppressing delay in processing speed or increase in processing amount, and it is possible to further improve the image quality of the decoded image.
  • the moving picture decoding apparatus 200 is a moving picture decoding apparatus 200 that decodes a decoding target code sequence in units of blocks, and is based on information based on the encoded residual coefficient and the associated information.
  • a header code string analysis unit 201 that accepts the decoding target code string, and a header code that acquires the prediction information that is information related to a prediction image used when the decoding target code string is generated at least from the header information
  • a prediction decoding unit 205 that generates a prediction image corresponding to the decoding target code sequence, and a decoding target code received by the header code sequence analysis unit 201
  • the residual decoded image generated by the prediction residual decoding unit 203 and the prediction image generated by the predictive decoding unit 205 are added.
  • the second decoding Included in target code string Provided that the residual image by the adding said prediction image generated by the prediction decoding unit 205, an addition unit 207 for generating and outputting a reconstructed image.
  • the moving picture decoding apparatus 200 is a moving picture decoding apparatus 200 that decodes a decoding target code string in units of blocks, and is based on the encoded residual coefficient and the correspondence to the information.
  • a first decoding target code sequence including the header information thus obtained or a residual decoded image obtained by locally decoding a residual coefficient obtained in the encoding process of the decoding target code sequence and header information associated therewith
  • a header code string analysis unit 201 that accepts a second decoding target code string as a decoding target code string, and at least information related to a prediction image used when the decoding target code string is generated from the header information.
  • a header code string analysis unit 201 that obtains the prediction information; and a decoding target code string received by the header code string analysis unit 201.
  • a coefficient code string analysis unit 202 that outputs a residual coefficient, and performs inverse quantization and inverse orthogonal transform on the residual coefficient output from the coefficient code string analysis unit 202 to generate a residual decoded image
  • a prediction residual decoding unit 203 ; a prediction decoding unit 205 that generates a prediction image corresponding to the decoding target code sequence based on the prediction information acquired by the header code sequence analysis unit 201; and the header
  • the decoding target code string received by the code string analysis unit 201 is the first decoding target code string
  • the reconstructed image is generated and output by adding the predicted image generated by the unit 205, while the decoding target code sequence received by the header code sequence analyzing unit 201 is the second decoding target.
  • Code sequence In this case, the addition of generating and out
  • the decoding target code string includes an identifier indicating whether or not a residual image obtained in an encoding process of the decoding target code string is included in the decoding target code string,
  • the addition operation unit 207 determines that the prediction residual decoding unit 203 By adding the residual decoded image generated in step 1 and the predicted image generated by the predictive decoding unit 205, a reconstructed image is generated and output, and the identifier is the decoding target code sequence.
  • the residual image obtained in the process of encoding the decoding target code sequence is included in the residual decoding unit 205 and the prediction decoding unit 205 generate the residual image included in the second decoding target code sequence. Added to the predicted image By Rukoto, and it generates and outputs a reconstructed image.
  • the decoding target code string includes a residual decoded image obtained by locally decoding a residual coefficient obtained in an encoding process of the decoding target code string.
  • the addition operation unit 207 performs residual decoding by locally decoding residual coefficients obtained in the process of encoding the decoding target code string into the decoding target code string.
  • the residual decoded image generated by the predictive residual decoding unit 203 and the predicted image generated by the predictive decoding unit 205 are added together to re- Generated and output a constituent image, and a residual decoded image obtained by locally decoding the residual coefficient obtained in the process of encoding the decoding target code sequence with the identifier as the decoding target code sequence Is added, the residual decoded image included in the second decoding target code string and the predicted image generated by the predictive decoding unit 205 are added to obtain a reconstructed image. Generate and output.
  • the prediction residual decoding unit 203 does not perform inverse quantization and inverse orthogonal transform on the coefficient code string. .
  • the program By recording a program having the same function as each unit included in the moving image encoding device and the moving image decoding device described in each of the above embodiments, the program is recorded in a recording medium such as a flexible disk.
  • a recording medium such as a flexible disk.
  • the recording medium is not limited to a flexible disk, but may be any medium that can record a program, such as an optical disk, an IC card, and a ROM cassette.
  • the functions equivalent to the means included in the moving picture coding apparatus and the moving picture decoding apparatus shown in the above embodiments may be realized as an LSI which is an integrated circuit. These may be integrated into one chip so as to include a part or all of them.
  • An LSI may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention is applied to a broadcast wave recording apparatus such as a DVD recorder or a BD recorder that compresses and records a broadcast wave broadcast from a broadcast station, including the above-described moving picture encoding apparatus and moving picture decoding apparatus. It doesn't matter.
  • the present invention for example, in a video camera, a digital camera, a video recorder, a mobile phone, a personal computer, etc., a moving image encoding device that encodes each picture constituting an input image and outputs it as moving image encoded data
  • the present invention is useful as a moving picture decoding apparatus that generates a decoded picture by decoding the moving picture encoded data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動画像符号化装置１００は、第１モードにおいて、残差係数を可変長符号化して係数符号列を生成し、係数符号列にヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力。第２モードにおいて、残差復号化画像を可変長符号化することなく、残差復号化画像をそのまま係数符号列とし、係数符号列にヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力する。

Description

動画像符号化装置および動画像符号化方法
　本発明は、入力された動画像をブロックに分割して符号化する動画像符号化装置に関するものである。
　近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ－Ｔ（国際電気通信連合　電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ－１、ＭＰＥＧ－３、ＭＰＥＧ－４、ＭＰＥＧ－４ＡＶＣなどがある。また、現在は、ＩＴＵ－ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画面符号化方式の標準化活動が進んでいる。
　このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックの入力画像との差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象のブロックの入力画像との差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
　また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
　Ｈ．２６４（非特許文献１）では、ブロック単位の処理量の上限を制約するために、ブロック単位の発生符号量の最大値が定義されている（具体的には３２００ビット）。前述の通常の符号化処理を行うと、入力画像の性質や量子化処理の条件によって前記発生符号量の最大値を超過した符号列を生成してしまう可能性があるため、ＩＰＣＭと呼ばれる特別な符号化モードを使用することによって常に最大値内に納めることを可能としている。
　ＩＰＣＭは通常の符号化モードとは異なり、画面内・画面間予測による差分画像の生成や直交変換・量子化を行うことなく、入力画像の画素値をそのままのビット列として符号列に記述するモードである。このモードを使用すると、例えば入力画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であった場合、輝度成分のブロックが１６×１６画素、２つの色差成分のブロックがそれぞれ８×８画素であるため、合計で３８４バイトとなり、ヘッダに必要な情報を含めても前記最大値の３２００ビット以下に必ず納めることが可能となる。
　ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)
　多くの動画像符号化・復号化装置はＬＳＩと呼ばれる集積回路によって符号化・復号化処理を実現している。このような符号化・復号化装置では処理高速化のためにパイプラインと呼ばれる並列動作を可能とする構成を取っている。具体的には１つのブロックの処理が完了する前に次のブロックの処理を開始することで同時に処理が進行する。
　図１４（ａ）に符号化におけるパイプラインの例を示す。ブロック１に対して、画素読込み、モード判定（画面間予測モードとするか画面内予測モードとするかの判定）、画面間／内予測、変換／量子化、可変長符号化、の各処理が順に適用され、ブロック２に対しても同様の処理が適用されている。このとき、ブロック２はブロック１の画素読込みが完了した時点で直ぐに処理を開始することで、処理タイミングを１ステップずつ遅らせながら並行して処理を行う。Ｈ．２６４やＨＥＶＣの符号化・復号化処理では過去に符号化・復号化したブロックの情報を参照しながら処理が行われるため、図にあるようにブロック１で確定した予測情報、画素情報、符号化情報等をブロック２が参照しながら処理を行う必要がある。
　しかし、前述のブロック単位の発生符号量が最大値以下に納められているかどうかは、可変長符号化が完了した時点での符号量を調べないと判断できない。そのため、もし最大値を超過すると判定された場合はその時点でＩＰＣＭに切替えて符号列を生成し直さなくてはならない。
　図１４（ｂ）にＩＰＣＭへの切替えが発生した場合のパイプラインの例を示す。ブロック１の可変長符号化処理においてＩＰＣＭへ切替えることが確定したとする。しかし、このとき、既にブロック２はブロック１が通常の符号化を行った場合の予測情報、画素情報等を参照しながら符号化処理が進行してしまっている。そのため、ブロック１のモード判定まで戻って、ブロック１がＩＰＣＭで符号化された前提に置き直して参照する情報を更新してブロック２の処理をやり直さなくてはならない。
　このようにパイプラインを遡る制御は非常に複雑な処理制御が必要となる。また対象ピクチャ内でＩＰＣＭが多数発生して遡る回数が増加すると処理速度遅延の原因となり、要求時間内に対象ピクチャの符号化処理を完了できなくなる。
　本発明は上記課題を解決するものであり、パイプライン構造を持つ動画像符号化装置において、パイプラインを遡るのを抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることを可能とする、従来のＩＰＣＭに代わる符号化方法を提供することを目的とする。
　本発明の第１の態様における動画像符号化装置は、入力される動画像をブロック単位で符号化する動画像符号化装置であって、符号化対象画像に対応する予測画像を生成する予測画像生成部と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して第１係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記減算器で生成された差分画像を可変長符号することなく、前記差分画像をそのまま係数符号列とし、前記差分画像に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、を備える。
　また本発明の第２の態様における動画像符号化装置は、入力される動画像をブロック単位で符号化する動画像符号化装置であって、符号化対象画像に対応する予測画像を生成する予測画像生成部と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して第１係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記減算器で生成された差分画像を可変長符号して、前記差分画像をそのまま係数符号列とし、前記差分画像に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、を備える。
　また本発明の第３の態様における動画像符号化装置は、入力される動画像をブロック単位で符号化する動画像符号化装置であって、符号化対象画像に対応する予測画像を生成する予測画像生成部と、前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して第１係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記予測残差復号化部で生成された残差復号化画像を可変長符号することなく、前記残差復号化画像をそのまま係数符号列とし、前記残差復号化画像に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、を備える。
　なお、本発明は、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
　本発明の第１の態様の符号化装置によれば、第１モードにおいて、予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、係数符号列にヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力する。一方、第２モードにおいて、予測残差復号化部で生成された残差復号化画像を可変長符号化することなく、残差復号化画像をそのまま係数符号列とし、係数符号列にヘッダ情報符号列生成部で生成されたヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力する。ここで、残差復号化画像は、残差係数とは同一の入力画像に基づくものである。また、復号化装置において、残差係数を当該係数とセットの予測情報を用いて復号化すると、残差復号化画像と同一の画像が得られる。つまり、復号化装置において最終的に生成される再構成画像の画素情報は、第１モードの場合でも第２モードの場合でも同一となる。そのため、第２モードを利用した場合でも、ヘッダ符号列に記述されている予測情報の変更や、再度の符号化は不要である。そのため、現ブロックの予測情報や画素情報を参照しながら符号化処理が進行している他のブロックの処理には全く影響を与えない。よって、パイプラインを遡ることなくそのまま係数符号列のみをＰＣＭモードで符号化することが可能となる。したがって、パイプライン構造を持つ符号化装置において、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
　本発明の第２の態様の符号化装置によれば、差分画像を可変長符号化しつつ、第１の態様の符号化装置と同様の効果が得られる。
　本発明の第３の態様の符号化装置によれば、第１モードにおいて、予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、係数符号列にヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力する。一方、第２モードにおいて、減算器から出力される差分画像を可変長符号化せずに得られる符号列を、ヘッダ情報生成部が生成した符号列に続けて追記することで最終的な符号列を生成する。ここで、残差係数は差分画像とは同一の入力画像に基づくものである。そのため、現ブロックがＰＣＭモードに切り替わった場合でも、ヘッダ符号列に記述されている予測情報の変更は不要である。しかし、復号化装置において残差係数を当該信号とセットの予測情報を用いて復号化した場合、差分画像とは異なる画像が生成される。そのため、第１モードで符号化したときと、第２モードで符号化したときとで、復号化装置において最終的に得られる再構成画像の画素情報が異なるものとなる。このとき、現ブロックの画素情報を参照する他のブロックの符号化処理は進行している。そのため、当該他のブロックにおいても、画素情報を置き換えて処理をやり直す必要がある。したがって、現ブロックの画面間／内予測の処理まで遡る必要がある。しかし、従来の制御と比較すると、モード判定まで遡る必要がないので、遡る処理の数を少なくできる。したがって、パイプライン構造を持つ符号化装置において、パイプラインを遡るのを抑制しつつ、符合かすることが可能となる。したがって、パイプライン構造を持つ符号化装置において、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
実施形態１に係る動画像符号化装置の構成を示すブロック図である。 実施形態１に係る符号列生成処理のフローチャートである。 実施形態１によって生成される符号列のシンタックスの一例を説明するための概念図である。 実施形態１によって生成される符号列のシンタックスの別の一例を説明するための概念図である。 実施形態１によって生成される符号列のシンタックスのさらに別の一例を説明するための概念図である。 実施形態１に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 実施形態２に係る動画像符号化装置の構成を示すブロック図である。 実施形態２に係る符号列生成処理のフローチャートである。 実施形態２に係る動画像符号化装置のパイプライン制御を説明するための概念図である。 実施形態３に係る動画像符号化装置の構成を示すブロック図である。 実施形態３に係る符号列生成処理のフローチャートである。 実施形態４に係る動画像復号化装置の構成を示すブロック図である。 実施形態４に係る符号列解析処理のフローチャートである。 従来の動画像符号化装置のパイプライン制御を説明するための概念図である。
（実施形態１）
　本実施形態１に係る動画像符号化装置について、図面を参照しながら説明する。
１．動画像符号化装置の構成
　図１は、本実施形態に係る動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理を行い符号列を生成する。
　この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、ヘッダ符号列生成部１０７と、係数符号列生成部１０８とを備えている。
　ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。次に、ピクチャメモリ１０１は、差分演算部１０９または予測符号化部１０５からの読出し命令を受け付けると当該読出し命令に係る入力画像信号をそれぞれ出力する。このとき、各々のピクチャはコーディングユニット（以下、ＣＵと称す）と呼ばれる複数の画素から構成される符号化単位に分割される。このＣＵは、例えば水平６４×垂直６４画素のブロック、水平３２×垂直３２画素のブロック、水平１６×垂直１６画素のブロック等である。なお、本実施形態における動画像符号化装置１００では、ＣＵ単位で以降の処理が行われる。
　予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに、予測残差符号化部１０２は、得られた各周波数成分の直交変換係数に対し量子化を行うことで画像情報の圧縮を行い、残差符号化信号１５３を生成する。予測残差符号化部１０２は、生成した残差符号化信号１５３を予測残差復号化部１０３および係数符号列生成部１０８に出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値信号１５８を用いて、直交変換係数を量子化する。
　予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで残差復号化信号１５４を生成する。そして、生成した残差復号化信号１５４を加算演算部１１０に出力する。
　ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャを符号化する際、画素データとして参照される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納している再構成画像信号１５５を画素データとして予測符号化部１０５に出力する。
　予測符号化部１０５は、ピクチャメモリ１０１から出力される入力画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成する。そして、予測符号化部１０５は、生成した予測画像信号１５６を差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積されている既に符号化済みの過去のピクチャの再構成画像信号１５５を用いる。また予測符号化部１０５は、画面内予測を用いる際は、符号化対象ＣＵに隣接する既に符号化済みのＣＵの現在のピクチャの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。
　量子化値決定部１０６は、ピクチャメモリ１０１に格納されているピクチャに基づいて、予測残差符号化部１０２において差分画像信号１５２を量子化する際の量子化値を設定する。量子化値決定部１０６は、設定した量子化値を予測残差符号化部１０２およびヘッダ符号列生成部１０７に出力する。なお、量子化値決定部１０６における量子化値の設定方法としては、符号列信号１５９のビットレートが、目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。
　ヘッダ符号列生成部１０７は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することで符号列を生成する。なお、予測情報信号１５７に含まれる予測情報には、例えば画面内予測モードを示す情報、画面間予測モードを示す情報、動きベクトルを示す情報、参照ピクチャを示す情報等が含まれる。また、制御情報は係数符号列生成部１０８における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報である。例えばブロック符号化タイプ、ブロック分割情報等が含まれる。
　係数符号列生成部１０８は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して生成した符号列、もしくは予測残差復号部１０３から出力される残差復号化信号１５４を可変長符号化せずに生成した符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する。なお、ここでいう可変長符号化には、算術符号化を含む。以下において同様である。
　つまり、係数符号列生成部１０８は、入力される信号に応じて２つのモードを切り換えて実行する。第１モードは、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列とヘッダ符号列生成部１０７が出力する符号列から符号列信号１５９を生成して出力するモードである。第２モードは、予測残差復号化部１０３が出力する残差復号化信号１５４とヘッダ符号列生成部１０７が出力する符号列から符号列信号１５９を生成して出力するモードである。この第２モードを用いて符号列信号１５９を出力する場合、残差復号化信号１５４は可変長符号化せずに、残差復号化信号１５４をそのまま符号列として扱う。
　差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と、予測符号化部１０５の出力である予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
　加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と、予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４及び予測符号化部１０５に出力する。
２．符号列信号の生成方法
　ヘッダ符号列生成部１０７および係数符号列生成部１０８において符号列信号を生成する方法について、図２のフローチャートを用いて具体的に説明する。
　まず、ヘッダ符号列生成部１０７は、前述の符号化処理を行った結果生成された予測情報信号１５７、量子化値信号１５８、その他の符号化制御情報を可変長符号化することによってヘッダ情報の符号列を生成する（Ｓ４０１）。
　次に、係数符号列生成部１０８は、入力された残差符号化信号１５３を用いて、符号化対象ＣＵの発生符号量が規定値を超過する可能性があるかどうかを判定する（Ｓ４０２）。
　ステップＳ４０２において、超過する可能性がないと判断された場合は、Ｒｅｓｉｄｕａｌモードで係数が符号化されていることを示す識別子を符号化し（Ｓ４０３）、つづいて、従来の符号化と同様に入力された残差符号化信号１５３を可変長符号化する（Ｒｅｓｉｄｕａｌモード）ことで符号列を生成する（Ｓ４０４）。
　一方、ステップＳ４０２において、超過する可能性があると判断された場合は、ＰＣＭモードで係数が符号化されていることを示す識別子を符号化し（Ｓ４０５）、つづいて、入力された残差復号化信号１５４を可変長符号化せずにをそのまま符号列に追加する（ＰＣＭモード）ことで符号列を生成する（Ｓ４０６）。
　なお、ステップＳ４０２において、入力された残差符号化信号１５３を用いて符号化対象ＣＵの発生符号量が規定値を超過する可能性があるかどうかを判定しているが、それ以外の方法を用いて発生符号量が規定値を超過する可能性があるかどうかを判定してもよい。例えば、符号列信号１５９を用いて符号量が既定値を超過しているか判定する方法がある。この場合、判定を行った時点で既に係数符号列生成部１０８から符号列が出力されているので、当該符号列において、残差符号化信号１５３を可変長符号化して得られる符号列に代えて、入力された残差復号化信号１５４にそのまま置き換えることで処理がなされる。
　また、ＣＵ単位で判定を行う代わりに、複数のＣＵ単位、もしくは別のブロック単位で判定を行ってもよい。
３．シンタックス
　図３は、本実施の形態によって生成される符号列における、ＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の一例を示した図である。
　シンタックスの先頭には、ヘッダ符号列生成部１０７によって生成された、予測モード：ｐｒｅｄ＿ｍｏｄｅ、予測情報：ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）、量子化値：ｑｐ＿ｖａｌｕｅ等の情報を可変長符号化した符号列が記述されている。
　つづいて、図２で説明した識別子であるｐｃｍ＿ｆｌａｇが記述されている。この識別子が０であることは、Ｒｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）に記述されていることを示す。また、識別子が１であることは、ＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）に記述されていることを示す。ｐｃｍ＿ｄａｔａ（）に記述される係数符号列は、前述の通り可変長符号化を行わない残差復号化信号１５４である。
　図４は本実施の形態によって生成される符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）の別の一例を示した図である。図３で説明したシンタックスと異なるのは識別子としてｐｃｍ＿ｆｌａｇの代わりにｃｂｐ＿ｙｕｖ＿ｒｏｏｔを用いている点のみである。
　この識別子は、従来の符号化において輝度成分および色差成分毎に残差符号化信号があるかないかを示すために用いられていたものである。この識別子が０から７であることは、従来通りＲｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）に記述されていることを示す。この識別子が８であることは、ＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）に記述されていることを示す。つまり、従来から存在する０から７までの情報に８番目の情報を追加する。
　これによって、新たな識別子の追加による符号量の増加を招くことなく、新たな機能を追加することが可能となる。
　図５は本実施の形態によって生成される符号列のＣＵ単位のシンタックス：ｃｏｄｉｎｇ＿ｕｎｉｔ（）のさらに別の一例を示した図である。図３で説明したシンタックスと異なるのは識別子としてｐｃｍ＿ｆｌａｇの代わりにｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇを用いている点のみである。
　この識別子は、従来の別の符号化において対象ブロックに残差符号化信号があるかないかを示すために用いられていたものである。つまり、この識別子が０であることは、従来通り係数情報がないことを示す。また、識別子が１であることは、従来通り係数情報がＲｅｓｉｄｕａｌモードによって係数符号列がＲｅｓｉｄｕａｌ＿ｄａｔａ（）に記述されていることを示す。さらに、識別子が２であることは、ＰＣＭモードによって係数符号列がｐｃｍ＿ｄａｔａ（）に記述されていることを示す。
　これによって、識別子として従来から存在する信号を共有して使用することが可能となり、新たな識別子の追加による符号量の増加を抑制することが可能となる。
　なお、図３、図４、図５で説明したシンタックスおよび識別子の値については、本実施の形態を説明するための一例であり、ここに記載されている内容と異なるシンタックスや識別子の値を割り当てることによって同様の機能を実現してもよい。
　なお、図２のステップＳ４０２における規定値とは、前記残差復号化信号１５４をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えた符号量である。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、前記残差復号化信号１５４をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなる。この場合、規定値は、この符号量と、前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量と、余裕量とを合わせた符号量とすることが考えられる。例えば１３０００ビット等の値が考えられる。
４．パイプライン改善効果
　図６を用いて本実施の形態による動画像符号化装置のパイプラインの例を示す。
　図６（ａ）は図２のステップＳ４０２の判定の結果、Ｒｅｓｉｄｕａｌモードで係数符号列を生成した場合のパイプラインの制御である。図１４（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。
　一方、図６（ｂ）、は図２のステップＳ４０２の判定の結果、ＰＣＭモードで係数符号列を生成した場合のパイプライン制御を示す図である。本実施形態では、第１モードにおいて、前述のように、予測残差符号化部１０２で生成された残差符号化信号１５３を可変長符号化して係数符号列を生成し、係数符号列にヘッダ符号列生成部１０７で生成されたヘッダ情報を対応付けた状態で、係数符号列および前記ヘッダ情報を出力する。一方、第２モードにおいて、予測残差復号化部１０３で生成された残差復号化信号１５４を可変長符号化することなく、残差復号化信号１５４をそのまま係数符号列とし、係数符号列にヘッダ情報符号列生成部１０７で生成されたヘッダ情報を対応付けた状態で、係数符号列およびヘッダ情報を出力する。ここで、残差復号化信号１５４は、残差符号化信号１５３とは同一の入力画像信号１５１に基づくものである。また、復号化装置において、残差符号化信号１５３を当該信号とセットの予測情報を用いて復号化すると、残差復号化信号１５４と同一の信号が得られる。つまり、復号化装置において最終的に生成される再構成画像信号の画素情報は、第１モードの場合でも第２モードの場合でも同一となる。そのため、ブロック１がＰＣＭモードに切り替わっても、ヘッダ符号列に記述されている予測情報の変更や、再度の符号化は不要である。そのため、ブロック１の予測情報や画素情報を参照しながら符号化処理が進行しているブロック２の処理には全く影響を与えない。よって、パイプラインを遡ることなくそのまま係数符号列のみをＰＣＭモードで符号化することが可能となる。
　なお、残差復号化信号１５４を出力する場合、復号化装置において、当該信号の復号は不要である。そのため、当該信号を復号する上では、予測情報は不要であるが、この予測情報は、ブロック２の復号等において参照される。
　このように、本実施の形態による動画像符号化装置は、パイプラインを遡ることなくＰＣＭモードに切替えて符号化を行うことができるため、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
５．まとめ
　本実施形態における動画像符号化装置１００は、入力される動画像をブロック単位で符号化する動画像符号化装置１００であって、符号化対象画像に対応する予測画像を生成する予測符号化部１０５と、前記符号化対象画像と前記生成された予測画像との差分画像信号１５２を生成する差分演算部１０９と、前記差分演算部１０９の出力に対して直交変換処理および量子化処理を行い、残差符号化信号１５３を生成する予測残差符号化部１０２と、前記残差符号化信号１５３に対して逆量子化処理および逆直交変換処理を行い、残差復号化信号１５４を生成する予測残差復号化部１０３と、前記予測符号化部１０５で生成された予測画像と前記予測残差復号化部１０３で生成された残差復号化信号１５４とを加算することで再構成画像信号１５５を生成する加算演算部１１０と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部１０７と、第１モードにおいて、前記予測残差符号化部１０２で生成された残差符号化信号１５３を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記予測残差復号化部１０３で生成された残差復号化信号１５４を可変長符号化することなく、前記残差復号化信号１５４をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部１０８と、を備える。
　また好ましくは、前記係数符号列生成部１０８は、前記係数符号列および前記ヘッダ情報に、前記係数符号列を復号する際に逆量子化および逆直交変換をするか否かを示す識別子を対応付けた状態で、前記係数符号列、前記ヘッダ情報および前記識別子を出力する。
　また好ましくは、前記識別子は、前記第１モードにおける係数符号列および前記第２モードにおける係数符号列で共通で使用される識別子であり、当該識別子情報のうち１つは、前記第１モードにおける係数符号列として符号化したことを示すものであり、また別の１つは、前記第２モードにおける係数符号列として符号化したことを示し、かつ符号化した残差符号化信号１５３があるかないかを示すものである。
（実施形態２）
　実施形態２に係る動画像符号化装置について、図面を参照しながら説明する。
１．動画像符号化装置の構成
　図７は、本実施形態に係る動画像符号化装置１００－１のブロック図である。動画像符号化装置１００－１は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理し、符号列を生成する。
　この動画像符号化装置１００－１は、実施の形態１の動画像符号化装置１００の係数符号列生成部１０８の代わりに、係数符号列生成部１０８－１を備えている。
　以下、説明の便宜上、実施形態１と同様の構成についてはその詳細な説明を省略する。さらに、図７では、図１と同様の機能を有するブロックについては同じ番号を付す。
　係数符号列生成部１０８－１は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－１を生成する第１モードを有する。さらに、係数符号列生成部１０８－１は、差分演算部１０９から出力される差分画像信号１５２を可変長符号化せずに得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－１を生成する第２モードを有する。
　なお、上記第２モードは、差分演算部１０９から出力される差分画像信号１５２を可変長符号化してえられる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－１を生成するモードでも構わない。
　係数符号列生成部１０８－１は、上記の第１モードおよび第２モードを切り換えて実行する。
２．符号列の生成方法
　図８は、ヘッダ符号列生成部１０７および係数符号列生成部１０８－１において符号列信号を生成する方法を示すフローチャートである。
　このフローチャートは、実施形態１の図２のフローチャートにおけるステップＳ４０６の代わりに、ステップＳ４０６－１の処理が行われる。
　具体的には、ステップＳ４０２において符号化対象ＣＵの発生符号量が規定値を超過する可能性があると判断された場合に、ＰＣＭモードで係数が符号化されていることを示す識別子を符号化する（Ｓ４０５）。つづいて、入力された差分画像信号１５２を可変長符号化せずにそのまま符号列に追加する（ＰＣＭモード）ことで符号列を生成する（Ｓ４０６－１）。なお、上記において、差分画像信号１５２を可変長符号化して出力する構成にしても構わない。
３．シンタックス
　本実施の形態におけるシンタックスおよびＳ４０５で符号化する識別子は、実施形態１と同様である。
　なお、図８のステップＳ４０２における規定値とは、差分画像（差分画像信号１５２の画素値）をそのまま符号列として記述する際に必要となる符号量と、前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えた符号量である。例えば、画像のフォーマットが各画素８ビットのＹＵＶ４：２：０であり、符号化対象ＣＵのサイズが３２×３２画素であった場合、差分画像信号１５２の画素値をそのまま符号列として記述する際に必要となる符号量は１５３６バイトとなり、これに前記ヘッダ符号列に記述すべき全ての情報を符号化する際に必要となる最大の符号量とを合わせた符号量に余裕量を加えて、前記規定値として１３０００ビット等の値が考えられる。
４．パイプライン改善効果
　図９を用いて本実施の形態による動画像符号化装置のパイプラインの例を示す。
　図９（ａ）は図８のステップＳ４０２の判定の結果、Ｒｅｓｉｄｕａｌモードで係数符号列を生成した場合のパイプラインの制御である。図１４（ａ）で説明した従来の制御と全く同様の流れで処理が行われている。
　一方、図９（ｂ）は図８のステップＳ４０２の判定の結果、ＰＣＭモードで係数符号列を生成した場合のパイプラインの制御である。本実施形態では、前述のように、第１モードにおいて、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－１を生成する。一方、第２モードにおいて、差分演算部１０９から出力される差分画像信号１５２を可変長符号化せずに得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－１を生成する。ここで、残差符号化信号１５３は差分画像信号１５２とは同一の入力画像信号１５１に基づくものである。そのため、ブロック１がＰＣＭモードに切り替わった場合でも、ヘッダ符号列に記述されている予測情報の変更は不要である。しかし、復号化装置において残差符号化信号１５３を当該信号とセットの予測情報を用いて復号化した場合、差分画像信号１５２とは異なる信号が生成される。そのため、第１モードで符号化したときと、第２モードで符号化したときとで、復号化装置において最終的に得られる再構成画像信号の画素情報が異なるものとなる。このとき、ブロック１の画素情報を参照するブロック２の符号化処理は進行している。そのため、ブロック２においても、画素情報を置き換えて処理をやり直す必要がある。したがって、ブロック１の画面間／内予測の処理まで遡る必要がある。しかし、図１４（ｂ）で説明した従来の制御と比較すると遡る処理の数が少なくなっている。
　このように、本実施の形態による動画像符号化装置は、パイプラインを遡る処理の量を従来よりも減らすことができる。そのため、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
　また、本実施の形態では、符号化処理前の差分画像を符号化する。そのため、対応する動画像復号化装置において復号化した画像の画質を向上させることが可能となる。
５．まとめ
　本実施形態における動画像符号化装置は、入力される動画像をブロック単位で符号化する動画像符号化装置１００－１であって、符号化対象画像に対応する予測画像を生成する予測符号化部１０５と、前記符号化対象画像と前記生成された予測画像との差分画像信号１５２を生成する差分演算部１０９と、前記差分演算部１０９の出力に対して直交変換処理および量子化処理を行い、残差符号化信号１５３を生成する予測残差符号化部１０２と、前記残差符号化信号１５３に対して逆量子化処理および逆直交変換処理を行い、残差復号化信号１５４を生成する予測残差復号化部１０３と、前記予測符号化部１０５で生成された予測画像と前記予測残差復号化部１０３で生成された残差復号化信号１５４とを加算することで再構成画像信号１５５を生成する加算演算部１１０と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部１０７と、第１モードにおいて、前記予測残差符号化部１０２で生成された残差符号化信号１５３を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記差分演算部１０９で生成された差分画像信号１５２を可変長符号化することなく、前記差分画像信号１５２をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部１０８－１と、を備える。
　また、本実施形態における動画像符号化装置は、入力される動画像をブロック単位で符号化する動画像符号化装置１００－１であって、符号化対象画像に対応する予測画像を生成する予測符号化部１０５と、前記符号化対象画像と前記生成された予測画像との差分画像信号１５２を生成する差分演算部１０９と、前記差分演算部１０９の出力に対して直交変換処理および量子化処理を行い、残差符号化信号１５３を生成する予測残差符号化部１０２と、前記残差符号化信号１５３に対して逆量子化処理および逆直交変換処理を行い、残差復号化信号１５４を生成する予測残差復号化部１０３と、前記予測符号化部１０５で生成された予測画像と前記予測残差復号化部１０３で生成された残差復号化信号１５４とを加算することで再構成画像信号１５５を生成する加算演算部１１０と、前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部１０７と、第１モードにおいて、前記予測残差符号化部１０２で生成された残差符号化信号１５３を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記差分演算部１０９で生成された差分画像信号１５２を可変長符号化して、前記差分画像信号１５２をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部１０８－１と、を備える。
　また好ましくは、前記係数符号列生成部１０８－１は、前記係数符号列および前記ヘッダ情報に、前記係数符号列を復号する際に逆量子化および逆直交変換をするか否かを示す識別子を対応付けた状態で、前記係数符号列、前記ヘッダ情報および前記識別子を出力する。
　また好ましくは、前記識別子は、前記第１モードにおける係数符号列および前記第２モードにおける係数符号列で共通で使用される識別子であり、当該識別子情報のうち１つは、前記第１モードにおける係数符号列として符号化したことを示すものであり、また別の１つは、前記第２モードにおける係数符号列として符号化したことを示し、かつ符号化した残差符号化信号１５３があるかないかを示すものである。
（実施形態３）
　実施形態３に係る動画像符号化装置について、図面を参照しながら説明する。
１．動画像符号化装置の構成
　図１０は、本実施形態に係る動画像符号化装置１００－２のブロック図である。動画像符号化装置１００－２は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理し、符号列を生成する。
　この動画像符号化装置１００－２は、実施形態１の動画像符号化装置１００の係数符号列生成部１０８の代わりに係数符号列生成部１０８－２を備えている。
　以下、説明の便宜上、実施形態１と同様の構成についてはその詳細な説明を省略する。さらに、図１０では、図１図７と同様の機能を有するブロックについては同じ番号を付す。
　係数符号列生成部１０８－２は、入力される信号に応じて２つのモードを切り換えて実行する。第１モードは、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－２を生成するモードである。第２モードは、残差復号化信号１５４の各係数を１／Ｎ倍（Ｎは自然数）した符号列を可変長符号化せずに得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９－２を生成するモードである。
２．符号列の生成方法
　図１１は、ヘッダ符号列生成部１０７および係数符号列生成部１０８－２において符号列信号を生成する方法を示すフローチャートである。
　このフローチャートは、実施形態１の図２のフローチャートにおけるステップＳ４０６の代わりに、ステップＳ４０６－２の処理が行われる点のみが異なっている。
　具体的には、ステップＳ４０２において、符号化対象ＣＵの発生符号量が規定値を超過する可能性があると判断された場合に、ＰＣＭモードで係数が符号化されていることを示す識別子を符号化する（Ｓ４０５）。つづいて、入力された残差復号化信号１５４の各係数を１／Ｎ倍して、可変長符号化せずにそのまま符号列に追加する（ＰＣＭモード）ことで符号列を生成する（Ｓ４０６－２）。
３．シンタックス
　本実施の形態におけるシンタックスおよびＳ４０５で符号化する識別子は、実施形態１と同様である。
４．パイプライン改善効果
　本実施の形態による動画像符号化装置のパイプラインの例は、図９とほぼ同様で、異なる点を以下に説明する。
　図８４のステップＳ４０２の判定の結果、ＰＣＭモードが選択された場合、残差復号画像を１／Ｎ倍するが、復号時にはＮ倍して残差復号画像を生成する必要がある。このため、±（Ｎ－１）の範囲で誤差が発生する。
　図９（ｂ）は、図８のステップＳ４０２の判定の結果、ＰＣＭモードで係数符号列を生成した場合のパイプライン制御を示す図である。ブロック１がＰＣＭモードに切り替わった場合、ヘッダ符号列に記述されている予測情報は変更されない。しかし、残差復号化画像が変わる。そのため、ブロック１の画素情報を参照するブロック２の符号化処理は進行している。その結果、画素情報を置き換えて処理をやり直す必要がある。そのため、ブロック１の画面間／内予測の処理まで遡っている。しかし、図１４（ｂ）で説明した従来の制御と比較すると遡る処理の数が少なくなっている。
　このように、本実施の形態による動画像符号化装置は、パイプラインを遡る処理の量を従来よりも減らすことができる。そのため、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
　また、本実施の形態では、残差復号化画像を１／Ｎ倍する。そのため、ビット量を削減することが可能となる。
　Ｎの値を固定の値とした場合、シンタックス上に記述しなくてもよい。シンタックス上にＮの値を記載する場合、ピクチャ単位で一つの値を設定するフィールドを設けて、その値を記述してもよい。
５．まとめ
　本実施形態における係数符号列生成部１０８－２は、前記第１モードの場合、前記残差符号化信号１５３を可変長符号化して第１係数符号列を生成し、前記第２モードの場合、１／Ｎ倍（Ｎは自然数）にした前記差分復号化画像を第２係数符号列とする。
　また本実施形態における係数符号列生成部１０８－２は、前記第１モードの場合、前記残差符号化信号１５３を可変長符号化して第１係数符号列を生成し、前記第２モードの場合、１／Ｎ倍（Ｎは自然数）にした前記差分画像信号１５２を第２係数符号列とする。
（実施形態４）
　実施形態４に係る動画像復号化装置について、図面を参照しながら説明する。
１．動画像復号化装置の構成
　図１２は、実施形態４に係る動画像復号化装置２００の構成を示すブロック図である。動画像復号化装置２００は、実施形態２で説明した動画像符号化装置によって生成された符号列に対し、コーディングユニット（ＣＵ）と呼ばれるブロック単位で復号化処理し、出力画像を生成する。
　この動画像復号化装置２００は、ヘッダ符号列解析部２０１と、係数符号列解析部２０２と、予測残差復化部２０３と、ピクチャメモリ２０４と、予測復号化部２０５と、量子化値決定部２０６とを備えている。
　ヘッダ符号列解析部２０１は、入力されたブロック単位の符号列信号２５１のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行う。ヘッダ符号列解析部２０１は、解析して得られる予測情報信号２５６を予測復号化部２０５へ出力する。さらに、ヘッダ符号列解析部２０１は、解析して得られる量子化値情報を量子化値決定部２０６へ出力する。
　係数符号列解析部２０２は、ヘッダ符号列解析部２０１によって解析されたヘッダ情報に続いて符号化されている係数符号列の解析を行う。このとき、係数符号列解析部２０２は、解析の結果、係数符号列が残差符号化信号２５２の場合、当該残差符号化信号２５２を予測残差復号化部２０３に出力する。一方、係数符号列解析部２０２は、解析の結果、係数符号列が差分画像信号２５９である場合、当該差分画像信号２５９を、予測残差復号化部２０３をバイパスして加算器２０７に出力する。つまり、係数符号列が差分画像信号２５９である場合、予測残差復号化部２０３による残差復号化信号２５３の生成処理は行わない。なお、係数符号列が可変長符号化されている場合、係数符号列解析部は係数符号列を可変長復号化した後、残差符号化信号２５２または差分画像信号２５９として出力する。一方、可変長符号化されていない場合、係数符号列解析部は係数符号列を可変長復号化することなく、残差符号化信号２５２または差分画像信号２５９として出力する。
　予測残差復号化部２０３は、係数符号列解析部２０２から入力された残差符号化信号２５２に対して、逆量子化および逆直交変換することで残差復号化信号２５３を生成する。そして、予測残差復号化部２０３は、生成した残差復号化信号２５３を加算演算部２０７に出力する。このとき、予測残差復号化部２０３は、量子化値決定部２０６において決定された量子化値信号２５７を用いることで逆量子化を制御する。
　予測復号化部２０５は、ヘッダ符号列解析部２０１から出力された予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成する。そして、予測復号化部２０５は、生成した予測画像信号２５４を加算演算部２０７に出力する。なお、予測復号化部２０５は、画面間予測を用いる際、ピクチャメモリ２０４に蓄積されている既に復号化済みの過去のピクチャの再構成画像信号２５５を用いる。また、予測復号化部２０５は、画面内予測を用いる際、復号化対象ＣＵに隣接する既に復号化済みのＣＵの現在のピクチャの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
　加算演算部２０７では、予測残差復号化部２０３から出力された残差復号化信号２５３もしくは係数符号列解析部２０２から出力された差分画像信号２５９に、予測復号化部２０５から出力された予測画像信号２５４を加算することによって再構成画像信号２５５を生成する。生成された再構成画像信号２５５はピクチャメモリ２０４に格納され、最終的にピクチャ単位の出力画像信号２５８として表示装置に出力される。
２．符号列の解析方法
　ヘッダ符号列解析部２０１および係数符号列解析部２０２において符号列の解析を行う方法について、図１３のフローチャートを用いて具体的に説明する。
　まず、ヘッダ符号列解析部２０１は、入力された符号列のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行い、生成された予測情報信号２５６、量子化値情報、その他の復号化制御情報を図１２の各処理ブロックへ出力する（Ｓ１２０１）。
　次に、係数符号列解析部２０２は、ステップＳ１２０２において識別子の解析を行い、つづいてステップＳ１２０３において、解析された識別子が、ＰＣＭモードで係数が符号化されていることを示しているか、もしくはＲｅｓｉｄｕａｌモードで係数が符号化されていることを示しているかの判定を行う。
　ステップＳ１２０３において、Ｒｅｓｉｄｕａｌモードで係数が符号化されていると判定された場合は、従来と同様に入力された係数符号列に対して可変長復号化を施すことによって残差符号化信号２５２を取得し、予測残差復号化部２０３に出力する（Ｓ１２０４）。
　一方、ステップＳ１２０３において、ＰＣＭモードで係数が符号化されていると判定された場合は、入力された係数符号列に対して可変長復号化を施すことなく、そのまま差分画像信号２５９として、予測残差復号化部２０３から出力される残差復号化信号２５３に置き換えて以降の処理を行う（Ｓ１２０５）。
　なお、ここでは実施の形態２で説明した動画像符号化装置１００－１で生成された符号列に対しての処理方法を説明したが、実施の形態１で説明した動画像符号化装置１００で生成された符号列に対しても全く同様の処理方法で復号化することが可能である。その際に、ステップＳ１２０５で取得される情報は、対応する符号化装置における残差復号化後の残差復号化信号２５２に置き換わるが、復号化処理としては区別することなく処理を行うことが可能である。
　また、実施の形態３で説明した動画像符号化装置１００－２で生成された符号列に対しては、ステップＳ１２０５で係数符号列解析部２０２において残差復号化信号２５２の各係数をＮ倍したものを残差復号化信号２５２として出力する部分が異なるのみで、その他の処理は全く同様の処理方法で復号化することが可能である。
３．シンタックス
　本実施の形態において復号化処理を行う符号列のシンタックスおよびＳ１２０２で解析する識別子は、実施形態１と同様である。
４．パイプライン改善効果
　本実施の形態による動画像復号化装置を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態１で説明したような構成をとることが可能となり、図６（ｂ）のようにパイプラインを遡ることなくＰＣＭモードに切替えて符号化を行うことができる。そのため、処理速度の遅延もしくは処理量を増加させることなく、ブロック単位の発生符号量を特定の最大値以下に納めることが可能となる。
　また同様に、本実施の形態による動画像復号化装置を用いることにより、これに対応する符号列を生成する動画像符号化装置は、実施の形態２あるいは実施の形態３で説明したような構成をとることが可能となり、図９（ｂ）のようにパイプラインを遡る処理の量を従来よりも減らすことができる。そのため、処理速度の遅延もしくは処理量の増加を抑制しつつ、ブロック単位の発生符号量を特定の最大値以下に納めることができ、さらに復号化した画像の画質を向上させることが可能となる。
５．まとめ
　本実施形態における動画像復号化装置２００は、復号化対象符号列をブロック単位で復号化する動画像復号化装置２００であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列の符号化処理過程で得られる残差画像およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を前記復号化対象符号列として受け付けるヘッダ符号列解析部２０１と、前記ヘッダ情報から少なくとも、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である前記予測情報を取得するヘッダ符号列解析部２０１と、前記ヘッダ符号列解析部２０１が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部２０２と、前記係数符号列解析部２０２が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部２０３と、前記ヘッダ符号列解析部２０１で取得された前記予測情報に基づいて、前記復号化対象符号列に対応する予測画像を生成する予測復号化部２０５と、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する一方、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる残差画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する加算演算部２０７と、を備える。
　また、本実施形態における動画像復号化装置２００は、復号化対象符号列をブロック単位で復号化する動画像復号化装置２００であって、符号化された残差係数に基づく情報およびそれに対応付けられたヘッダ情報を含む第１の復号化対象符号列または前記復号化対象符号列の符号化処理過程において得られる残差係数をローカルデコードした残差復号化画像およびそれに対応付けられたヘッダ情報を含む第２の復号化対象符号列を復号化対象符号列として受け付けるヘッダ符号列解析部２０１と、前記ヘッダ情報から少なくとも、前記復号化対象符号列を生成した際に利用された予測画像に関する情報である前記予測情報を取得するヘッダ符号列解析部２０１と、前記ヘッダ符号列解析部２０１が受け付けた復号化対象符号列を可変長復号化し残差係数を出力する係数符号列解析部２０２と、前記係数符号列解析部２０２が出力する残差係数に対して、逆量子化および逆直交変換を行い、残差復号化画像を生成する予測残差復号化部２０３と、前記ヘッダ符号列解析部２０１で取得された前記予測情報に基づいて、前記復号化対象符号列に対応する予測画像を生成する予測復号化部２０５と、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第１の復号化対象符号列である場合、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する一方、前記ヘッダ符号列解析部２０１で受け付けた復号化対象符号列が前記第２の復号化対象符号列である場合、前記第２の復号化対象符号列に含まれる残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する加算演算部２０７と、を備える。
　また好ましくは、前記復号化対象符号列は、前記復号化対象符号列の符号化処理過程で得られる残差画像が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記加算演算部２０７は、前記識別子が前記復号化対象符号列に前記復号化対象符号列の符号化処理過程で得られる残差画像が含まれないことを示す場合、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力し、前記識別子が前記復号化対象符号列に前記復号化対象符号列の符号化処理過程で得られる残差画像が含まることを示す場合、前記第２の復号化対象符号列に含まれる残差画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する。
　また好ましくは、前記復号化対象符号列は、前記復号化対象符号列の符号化処理過程において得られる残差係数をローカルデコードした残差復号化画像が前記復号化対象符号列に含まれているか否かを示す識別子を含み、前記加算演算部２０７は、前記識別子が前記復号化対象符号列に前記復号化対象符号列の符号化処理過程において得られる残差係数をローカルデコードした残差復号化画像が含まれないことを示す場合、前記予測残差復号化部２０３で生成された前記残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力し、前記識別子が前記復号化対象符号列に前記復号化対象符号列の符号化処理過程において得られる残差係数をローカルデコードした残差復号化画像が含まることを示す場合、前記第２の復号化対象符号列に含まれる残差復号化画像と前記予測復号化部２０５で生成された前記予測画像とを加算することにより、再構成画像を生成して出力する。
　また好ましくは、前記ヘッダ符号列解析部２０１が前記第２の復号化対象符号列を受け付けた場合、前記予測残差復号化部２０３は前記係数符号列に対して逆量子化および逆直交変換しない。
（その他の実施形態）
　上記各実施形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録することにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体は、フレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればよい。
　また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
　また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
　また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
　１００、１００－１、１００－２　動画像符号化装置
　１０１　ピクチャメモリ
　１０２　予測残差符号化部
　１０３　予測残差復号化部
　１０４　ローカルバッファ
　１０５　予測符号化部
　１０６　量子化値決定部
　１０７　ヘッダ符号列生成部
　１０８、１０８－１、１０８－２　係数符号列生成部
　１０９　差分演算部
　１１０　加算演算部
　１５１　入力画像信号
　１５２　差分画像信号
　１５３　残差符号化信号
　１５４　残差復号化信号
　１５５　再構成画像信号
　１５６　予測画像信号
　１５７　予測情報信号
　１５８　量子化値信号
　１５９、１５９－１、１５９－２　符号列信号
　２００　動画像復号化装置
　２０１　ヘッダ符号列解析部
　２０２　係数符号列解析部
　２０３　予測残差復号化部
　２０４　ピクチャメモリ
　２０５　予測復号化部
　２０６　量子化値決定部
　２５１　符号列信号
　２５２　残差符号化信号
　２５３　残差復号化信号
　２５４　予測画像信号
　２５５　再構成画像信号
　２５６　予測情報信号
　２５７　量子化値信号
　２５８　出力画像信号
　２５９　差分画像信号

Claims (12)

  1. 　入力される動画像をブロック単位で符号化する動画像符号化装置であって、
    　符号化対象画像に対応する予測画像を生成する予測画像生成部と、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、
    　前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、
    　前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、
    　第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記減算器で生成された差分画像を可変長符号化することなく、前記差分画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、
    　を備える動画像符号化装置。
  2. 　入力される動画像をブロック単位で符号化する動画像符号化装置であって、
    　符号化対象画像に対応する予測画像を生成する予測画像生成部と、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、
    　前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、
    　前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、
    　第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記減算器で生成された差分画像を可変長符号化して、前記差分画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、
    　を備える動画像符号化装置。
  3. 　入力される動画像をブロック単位で符号化する動画像符号化装置であって、
    　符号化対象画像に対応する予測画像を生成する予測画像生成部と、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成する減算器と、
    　前記減算器の出力に対して直交変換処理および量子化処理を行い、残差係数を生成する予測残差符号化部と、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成する予測残差復号化部と、
    　前記予測画像生成部で生成された予測画像と前記予測残差復号化部で生成された残差復号化画像とを加算することで再構成画像を生成する加算器と、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成するヘッダ符号列生成部と、
    　第１モードにおいて、前記予測残差符号化部で生成された残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記予測残差復号化部で生成された残差復号化画像を可変長符号化することなく、前記残差復号化画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、
    　を備える動画像符号化装置。
  4. 　前記係数符号列生成部は、前記係数符号列および前記ヘッダ情報に、前記係数符号列を復号する際に逆量子化および逆直交変換をするか否かを示す識別子を対応付けた状態で、前記係数符号列、前記ヘッダ情報および前記識別子を出力する請求項１から請求項３のいずれか１項に記載の動画像符号化装置。
  5. 　前記識別子は、前記第１モードにおける係数符号列および前記第２モードにおける係数符号列で共通で使用される識別子であり、当該識別子情報のうち１つは、前記第１モードにおける係数符号列として符号化したことを示すものであり、また別の１つは、前記第２モードにおける係数符号列として符号化したこと、及び符号化した残差係数があるかないかを示すものである請求項４に記載の動画像符号化装置。
  6. 　前記係数符号列生成部は、前記第１モードの場合、前記残差係数を可変長符号化して第１係数符号列を生成し、前記第２モードの場合、前記残差復号化画像を１／Ｎ倍（Ｎは自然数）して第２係数符号列とする請求項４または５に記載の動画像符号化装置。
  7. 　前記係数符号列生成部は、前記第１モードの場合、前記残差係数を可変長符号化して第１係数符号列を生成し、前記第２モードの場合、前記差分画像を１／Ｎ倍（Ｎは自然数）して第２係数符号列とする請求項４または５に記載の動画像符号化装置。
  8. 　前記係数符号列生成部は、出力する符号列の前記ブロック全体における符号量が、特定の大きさを超過する可能性がある場合、前記第２モードを用いて符号列を出力する請求項１から請求項３のいずれか１項に記載の動画像符号化装置。
  9. 　前記係数符号列生成部は、前記第１モードで符号列を出力した結果、当該符号列の前記ブロック全体における符号量が特定の大きさを超過した場合、当該第１モードで生成した符号列に代えて、前記第２モードを用いて生成した符号列を出力する請求項１から請求項３のいずれか１項に記載の動画像符号化装置。
  10. 　入力される動画像をブロック単位で符号化する動画像符号化方法であって、
    　符号化対象画像に対応する予測画像を生成し、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成し、
    　前記差分画像に対して直交変換処理および量子化処理を行い、残差係数を生成し、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成し、
    　前記予測画像と前記残差復号化画像とを加算することで再構成画像を生成し、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成し、
    　第１モードにおいて、前記残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記差分画像を可変長符号化することなく、前記差分画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する、動画像符号化方法。
  11. 　入力される動画像をブロック単位で符号化する動画像符号化方法であって、
    　符号化対象画像に対応する予測画像を生成し、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成し、
    　前記差分画像に対して直交変換処理および量子化処理を行い、残差係数を生成し、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成し、
    　前記予測画像と前記残差復号化画像とを加算することで再構成画像を生成し、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成し、
    　第１モードにおいて、前記残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記差分画像を可変長符号化して、前記差分画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する、動画像符号化方法。
  12. 　入力される動画像をブロック単位で符号化する動画像符号化方法であって、
    　符号化対象画像に対応する予測画像を生成し、
    　前記符号化対象画像と前記生成された予測画像との差分画像を生成し、
    　前記差分画像に対して直交変換処理および量子化処理を行い、残差係数を生成し、
    　前記残差係数に対して逆量子化処理および逆直交変換処理を行い、残差復号化画像を生成し、
    　前記予測画像と前記残差復号化画像とを加算することで再構成画像を生成し、
    　前記予測画像を生成する際に利用した予測情報を少なくとも含むヘッダ情報を生成し、
    　第１モードにおいて、前記残差係数を可変長符号化して係数符号列を生成し、前記係数符号列に前記ヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する一方、第２モードにおいて、前記予測残差復号化部で生成された残差復号化画像を可変長符号化することなく、前記残差復号化画像をそのまま係数符号列とし、前記係数符号列に前記ヘッダ情報生成部で生成されたヘッダ情報を対応付けた状態で、前記係数符号列および前記ヘッダ情報を出力する係数符号列生成部と、
    　を備える動画像符号化方法。
PCT/JP2012/001665 2011-03-09 2012-03-09 動画像符号化装置および動画像符号化方法 WO2012120908A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP12755720.5A EP2685721B1 (en) 2011-03-09 2012-03-09 Video image encoding device
KR1020137026064A KR101880325B1 (ko) 2011-03-09 2012-03-09 동화상 부호화 장치
JP2013503408A JPWO2012120908A1 (ja) 2011-03-09 2012-03-09 動画像符号化装置および動画像符号化方法
CN201280012443.1A CN103430548B (zh) 2011-03-09 2012-03-09 运动图像编码装置及运动图像编码方法
US14/021,207 US10757422B2 (en) 2011-03-09 2013-09-09 Device and method of video encoding with first and second encoding code
US16/751,967 US11303910B2 (en) 2011-03-09 2020-01-24 Device and method of video encoding with first and second encoding code
US17/686,698 US11849124B2 (en) 2011-03-09 2022-03-04 Device and method of video encoding with first and second encoding code
US18/385,588 US20240064314A1 (en) 2011-03-09 2023-10-31 Device and method of video encoding with first and second encoding code

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011051221 2011-03-09
JP2011-051221 2011-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/021,207 Continuation US10757422B2 (en) 2011-03-09 2013-09-09 Device and method of video encoding with first and second encoding code

Publications (1)

Publication Number Publication Date
WO2012120908A1 true WO2012120908A1 (ja) 2012-09-13

Family

ID=46797879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001665 WO2012120908A1 (ja) 2011-03-09 2012-03-09 動画像符号化装置および動画像符号化方法

Country Status (6)

Country Link
US (4) US10757422B2 (ja)
EP (1) EP2685721B1 (ja)
JP (3) JPWO2012120908A1 (ja)
KR (1) KR101880325B1 (ja)
CN (1) CN103430548B (ja)
WO (1) WO2012120908A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014520493A (ja) * 2011-06-30 2014-08-21 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
WO2018003008A1 (ja) * 2016-06-28 2018-01-04 三菱電機株式会社 画像符号化装置及び画像復号装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016209125A1 (en) * 2015-06-23 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for transcoding
CN107659814A (zh) * 2017-09-21 2018-02-02 深圳市德赛微电子技术有限公司 一种avs和mpeg‑2双模解码器中熵解码结构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003084243A1 (en) * 2002-03-28 2003-10-09 Sony Corporation Image compression/encoding device, method, and program
JP2010521113A (ja) * 2007-03-13 2010-06-17 ナロシュケ、マティアス ハイブリッドビデオ符号化のための量子化
JP2010193398A (ja) * 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009236A (en) 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
CN1487738B (zh) * 1994-09-26 2010-05-12 三菱电机株式会社 数字视频信号的记录和重放设备及其记录和重放的方法
JP3209260B2 (ja) 1995-07-05 2001-09-17 日本電信電話株式会社 画像符号化方法および装置
JP2000350212A (ja) 1999-06-04 2000-12-15 Matsushita Electric Ind Co Ltd 映像信号復号装置並びに映像信号表示システム
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR100667808B1 (ko) 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100813963B1 (ko) * 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置
PT2950544T (pt) * 2006-01-09 2019-07-10 Hans Georg Musmann Codificação adaptativa do erro de predição em codificação de vídeo híbrida
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
KR101345090B1 (ko) * 2006-12-14 2013-12-26 톰슨 라이센싱 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치
US7751631B2 (en) * 2006-12-22 2010-07-06 Sony Corporation Bypass using sum of absolute transformed differences value (SATD) in a video coding process
US8335261B2 (en) 2007-01-08 2012-12-18 Qualcomm Incorporated Variable length coding techniques for coded block patterns
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
JP4797009B2 (ja) 2007-10-24 2011-10-19 日本電信電話株式会社 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
JP4922138B2 (ja) * 2007-11-20 2012-04-25 株式会社東芝 動画像符号化装置及び動画像符号化方法
EP2252063A4 (en) * 2008-03-07 2012-09-12 Toshiba Kk DEVICE FOR DYNAMIC IMAGE CODING / DECODING
JP2009272727A (ja) 2008-04-30 2009-11-19 Toshiba Corp 予測誤差の方向性に基づく変換方法、画像符号化方法及び画像復号化方法
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5197428B2 (ja) 2009-02-20 2013-05-15 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR20110071231A (ko) * 2009-12-21 2011-06-29 엠텍비젼 주식회사 부호화 방법, 복호화 방법 및 장치
US8913666B2 (en) * 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US9344722B2 (en) * 2011-11-18 2016-05-17 Futurewei Technologies, Inc. Scanning of prediction residuals in high efficiency video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003084243A1 (en) * 2002-03-28 2003-10-09 Sony Corporation Image compression/encoding device, method, and program
JP2010521113A (ja) * 2007-03-13 2010-06-17 ナロシュケ、マティアス ハイブリッドビデオ符号化のための量子化
JP2010193398A (ja) * 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEIICHI CHONO ET AL.: "Pulse code modulation mode for HEVC, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11", JCTVC-D044-REVL, 4TH MEETING, January 2011 (2011-01-01), DAEGU, KOREA, pages 1 - 9, XP030047361 *
See also references of EP2685721A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014520493A (ja) * 2011-06-30 2014-08-21 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
WO2018003008A1 (ja) * 2016-06-28 2018-01-04 三菱電機株式会社 画像符号化装置及び画像復号装置
JPWO2018003008A1 (ja) * 2016-06-28 2018-07-05 三菱電機株式会社 画像符号化装置及び画像復号装置

Also Published As

Publication number Publication date
US20140010297A1 (en) 2014-01-09
US11303910B2 (en) 2022-04-12
KR20140023918A (ko) 2014-02-27
US20240064314A1 (en) 2024-02-22
JP6013547B2 (ja) 2016-10-25
CN103430548A (zh) 2013-12-04
CN103430548B (zh) 2017-10-24
EP2685721A4 (en) 2014-08-13
JPWO2012120908A1 (ja) 2014-07-17
US11849124B2 (en) 2023-12-19
EP2685721A1 (en) 2014-01-15
JP2015146634A (ja) 2015-08-13
US20200162748A1 (en) 2020-05-21
KR101880325B1 (ko) 2018-07-19
EP2685721B1 (en) 2019-10-30
JP2017028727A (ja) 2017-02-02
US20220191517A1 (en) 2022-06-16
US10757422B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
JP5395307B2 (ja) 動画像復号化装置および動画像復号化方法
US10638134B2 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP5230735B2 (ja) 復号化装置、復号化方法及び受信装置
US11849124B2 (en) Device and method of video encoding with first and second encoding code
US20100020883A1 (en) Transcoder, transcoding method, decoder, and decoding method
US9723308B2 (en) Image processing apparatus and image processing method
KR20160057311A (ko) 픽처 부호화 프로그램, 픽처 부호화 방법 및 픽처 부호화 장치 및 픽처 복호화 프로그램
JP2010226672A (ja) 画像分割装置、分割画像符号化装置及びプログラム
WO2012120910A1 (ja) 動画像符号化装置および動画像符号化方法
JP2012191397A (ja) 動画像復号化装置および動画像復号化方法
JP2012191247A (ja) 動画像符号化装置および動画像符号化方法
JP2012191491A (ja) 動画像復号化装置および動画像復号化方法
WO2012160614A1 (ja) 動画像復号装置
JP2012235293A (ja) 動画像符号化装置
JP2012235294A (ja) 動画像復号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12755720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013503408

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20137026064

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012755720

Country of ref document: EP