WO2007148596A1 - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
WO2007148596A1
WO2007148596A1 PCT/JP2007/061995 JP2007061995W WO2007148596A1 WO 2007148596 A1 WO2007148596 A1 WO 2007148596A1 JP 2007061995 W JP2007061995 W JP 2007061995W WO 2007148596 A1 WO2007148596 A1 WO 2007148596A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
code
skip
input
image
Prior art date
Application number
PCT/JP2007/061995
Other languages
English (en)
French (fr)
Inventor
Yuuki Maruyama
Hiroshi Arakawa
Hideyuki Ohgose
Takahiro Nishi
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to US12/301,528 priority Critical patent/US20090245350A1/en
Publication of WO2007148596A1 publication Critical patent/WO2007148596A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to an image encoding device and an image encoding method for compressing and encoding an image and recording the image on a storage medium such as an optical disk, a magnetic disk, or a flash memory.
  • the present invention relates to an image encoding apparatus and an image encoding method that perform compression encoding using the H.264 encoding method.
  • AVCZH. 264 standardized as the next video compression technology after MPEG2, is said to achieve a compression rate approximately twice that of MPEG2.
  • AVC / H.264 implements many compression technologies and combines them to achieve a high compression rate. As a result, the amount of computation has also increased significantly.
  • CAVLC Context—based Adaptive Variable Length Coding
  • CABAC Context-adaptive variable-length code coding method
  • CABAC is a Context—based Adaptive Binary Arithmetic Coding This is an abbreviation of “text adaptive binary arithmetic coding system”, and is a system that changes the appearance frequency of an encoding target that changes with time, and is generally called arithmetic coding.
  • CABAC in addition to normal arithmetic coding, a context is assigned to each code to be compressed, and the appearance frequency is changed for each context.
  • Encoding in CABAC is mainly divided into two processes.
  • the first is a process called binarization that converts multi-valued information to be encoded, called Syntax, into binary data, and the second is a binary converted by binary key.
  • This is a process that calculates the context for the data and performs an arithmetic sign.
  • CABAC code processing needs to output a large number of bit streams depending on the context, it is necessary to operate with a high clock, resulting in an increase in circuit scale and power consumption. Therefore, in CABAC, using the characteristic that the processing amount varies greatly depending on the image data to be encoded, the circuit is mounted with the average processing amount of CABAC, and binary data that absorbs the increase and decrease of the processing amount By providing a buffer, the circuit that performs binarization and the circuit that performs arithmetic coding can be operated asynchronously to reduce the number of clocks.
  • the appearance probability of 0Z1 is obtained for each bit of the binary data, and the encoding process is performed.
  • the appearance probability is adaptively switched for each bit, and the bit probability is changed. Since it is updated according to the value, it is difficult to know the CABAC output code amount accurately before signing. Therefore, if the code amount exceeds 3200 bits as a result of encoding a macro block, the code condition of the macro block must be changed and the code must be encoded again. In other words, whether the maximum code amount limit of the macro block is satisfied is determined after the CABAC code is entered.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2004-135251
  • the present invention has been made in view of the problem, and it is an image coding apparatus and an image coding that reliably suppress a delay in image coding processing and suppress an increase in circuit scale. It aims to provide a method.
  • an image encoding device includes an image encoding unit that generates an encoded picture having a pixel value by sequentially encoding a plurality of input pictures, and a pixel Skip picture generating means for generating a skip picture having no value, entropy code means for performing entropy code for the code key picture and the skip picture, and entropy by the entropy code key means According to sign And determining means for determining whether or not a code picture including a macroblock having a code amount larger than a threshold has been generated, the input picture corresponding to the code picture including the macroblock; Any one of the input pictures following the input picture in the order of the sign is set as a specific picture, and the specific picture is not encoded by the image encoding means, and the skip picture is generated by the skip picture generation means.
  • the discriminating means treats the maximum code amount of a macroblock defined by AVC / H.264 as the threshold value.
  • the entropy code encoding means performs the entropy code encoding by Context-based Adaptive Binary Arithmetic Coding (CAB AC).
  • the image encoding unit performs encoding using a quantization step value
  • the code key control unit includes an input picture power corresponding to a code key picture including the macroblock. If it is not a specific picture, the image encoding means may be made to re-encode the input picture with a quantization step value larger than the quantization step value used in the previous code. Alternatively, when the input picture corresponding to the code picture including the macroblock is not the specific picture, the encoding control means causes the image code means to generate the input picture as a new code picture. It may be characterized by this.
  • the entropy code signal for the encoded picture generated by the re-encoding. Is performed, it is possible to reliably suppress the code amount of the macroblock included in the code frame picture below a threshold value.
  • the encoding control means may select a bottom field among an input picture corresponding to an encoded picture including the macroblock, and each input picture subsequent to the input picture in code order.
  • the specific picture may be used.
  • the skip picture generation means should make motion compensation of the top left macroblock with reference to the immediately preceding top field in the code order, with 0 pixels in the horizontal direction and 0.5 pixels in the vertical direction. And generating the skip picture, wherein other macroblocks are configured as skipped macroblocks.
  • the image decoding apparatus that has acquired the stream generated by the entropy code ⁇ refers to the top field immediately before in all the macroblocks based on the skip picture for the bottom field in the vertical direction.
  • the skip picture can be decoded into a picture that approximates the bottom field before the code.
  • the encoding control means may select a top field among an input picture corresponding to an encoded picture including the macroblock and each input picture subsequent to the input picture in code order.
  • the specific picture may be used.
  • the skip picture generation means should refer to the immediately preceding bottom field in the order of the macroblock force code in the upper left corner, and perform motion compensation of 0 pixels in the horizontal direction and 0.5 pixels in the vertical direction. And generating the skip picture, where other macro blocks are configured as skipped macro blocks.
  • the image decoding apparatus that has acquired the stream generated by the entropy code ⁇ refers to the bottom field immediately before in all macroblocks based on the skip picture for the top field.
  • the skip picture can be decoded into a picture that approximates the top field before the code.
  • the present invention can be realized not only as such an image encoding device, but also as an image encoding method using steps characteristic of the image encoding device. It can also be realized as a method, or as a program that causes a computer to execute these steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the image encoding device of the present invention can reliably suppress the delay of the image encoding processing, suppress the increase in circuit scale, and achieve low power consumption. Therefore, the practical value of the present invention in today's widespread use of video cameras, mobile phones with power cameras, etc. is extremely high.
  • FIG. 1 is a block diagram showing a configuration of an image encoding device according to an embodiment of the present invention.
  • FIG. 2A is a diagram showing the structure of a skip picture.
  • FIG. 2B is a diagram showing the structure of the skip picture.
  • FIG. 3 is a block diagram showing a configuration of an image code key unit same as above.
  • FIG. 4 is a block diagram showing a configuration of an entropy code key unit.
  • FIG. 5 is an explanatory diagram for explaining the operation of the above-described image coding apparatus.
  • FIG. 6 is a flowchart showing the operation of the sign key control unit of the above.
  • FIG. 7 is a flowchart showing the operation of the encoding control unit according to Modification 1 of the above.
  • FIG. 8 is an explanatory diagram for explaining the operation of the image coding apparatus according to the second modification of the above.
  • FIG. 9 is a flowchart showing the operation of the sign control unit according to Modification 2 of the above.
  • FIG. 10 is an explanatory diagram for explaining the operation of the image coding apparatus according to the third modification of the above.
  • FIG. 11 is a flowchart showing an operation of an encoding control unit according to Modification 3 of the above.
  • FIG. 12 is a flowchart showing the operation of the encoding control unit according to the fourth modification of the above. is there.
  • FIG. 1 is a block diagram showing a configuration of an image encoding device according to the embodiment of the present invention.
  • the image coding apparatus 100 includes an image coding unit 101, an entropy coding unit 102, a code control unit 103, a skip picture generation unit 104, and a switch 103a.
  • the image code input unit 101 obtains input image data, and predictively encodes each of the input pictures included in the input image data (intra-prediction encoding or inter-prediction encoding). I). As a result, the image code key unit 101 generates a prediction code key picture having a pixel value.
  • the skip picture generation unit 104 generates a skip picture having no pixel value.
  • An image decoding apparatus that has obtained a bitstream including such a skip picture uses the decoding result of another picture for the skip picture. That is, when the picture decoding apparatus determines that the picture to be decoded is a skip picture, the picture decoding apparatus decodes the skip picture into a picture having the same pixel value as that of other pictures that have already been decoded. .
  • the entropy code key unit 102 When the entropy code key unit 102 obtains the prediction code symbol generated by the image code key unit 101, the entropy code key unit 102 applies the entropy code key (variable length code key) to the prediction code key picture. And output an output stream (bit stream) indicating the result. In addition, upon obtaining the skip picture generated by the skip picture generation unit 104, the entry port code unit 102 performs entropy code input on the skip picture and outputs an output stream indicating the result. .
  • the switch 103 a switches the entropy encoding unit 102 to the image code unit 101 and the skip picture generation unit 104 and connects them according to an instruction from the code control unit 103.
  • the code key control unit 103 switches between the prediction code key mode and the skip code key mode according to the code amount generated by the entropy code key generated by the entropy code key unit 102. To do.
  • the predictive coding mode is a mode that is normally set, and is a mode in which a predictive code and an entropy code are performed on each input picture included in the input image data.
  • the code key control unit 103 always connects the entropy code key unit 102 to the image code key unit 101 by controlling the switch 103a.
  • a skip picture is generated for a predetermined type of input picture (specific picture) included in the input image data without performing a prediction code, and the skip picture is generated.
  • the skip encoding mode each of the images excluding the specific picture included in the input image data
  • predictive coding and entropy code are performed in the same manner as in the above-described predictive code mode.
  • the code controller 103 controls the switch 103a so that the entropy encoder 102 is transferred to the skip picture generator 104 for a specific picture.
  • the entropy code key unit 102 is connected to the image code key unit 101 for other input pictures.
  • the specific picture is a bottom field.
  • FIG. 2A and FIG. 2B are diagrams showing the configuration of the skip picture in the present embodiment.
  • the skip picture generation unit 104 generates a skip picture in which all macroblocks are composed of skipped macroblocks.
  • An image decoding apparatus that acquires such a skipped picture as a bottom field that is a specific picture refers to the immediately preceding top field in the order of the sign of the bottom field, and designates the skipped picture as the top field. To the bottom field that has the same image. As a result, the decoded skip picture has an image approximate to the bottom field before the code key.
  • the skip picture generation unit 104 generates a skip picture in which only the upper left macroblock is composed of inter macroblocks and the other macroblocks are composed of skipped macroblocks. May be.
  • the inter macro block indicates the immediately preceding top field in the order of sign as a picture to be referred to (reference picture), and refers to the top field to compensate for motion of 0 pixel in the horizontal direction and 0.5 pixel in the vertical direction. Contains information indicating that compensation should be made.
  • An image decoding apparatus that acquires such a skipped picture as a bottom field that is a specific picture performs motion compensation of 0.5 pixels in the vertical direction with reference to the immediately preceding top field in all macroblocks.
  • the skipped picture can be decoded into a picture approximated by the before-encoded bottom field.
  • FIG. 3 is a block diagram showing a configuration of the image code key unit 101.
  • the image code key unit 101 includes an input image data memory 201, a reference image data memory 202, an in-plane prediction unit 203, a motion vector detection unit 204, a motion compensation unit 205, a switch 206, and a difference calculation.
  • a unit 207, an orthogonal transform unit 208, a quantization unit 209, an inverse quantization unit 210, an inverse orthogonal transform unit 211, and an addition unit 212 are provided.
  • the input image data memory 201 acquires input image data and accumulates the input image data.
  • the reference image data memory 202 stores, as a reference picture, a picture obtained by predictively encoding an input picture included in the input picture data and further decoding the picture.
  • the data stored in the input image data memory 201 and the reference image data memory 202 is a re-predicted code when a violation of the standard that the code amount per macroblock exceeds 3200 bits occurs in the entropy code key unit 102. It is used as the data of ⁇ .
  • the in-plane prediction unit 203 generates a predicted image by performing in-plane prediction for each image region on the input picture included in the input image data. At this time, the in-plane prediction unit 203 uses the pixel values stored in the reference image data memory 202. This pixel value is the pixel value of the image region that has already been predictively encoded and decoded that is included in the input picture to be subject to in-plane prediction.
  • the motion vector detection unit 204 searches for a reference picture stored in the reference picture data memory 202, detects an image region closest to the input picture, determines a motion vector indicating the position, Decrease the error! /, Determine the size of the target block and the motion vector at that size.
  • the motion compensation unit 205 extracts a predicted image from the reference picture stored in the reference image data memory 202 by extracting the pixel value of the image region indicated by the motion vector detected by the motion vector detection unit 204. Generate.
  • the switch 206 connects the in-plane prediction unit 203 to the difference calculation unit 207 when the in-plane prediction code is input to the input picture, and the inter-frame prediction code is input to the input picture.
  • the motion compensation unit 205 is connected to the difference calculation unit 207.
  • the difference calculation unit 207 calculates a difference value between the input picture and the predicted image and outputs the difference value to the orthogonal transform unit 208.
  • Orthogonal transform section 208 transforms the difference value into a frequency coefficient and outputs the frequency coefficient to quantization section 209.
  • Quantization section 209 quantizes the frequency coefficient output from orthogonal transform section 208 using a predetermined quantization step value, and the resulting quantized value is sent to switch 103a. Output. That is, the image code key unit 101 outputs the prediction code key picture to the switch 103a.
  • the inverse quantization unit 210 inversely quantizes the quantized value output from the quantization unit 209 to restore the frequency coefficient, and outputs the frequency coefficient to the inverse orthogonal transform unit 211.
  • the inverse orthogonal transform unit 211 performs inverse frequency transform on the frequency coefficient output from the inverse quantization unit 210 to a pixel difference value, and outputs the result to the addition unit 212.
  • the adding unit 212 adds the pixel difference value output from the inverse orthogonal transform unit 211 and the prediction image output from the in-plane prediction unit 203 or the motion compensation unit 205 to generate a reference picture. Stored in the image data memory 202.
  • the control information is information for controlling the image code key unit 101 output from the code key control unit 103.
  • the image encoding unit 101 can change the quantization step value, for example, or change the macroblock to LPCM according to the control information.
  • FIG. 4 is a block diagram showing a configuration of entropy code key unit 102.
  • the entropy encoding unit 102 includes a binary key unit 301, a binary data buffer 302, and a CA.
  • a BAC encoding unit 303 is provided.
  • the binary key unit 301 converts the multi-value information indicated in the macro block into binary data. Then, the binary data is stored in the binary key data buffer 302.
  • the CABAC encoding unit 303 acquires binary data stored in the binary data buffer 302, calculates a context for the binary data, and performs arithmetic coding. In addition
  • the processing by the CABAC code section 303 is performed asynchronously with the processing by the binary section 301.
  • the CABAC code key unit 303 determines that the code amount per macroblock does not exceed 3200 bits for all the macroblocks included in the prediction coded picture as a result of the calculated code key. Then, an output stream indicating the result of the arithmetic code for the prediction code key picture is output. At this time, every time such an output stream is output, the code key control unit 103 does not need to re-store it in the input image data memory 201 and the reference image data memory 202 of the image encoding unit 101. The data for the prediction code is deleted.
  • CABAC code section 303 as a result of calculation code key, when the code amount per macroblock exceeds 3200 bits for any macroblock included in the prediction code key picture Does not output an output stream indicating the result of the calculated code key for the prediction code key picture. Then, the binary data already stored in the binary key data buffer 302 is deleted.
  • the sign key control unit 103 includes a determination unit. If it is determined that a standard violation has occurred, the code control unit 103 switches the predictive coding mode to the skip coding mode.
  • a violation input picture an input picture corresponding to a predictive coded picture including a macro block that violates the standard is hereinafter referred to as a violation input picture.
  • the code key control unit 103 switches to the skip code key mode, out of the input pictures included in the input image data, the violation input picture and the subsequent code order of the violation input picture are displayed.
  • the processing in the skip encoding mode is applied to each input picture.
  • the code key control unit 103 controls the image code key part 101 again to predict the code input again for the violation input picture.
  • the re-predictive code is applied to the violation input picture.
  • the code key control unit 103 makes the quantization step value in the image code key unit 101 larger than the previously used value so that the standard violation does not occur again. To do so.
  • the code key control unit 103 applies the skip code key mode as described above. For example, the input picture that is the target of the code key does not violate the standard. In this case, the skip code key mode is continued until it catches up with the input picture to be encoded, and then the skip code key mode is switched to the prediction code key mode.
  • the number of pictures between the input picture that is the target of encoding when there is no violation of the standard and the input picture that is actually the target of encoding is as follows: The number of delays. Therefore, the skip code key mode is continued until the number of encoding delays becomes zero. Further, the code key control unit 103 according to the present embodiment monitors the identification number such as POC (Picture Order Count) of the input picture to be encoded by the image encoding unit 101, and thereby the above-described code. Specify the number of delays.
  • POC Picture Order Count
  • FIG. 5 is an explanatory diagram for explaining the operation of the image coding apparatus 100 according to the present embodiment.
  • each input picture is stored in the input picture data memory 201 of the picture coding unit 101 in the order of picture 10, picture Pl, picture B2, picture B3,. It is stored.
  • the first alphabet included in the code of each input picture indicates the code type of the input picture, and the next number included in the code indicates the display order of the input pictures.
  • picture 10 is the first (0th) displayed I picture
  • picture P1 is the first displayed P picture.
  • the image encoding device 100 stores each of the image data stored in the input image data memory 201 of the image encoding unit 101 as shown in (b) of FIG. Predictive coding and entropy coding are performed on the input picture in the order of picture 10, picture Pl, picture P6, picture P7,.
  • the image coding apparatus 100 executes processing in the skip coding mode as shown in (c) of FIG. For example, the image coding apparatus 100 determines that a code amount exceeding 3200 bits has been generated for the macroblock as a result of entropy coding (arithmetic coding) for the macroblock of the picture P6. At this time, the image coding apparatus 100 has already stored in the binary key data buffer 302 as a result of the prediction code key 2 and binary key ⁇ ⁇ ⁇ ⁇ for picture P6, picture P7, picture B2, and picture B3. All the binary data! Is discarded, and the processing in the skip encoding mode is executed.
  • the image coding apparatus 100 continues until the number of coding delays becomes zero for the picture P6 that is a violation input picture and each subsequent input picture in the code order of the picture P6. Apply processing in skip code mode.
  • the code key control unit 103 of the image coding apparatus 100 is not a bottom field in which the picture P6 is a specific picture, so that the image code coding unit 101 has a re-prediction code code for the picture P6. ⁇ ⁇ ⁇ is executed, and the entropy code key unit 102 is caused to execute entropy code ⁇ on the result. Then, since the next picture P7 is a bottom field whose specific picture is the next picture P7, the code key control unit 103 causes the skip picture generation unit 104 to generate a skip picture for the picture P7, and the entropy code sign for the result. Let the part 102 execute the entropy code ⁇ .
  • the code key control unit 103 causes the image coding unit 101 to execute the prediction code key for those input pictures.
  • the entropy coding unit 102 executes entropy coding on the result.
  • the sign key control unit 103 causes the skip picture generation unit 104 to generate skip pictures for those input pictures, and the entropy for the result.
  • the encoding unit 102 executes the entropy code ⁇ .
  • FIG. 6 is a flowchart showing the operation of the sign key control unit 103 in the present embodiment.
  • the code key control unit 103 determines whether or not a code amount exceeding 3200 bits per macroblock is generated by the entropy code key ⁇ by the entropy code key unit 102, that is, a violation of the standard. It is determined whether or not the prediction code key picture has been generated (step S100).
  • step S100 when it is determined that no standard violation has occurred (No in step S100), The signal key control unit 103 continues the prediction code key mode (step S102). That is, the image coding unit 101 is instructed to sequentially predict the input pictures included in the input image data so that the image coding unit 101 is connected to the entropy code unit 102. Controls switch 103a.
  • the encoding control unit 103 determines that the input picture to be encoded (the encoding target picture) is the bottom. It is determined whether or not it is a field (step S 104). Note that the first encoding target picture at this time is a violation input picture.
  • the code key control unit 103 performs prediction code keying on the target video code. The image code key unit 101 is instructed, and the switch 103a is controlled so that the image code key unit 101 is connected to the entropy code key unit 102 (step S106).
  • step S104 When it is determined in step S104 that the field is a bottom field (Yes in step S104), the sign key control unit 103 generates a skip picture for the sign key target picture so as to generate a skip picture. In addition to instructing the generation unit 104, the skip picture generation unit 104 is controlled to be connected to the entropy code key unit 102 (step S108).
  • the sign key control unit 103 sets the subsequent input pictures of the violation input picture as code sign target pictures in order until the sign key delay number becomes zero, and performs the processing of steps S104 to S108, that is, Processing in the skip code key mode is continued.
  • the code key control unit 103 determines whether or not the image code key processing should be terminated (step S110), and when it is determined that the image code key processing should be terminated (Yes in step S110), When the processing operation is finished and it is determined that it should not be finished (No in step S110), the operation from step S100 is repeatedly executed.
  • encoding processing such as a prediction code key is performed on all input pictures after the input picture in violation of the standard, as in the past.
  • a skip picture without pixel values is generated without performing encoding processing such as predictive encoding. It is.
  • the time required for the encoding process for a specific picture is very long compared to the time for generating a skip picture. Therefore, the time required for the encoding process is omitted, and the delay of the image encoding process for the input picture is reduced. Can be reliably suppressed. As a result, the capacity of the input image data memory 201 that holds the input memory can be suppressed, and an increase in circuit scale can be suppressed. Furthermore, low power consumption can be measured.
  • the sign key control unit 103 treats the top field as a specific picture.
  • skip picture generation section 104 generates a skip picture in which all macroblocks are composed of skipped macroblocks.
  • An image decoding apparatus that has acquired such a skipped picture as a top field that is a specific picture refers to the immediately preceding bottom field in the order of the sign of the top field, and designates the skipped picture as the bottom field. To the top field that has the same image. As a result, the decoded skip picture has an image approximate to the top field before the code key.
  • the skip picture generation unit 104 includes only the macro block at the upper left corner being an inter macro block, and the other macro blocks being from skipped macro blocks. You can generate a skipped picture.
  • the inter macro block indicates the bottom field immediately before in the order of the sign as a picture to be referred to (reference picture), and refers to the top field to be 0 pixel in the horizontal direction and 0.5 pixel in the vertical direction. It has information indicating that motion compensation should be performed.
  • An image decoding apparatus that has acquired such a skipped picture as a top field that is a specific picture performs motion compensation of -0.5 pixels in the vertical direction with reference to the immediately preceding bottom field in all macroblocks.
  • the skip picture can be decoded into a picture approximated by the top field before encoding.
  • FIG. 7 is a flowchart showing the operation of the sign key control unit 103 according to this modification.
  • the code key control unit 103 determines whether or not a code amount exceeding 3200 bits has been generated per macroblock by the entropy code key ⁇ ⁇ ⁇ by the entropy code key unit 102, that is, a rule. It is determined whether or not the case-predicting prediction sign picture has been generated (step S130).
  • step S130 when it is determined that the standard violation has not occurred (No in step S130), the code key control unit 103 continues the prediction code key mode (step S132).
  • the encoding control unit 103 further determines whether or not the code target object picture is a top field (step S 130). S134). When it is determined that the field is not the top field, that is, when it is determined that the field is the bottom field (No in step S134), the code control unit 103 performs image coding so as to predictively encode the encoding target picture. The control unit 101 is instructed to control the switch 103a so that the image code key unit 101 is connected to the entropy code key unit 102 (step S136).
  • step S 134 when it is determined in step S 134 that the field is the top field (Yes in step S 134), the sign key control unit 103 generates a skip picture for the sign key target picture.
  • the skip picture generation unit 104 is instructed and the switch 103a is controlled so that the skip picture generation unit 104 is connected to the entropy code unit 102 (step S138).
  • the code key control unit 103 sets the input picture subsequent to the violating input picture as the code target picture until the code key delay number becomes 0, that is, skips the processing of steps 3134 to 3138, that is, skips. Continue processing in the sign key mode.
  • step S140 determines whether or not the image code key process should be terminated (step S140), and when it is determined that the image code key processing should be terminated (Yes in step S140), When the processing operation is finished and it is determined that it should not be finished (No in step S140), the operation from step S130 is repeatedly executed.
  • the sign key control unit 103 treats the B picture as a specific picture.
  • the skip picture generation unit 104 generates a skip picture in which all macroblocks are composed of skipped macroblocks.
  • the image decoding key obtained as such a skip picture as a B picture as a specific picture The device refers to the previous I picture or P picture in the order of the sign of the B picture, and decodes the skipped picture into a B picture having the same picture as the I picture or P picture. As a result, the decoded skip picture has an image approximate to the B picture before the code key.
  • the skip picture generation unit 104 includes only the macro block at the upper left corner composed of inter macro blocks, and other macro blocks derived from skipped macro blocks. You can generate a skipped picture.
  • the inter macro block indicates the immediately preceding I picture or P picture in the order of the sign as the picture to be referred to (reference picture), and refers to the I picture or P picture, and the vertical direction is 0 pixels in the horizontal direction. Includes information indicating that motion compensation of ⁇ 0.5 pixels should be performed.
  • An image decoding apparatus that acquires such a skipped picture as a B picture that is a specific picture has ⁇ 0.5 pixels in the vertical direction with reference to the immediately preceding I picture or P picture in all macroblocks. By performing motion compensation, the skipped picture can be decoded into a picture approximated by the B-picture before encoding.
  • FIG. 8 is an explanatory diagram for explaining the operation of the image coding apparatus 100 according to the present modification.
  • Image coding apparatus 100 when no rule violation occurs, as in the above embodiment, as shown in (a) of FIG. 8, input image of image coding unit 101 For each input picture stored in the data memory 201, a prediction code and an entropy code are performed in the order of picture 10, picture Pl, picture P6, picture P7,.
  • the image coding apparatus 100 executes processing in the skip coding mode as shown in (b) of FIG. For example, the image coding apparatus 100 determines that a code amount exceeding 3200 bits has been generated for the macroblock as a result of entropy coding (arithmetic coding) for the macroblock of the picture P6. At this time, the image encoding device 100 has already been accumulated in the binary key data buffer 302 as a result of the prediction code key ⁇ and binary key ⁇ ⁇ ⁇ ⁇ for picture P6, picture P7, picture B2, and picture B3! This discards all binary data and executes processing in skip coding mode.
  • the image coding apparatus 100 includes a picture P6 which is a violation input picture and its picture.
  • the processing in the skip code key mode is applied to each subsequent input picture in the code key order of P6 until the coding delay number becomes zero.
  • the code key control unit 103 of the picture coding apparatus 100 performs re-prediction coding on the picture P6 in the picture code key unit 101. And the entropy code key unit 102 executes entropy coding on the result. Then, since the next picture P7 is not a B picture that is also a specific picture, the code key control unit 103 causes the image code key unit 101 to perform re-predictive coding on the picture P7 and entropy the result. The code key unit 102 is caused to execute the entropy code key.
  • the sign key control unit 103 causes the skip picture generation unit 104 to generate a skip picture for the picture B2, and for the result Entropy code key 102 causes the entropy code key 102 to execute.
  • the code key control unit 103 causes the skip picture generation unit 104 to generate a skip picture for those input pictures, and for the result Then, the entropy code key unit 102 executes the entropy code key.
  • the encoding control unit 103 switches the skip code key mode to the prediction code key mode and sets it. As a result, prediction pictures are performed for all pictures after picture P12 regardless of whether they are B pictures or not.
  • FIG. 9 is a flowchart showing the operation of the sign key control unit 103 according to this modification.
  • the code key control unit 103 determines whether or not a code amount exceeding 3200 bits per macroblock is generated by the entropy code key ⁇ by the entropy code key unit 102, that is, a violation of the standard. It is determined whether or not the prediction code key picture is generated (step S150).
  • step S150 when it is determined that the standard violation has not occurred (No in step S150), the code key control unit 103 continues the prediction code key mode (step S152).
  • the encoding control unit 103 determines whether or not the encoding target picture is a B picture (step S150). S154). When it is determined that the picture is not a B picture (No in step S154), the code key control unit 103 instructs the image code key unit 101 to predict the code target picture, and The switch 103a is controlled so that the image encoding unit 101 is connected to the entropy code key unit 102 (step S156).
  • step S154 When it is determined in step S154 that the picture is a B picture (Yes in step S154), the code controller 103 causes the skip picture to generate a skip picture for the target picture. In addition to instructing the generation unit 104, the skip picture generation unit 104 controls the switch 103a to be connected to the entropy code key unit 102 (step S158).
  • the code key control unit 103 sets the input picture subsequent to the violation input picture as the code target picture until the code key delay number becomes 0, that is, skips the processing of steps 3154 to 3158, that is, skips. Continue processing in the sign key mode.
  • step S160 determines whether or not the image code key processing should be terminated. When it is determined that the image code key processing should be terminated (Yes in step S160), When the processing operation is finished and it is determined that it should not be finished (No in step S160), the operation from step S150 is repeatedly executed.
  • the code key control unit 103 handles the bottom field of the B picture as a specific picture.
  • skip picture generation section 104 generates a skip picture in which all macroblocks are composed of skipped macroblocks.
  • An image decoding apparatus that acquires such a skipped picture as a bottom field of a B picture that is a specific picture refers to the immediately preceding top field in the order of the sign of the bottom field of the B picture.
  • the skip picture is decoded into the bottom field of the B picture that has the same image as the top field.
  • the decoded skip picture has an image that approximates the bottom field of the B picture before the sign.
  • the skip picture generation unit 104 for example, as shown in FIG. It is also possible to generate a skip picture in which only the top left macroblock consists of inter macroblocks and the other macroblocks consist of skipped macroblocks.
  • the inter-macro block indicates the immediately preceding top field as the picture to be referred to (reference picture) in the order of the sign, and refers to the top field, and is 0 pixel in the horizontal direction and 0.5 pixel in the vertical direction. It has information indicating that motion compensation should be performed.
  • An image decoding apparatus that has obtained such a skipped picture as the bottom field of a B picture that is a specific picture is 0. in the vertical direction with reference to the immediately preceding top field in all macroblocks.
  • the skipped picture can be decoded into a picture approximated by the bottom field of the B picture before the sign.
  • FIG. 10 is an explanatory diagram for explaining the operation of the image coding apparatus 100 according to this modification.
  • the image encoding device 100 When no rule violation occurs, the image encoding device 100 according to the present modification, as in the above embodiment, as shown in (a) of FIG. 10, the input image of the image encoding unit 101 For each input picture stored in the data memory 201, prediction code key and entropy code key are performed in the order of picture 10, picture Pl, picture P6, picture P7,.
  • the image encoding device 100 executes processing in the skip encoding mode as shown in (a) of FIG.
  • the image coding apparatus 100 determines that a code amount exceeding 3200 bits is generated for the macroblock as a result of entropy code (arithmetic coding) for the macroblock of the picture P6.
  • the image coding apparatus 100 has already been stored in the binary key data buffer 302 as a result of the prediction code key 2 and binary key ⁇ ⁇ ⁇ ⁇ for picture P6, picture P7, picture B2, and picture B3. This discards all binary data and executes processing in the skip coding mode.
  • the image coding apparatus 100 determines that the number of coding delays is 0 for the picture P6 that is a violation input picture and each subsequent input picture in the code order of the picture P6. Apply processing in skip code mode.
  • the code key control unit 103 of the image code key device 100 has the picture P6 as the specific picture. Therefore, the image encoding unit 101 executes the re-prediction code for the picture P6 and the entropy code unit 102 for the result is the entropy code Is executed. Then, since the next picture P7 and the next picture B2 are not the bottom field of the B picture which is also a specific picture, the code key control unit 103 causes the image code key part 101 to re-predict the code for the picture P7 and the picture B2. And the entropy code key unit 102 executes the entropy code key ⁇ ⁇ ⁇ ⁇ on the result.
  • the sign key control unit 103 causes the skip picture generation unit 104 to generate a skip picture for the picture B3, In response to this result, the entropy code key unit 102 is caused to execute an enthalpy code code.
  • the code key control unit 103 As described above, Predictive codes for the input pictures are executed, and the entropy code unit 102 executes the entropy codes for the result. Then, similarly to the above, since the picture B5, the picture B9, and the picture B11 are the bottom fields of the B picture, the encoding control unit 103 causes the skip picture generation unit 104 to generate skip pictures for these input pictures, The entropy code key unit 102 is caused to execute the entropy code key for the result.
  • FIG. 11 is a flowchart showing the operation of the sign key control unit 103 according to this modification.
  • the code key control unit 103 determines whether or not a code amount exceeding 3200 bits per macroblock has been generated by the entropy code key ⁇ ⁇ ⁇ by the entropy code key unit 102, that is, a violation of the standard. It is determined whether or not the prediction code key picture has been generated (step S170).
  • step S172 when it is determined that no standard violation has occurred (No in step S170), The signal key control unit 103 continues the prediction code key mode (step S172).
  • the encoding control unit 103 further determines whether or not the encoding target picture is the bottom field of the B picture. (Step S174). When it is determined that the B field is not the bottom field (No in step S174), the code key control unit 103 instructs the image code key unit 101 to predict the code target picture. At the same time, the switch 103a is controlled so that the image code key unit 101 is connected to the entropy code key unit 102 (step S176).
  • step S174 If it is determined in step S174 that the B field is the bottom field (Yes in step S174), the sign key control unit 103 generates a skip picture for the sign target picture. In this manner, the skip picture generation unit 104 is instructed, and the switch 103a is controlled so that the skip picture generation unit 104 is connected to the entropy code key unit 102 (step S178).
  • the code key control unit 103 sets the input picture subsequent to the violation input picture as the code target picture until the code key delay number becomes 0, that is, skips steps S174 to S188. Continue processing in the sign key mode.
  • the code key control unit 103 determines whether or not the image code key processing should be terminated (step S180), and when it is determined that the image code key processing should be terminated (Yes in step S180), When the processing operation is finished and it is determined that the processing operation should not be finished (No in step S180), the operation from step S170 is repeatedly executed.
  • the code key control unit 103 handles the top field of the B picture as a specific picture.
  • the skip picture generation unit 104 generates a skip picture in which all macroblocks are composed of skipped macroblocks.
  • An image decoding apparatus that obtains such a skipped picture as a top field of a B picture that is a specific picture, uses the preceding picture in the order of the sign of the top field of the B picture.
  • the tom field is referenced, and the skipped picture is decoded to the top field of the B picture that has the same image as the bottom field.
  • the decoded skip picture has an image that approximates the top field of the B picture before the sign.
  • the skip picture generation unit 104 includes only the macroblock at the upper left corner composed of inter macroblocks, and other macroblocks derived from skipped macroblocks. You can generate a skipped picture.
  • the inter-macro block indicates the immediately preceding bottom field as a picture to be referred to (reference picture) in the order of the sign, and refers to the bottom field and has 0 pixel in the horizontal direction and 0.5 pixel in the vertical direction. It has information indicating that motion compensation should be performed.
  • An image decoding apparatus that obtains such a skipped picture as a top field of a B picture that is a specific picture refers to the bottom field immediately before in all macroblocks, and is 0.5 in the vertical direction.
  • the skipped picture can be decoded into a picture approximated by the top field of the B picture before the sign.
  • FIG. 12 is a flowchart showing the operation of the sign key control unit 103 according to this modification.
  • the code key control unit 103 determines whether or not a code amount exceeding 3200 bits per macroblock is generated by the entropy code key ⁇ by the entropy code key unit 102, that is, a violation of the standard. It is determined whether or not the prediction code key picture has been generated (step S190).
  • step S192 when it is determined that the standard violation has not occurred (No in step S190), the code key control unit 103 continues the prediction code key mode (step S192).
  • the encoding control unit 103 further determines whether or not the encoding target picture is the power of the top field of the B picture. (Step S194). When it is determined that it is not the top field of the B picture (No in step S194), the code key control unit 103 predicts the code target picture by using the image code key unit. 101, and controls the switch 103a so that the image code key unit 101 is connected to the entropy code key unit 102 (step S196).
  • step S194 If it is determined in step S194 that the field is the top field of the B picture (step (Yes in step S194), the code key control unit 103 instructs the skip picture generation unit 104 to generate a skip picture for the code target pixel, and the skip picture generation unit 104 sets the entropy code.
  • the switch 103a is controlled so as to be connected to the hook 102 (step S198).
  • the code key control unit 103 sets the input picture subsequent to the violation input picture as the code target picture until the code key delay number becomes 0, that is, skips the processing of steps 3194 to 3198, that is, skips. Continue processing in the sign key mode.
  • the code key control unit 103 determines whether or not the image code key processing should be terminated (step S200), and when it is determined that the image code key processing should be terminated (Yes in step S200), When the processing operation is finished and it is determined that it should not be finished (No in step S200), the operation from step S190 is repeated.
  • the quantization step value is increased so that a standard violation does not occur again, but the violation input picture is predicted. It may be a sign key picture.
  • the macro block that has violated the standard may be changed to LPCM and encoded. Even in this case, the recurrence of the standard violation can be surely prevented.
  • the skip code key mode is continued until the coding delay number becomes zero. However, before the code key delay number becomes zero, the skip is performed. You can switch the code mode to the predictive code mode.
  • each functional block in the block diagrams shown in FIGS. 1, 3 and 4 may be realized as an LSI which is typically an integrated circuit.
  • This LSI may be made into one chip or a plurality of chips.
  • a functional block other than a memory may be integrated on one chip.
  • IC integrated circuit
  • system LSI super LSI
  • ultra LSI depending on the difference in power integration as LSI. .
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • FPGA Field Programma
  • FPGA Field Programma
  • reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • the unit for storing data may be configured separately instead of being processed by one chip.
  • the image encoding apparatus of the present invention has a smaller circuit scale and lower power consumption, for example, H.264.
  • HDD recorders in addition to personal computers, HDD recorders, DVD recorders, etc., it can be applied to video cameras, mobile phones with cameras, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　画像符号化処理の遅延を確実に抑えるとともに回路規模の増大を抑えた画像符号化装置および画像符号化方法を提供する。画像符号化装置（１００）は、複数の入力ピクチャを順次符号化することにより符号化ピクチャを生成する画像符号化部（１０１）と、スキップピクチャを生成するスキップピクチャ生成部（１０４）と、その符号化ピクチャおよびスキップピクチャに対してエントロピー符号化を行うエントロピー符号化部（１０２）と、エントロピー符号化によって、閾値よりも大きい符号量のマクロブロックを含む符号化ピクチャが発生したか否かを判別し、その符号化ピクチャに対応する入力ピクチャ以降の何れかを特定ピクチャとして、その特定ピクチャに対し、画像符号化部（１０１）に符号化させず、スキップピクチャ生成部（１０４）にスキップピクチャを生成させる符号化制御部（１０３）とを備える。

Description

明 細 書
画像符号化装置および画像符号化方法
技術分野
[0001] 本発明は、画像を圧縮符号化して、光ディスク、磁気ディスクある 、はフラッシュメモ リ等の記憶メディア上に記録する画像符号ィ匕装置および画像符号ィ匕方法に関するも のであり、特に H. 264符号化方式により圧縮符号化を行う画像符号化装置および 画像符号ィ匕方法に関する。
背景技術
[0002] デジタル映像技術の発展と共に、増大するデータ量を処理するために、データを圧 縮する技術がデジタル映像データに使用され、発展しつつある。その発展は、映像 データの特性を生力した映像データに特ィ匕した圧縮技術となって現れて 、る。また、 コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮技術における複雑 な演算も可能となり、映像データの圧縮率は大幅に向上しつつある。例えば、衛星、 地上波デジタルノヽイビジョン放送で採用されている圧縮技術は MPEG2と呼ばれる 方式であり、衛星デジタルハイビジョン放送は MPEG2によって映像データを約 1Z3 0に圧縮している。
[0003] MPEG2の次の映像圧縮技術として規格化された AVCZH. 264は、 MPEG2の 約 2倍の圧縮率を実現すると言われている。 AVC/H. 264では、多くの圧縮技術を 実装し、それらを組み合わせることで高い圧縮率を実現している。そのため、演算量 も大幅に増加している。
[0004] AVC/H. 264で実装されている圧縮技術の一つにエントロピー符号化（可変長 符号化）がある。エントロピー符号化の方式として、 CAVLCと CABACという 2つの 方式が用意されている。 CAVLCは、 Context— based Adaptive Variable Le ngth Coding (コンテキスト適応型可変長符号ィ匕方式)の略であり、 DCT係数を符 号化する際、可変長符号ィ匕テーブルを用いて連続する 0の長さであるランとレベルを スキャンの方向と反対の方向から符号ィ匕する方式である。
[0005] CABACは、 Context— based Adaptive Binary Arithmetic Coding (コン テキスト適応型 2値算術符号化方式)の略で、時間とともに変化する符号化対象の出 現頻度を変化させる方式で、一般に算術符号化と呼ばれる方式である。 CABACで は、通常の算術符号化のほかに、圧縮すべき符号ごとにコンテキストを付け、そのコ ンテキストごとに出現頻度の変更を行っている。
[0006] CABACでの符号化は主に 2つの処理に分けられる。 1つ目は、 Syntaxと呼ばれ る符号化すべき多値情報を 2値データに変換する 2値化 (binarization)と呼ばれる 処理であり、 2つ目は、 2値ィ匕によって変換された 2値データに対してコンテキストを算 出し算術符号ィ匕を行う処理である。
[0007] また、 CABAC符号ィ匕処理は、コンテキストによっては、大量のビットストリームを出 力する必要があるため、高クロックで動作させる必要があり、回路規模および消費電 力が大きくなる。そこで、 CABACでは、符号化対象の画像データにより処理量が大 きく変化する特性を利用して、 CABACの平均的な処理量で回路を実装し、その処 理量の増減を吸収する 2値データバッファを設け、 2値化処理を行う回路と算術符号 化を行う回路とは、非同期に動作させることで、クロック数を抑えることが可能である。
[0008] ところで、 AVCZH. 264において、マクロブロックの最大符号量は、 4— 2— 0フォ 一マット、 bit— depth8ビットの場合で 3200ビットに制限されて!、る。
[0009] しかし、算術符号ィ匕では、 2値データのビット毎に 0Z1の出現確率を求めて符号化 の処理が行われ、その出現確率は、ビット毎に適応的に切り替えられて、ビットの値 によって更新されるため、 CABACの出力符号量を符号ィ匕前に正確に知ることは困 難である。したがって、マクロブロックを符号ィ匕した結果、符号量が 3200ビットを超え る場合は、そのマクロブロックの符号ィ匕の条件を変更して再度符号ィ匕を行わなけれ ばならない。つまり、マクロブロックの最大符号量制限が満たされているかどうかの判 定は、 CABAC符号ィ匕後に行われる。
[0010] その結果、平均的な処理速度での算術符号ィ匕によって遅延が発生して、数フレー ム分の 2値データが 2値データバッファの中に蓄積されて 、る状態で、算術符号化後 に 3200ビットを越えるマクロブロックが検出されることがある。このような場合、再符号 化のために、 2値データバッファに蓄積されている数フレーム分の 2値ィ匕されたデー タをすべて破棄して、 3200ビットを超えたフレーム（または、マクロブロック）力 符号 化を再度行う必要がある。その結果、画像符号化処理の遅延が大きくなる。
[0011] そこで、算術符号ィ匕部に入力されるデータを監視し、 3200ビットを超えそうな場合 には、 I—PCM符号ィ匕へ切り替えるという画像符号ィ匕装置が提案されている（例えば 、特許文献 1参照)。つまり、この画像符号化装置では、算術符号化を実施する前に 、算術符号ィ匕後の符号量を推定することにより、 3200ビットを超えそうなマクロブロッ クを有するピクチャに対しては再符号ィ匕を行うことなぐ符号ィ匕されていない入力ピク チヤを CABAC符号化処理の対象とする。
特許文献 1 :特開 2004— 135251号公報
発明の開示
発明が解決しょうとする課題
[0012] しカゝしながら、上記特許文献 1の画像符号ィ匕装置であっても、画像符号化処理の 遅延が発生し、回路規模が増大するという問題がある。
[0013] つまり、上記特許文献 1の画像符号化装置であっても、算術符号化後の符号量を 正確に推定できず、 3200ビットを超える符号量のマクロブロックの発生を防ぐことが できない。 3200ビットを超える符号量のマクロブロックが発生した場合には、 2値デー タバッファに含まれるデータを全て破棄して、規格違反を起こしたピクチャ以降のデ ータ全てを再度メモリから読み出し、再符号化を行う必要がある。その結果、入力ピク チヤに対して画像符号化処理の遅れが生じ、そのメモリには多くの入力ピクチャが格 納されることとなり、回路規模が増大する。
[0014] そこで、本発明は、カゝかる問題に鑑みてなされたものであって、画像符号化処理の 遅延を確実に抑えるとともに回路規模の増大を抑えた画像符号ィ匕装置および画像 符号化方法を提供することを目的とする。
課題を解決するための手段
[0015] 上記目的を達成するために、本発明に係る画像符号化装置は、複数の入力ピクチ ャを順次符号化することにより画素値を有する符号化ピクチャを生成する画像符号化 手段と、画素値を持たな 、スキップピクチャを生成するスキップピクチャ生成手段と、 前記符号ィ匕ピクチャおよび前記スキップピクチャに対してエントロピー符号ィ匕を行うェ ントロピー符号ィ匕手段と、前記エントロピー符号ィ匕手段によるエントロピー符号ィ匕によ つて、閾値よりも大き 、符号量のマクロブロックを含む符号ィ匕ピクチャが発生した力否 かを判別する判別手段を有し、前記マクロブロックを含む符号ィ匕ピクチャに対応する 入力ピクチヤと、前記入力ピクチヤよりも符号ィ匕順で後の各入力ピクチヤとのうち何れ かを特定ピクチヤとして、前記特定ピクチヤに対し、前記画像符号化手段に符号化さ せず、前記スキップピクチャ生成手段にスキップピクチャを生成させる符号ィヒ制御手 段とを備えることを特徴とする。例えば、前記判別手段は、 AVC/H. 264で規定さ れるマクロブロックの最大の符号量を前記閾値として扱う。また、前記エントロピー符 号ィ匕手段は、 Context— based Adaptive Binary Arithmetic Coding (CAB AC)によって前記エントロピー符号ィ匕を行う。
[0016] 従来では、閾値よりも大きい符号量のマクロブロックを含む符号ィ匕ピクチャが発生し たときには、つまり規格違反が発生したときには、その規格違反の入力ピクチャ以降 の各入力ピクチヤの全てに対して予測符号ィ匕などの符号ィ匕処理が行われるが、本発 明では、特定ピクチヤに対しては、予測符号化などの符号化処理が行われずに、画 素値を持たないスキップピクチャが生成される。ここで、特定ピクチヤに対する符号ィ匕 処理に要する時間は、スキップピクチャを生成する時間に比べて非常に長いため、そ の符号化処理に要する時間を省いて、入力ピクチヤの入力に対する画像符号化処 理の遅延を確実に抑えることができる。その結果、入力メモリを保持しておくメモリの 容量を抑えて回路規模の増大を抑えることができる。さらに、低消費電力化を測るこ とがでさる。
[0017] また、前記画像符号化手段は、量子化ステップ値を用いて符号化を行 ヽ、前記符 号ィ匕制御手段は、前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチャ 力 前記特定ピクチヤでない場合、先の符号ィ匕で用いられた量子化ステップ値よりも 大きな量子化ステップ値で、前記入力ピクチャを前記画像符号化手段に再び符号化 させることを特徴としてもよい。または、前記符号化制御手段は、前記マクロブロックを 含む符号ィ匕ピクチャに対応する入力ピクチヤが、前記特定ピクチヤでない場合、前記 入力ピクチャを新たな符号ィ匕ピクチャとして画像符号ィ匕手段に生成させることを特徴 としてちよい。
[0018] これにより、再符号化により生成された符号化ピクチャに対してエントロピー符号ィ匕 が行われたときには、その符号ィ匕ピクチャに含まれるマクロブロックの符号量を閾値 以下に確実に抑えることができる。
[0019] また、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応す る入力ピクチヤと、前記入力ピクチヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、 ボトムフィールドを前記特定ピクチヤとすることを特徴としてもよい。ここで、前記スキッ プピクチャ生成手段は、左上端のマクロブロックが、符号ィ匕順で直前のトップフィール ドを参照し、水平方向に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示し 、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチャ を生成することを特徴としてもょ 、。
[0020] これにより、エントロピー符号ィ匕によって生成されたストリームを取得した画像復号 化装置は、ボトムフィールドに対するスキップピクチャに基づいて、全てのマクロブロッ クにおいて直前のトップフィールドを参照して垂直方向に 0. 5画素の動き補償を行う ことにより、そのスキップピクチャを、その符号ィ匕前のボトムフィールドに近似するピク チヤに復号することができる。
[0021] また、前記符号化制御手段は、前記マクロブロックを含む符号化ピクチャに対応す る入力ピクチヤと、前記入力ピクチヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、ト ップフィールドを前記特定ピクチヤとすることを特徴としてもよい。ここで、前記スキップ ピクチャ生成手段は、左上端のマクロブロック力 符号ィ匕順で直前のボトムフィールド を参照し、水平方向に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示 し、他のマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチ ャを生成することを特徴としてもょ 、。
[0022] これにより、エントロピー符号ィ匕によって生成されたストリームを取得した画像復号 化装置は、トップフィールドに対するスキップピクチャに基づいて、全てのマクロブロッ クにお 、て直前のボトムフィールドを参照して垂直方向に 0. 5画素の動き補償を 行うことにより、そのスキップピクチャを、その符号ィ匕前のトップフィールドに近似する ピクチャに復号することができる。
[0023] なお、本発明は、このような画像符号ィ匕装置として実現することができるだけでなく 、このような画像符号ィ匕装置が備える特徴的な手段をステップとする画像符号ィ匕方 法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実 現したりすることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体 やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。 発明の効果
[0024] 本発明の画像符号ィ匕装置は、画像符号ィ匕処理の遅延を確実に抑えるとともに回路 規模の増大を抑え、低消費電力化を図ることができる。したがって、ビデオカメラや力 メラ付き携帯電話機等が広く普及してきた今日における本発明の実用的価値は極め て高い。
図面の簡単な説明
[0025] [図 1]図 1は、本発明の実施の形態における画像符号ィ匕装置の構成を示すブロック 図である。
[図 2A]図 2Aは、同上のスキップピクチャの構成を示す図である。
[図 2B]図 2Bは、同上のスキップピクチャの構成を示す図である。
[図 3]図 3は、同上の画像符号ィ匕部の構成を示すブロック図である。
[図 4]図 4は、同上のエントロピー符号ィ匕部の構成を示すブロック図である。
[図 5]図 5は、同上の画像符号ィ匕装置の動作を説明するための説明図である。
[図 6]図 6は、同上の符号ィ匕制御部の動作を示すフローチャートである。
[図 7]図 7は、同上の変形例 1に係る符号化制御部の動作を示すフローチャートであ る。
[図 8]図 8は、同上の変形例 2に係る画像符号ィ匕装置の動作を説明するための説明 図である。
[図 9]図 9は、同上の変形例 2に係る符号ィヒ制御部の動作を示すフローチャートであ る。
[図 10]図 10は、同上の変形例 3に係る画像符号ィ匕装置の動作を説明するための説 明図である。
[図 11]図 11は、同上の変形例 3に係る符号化制御部の動作を示すフローチャートで ある。
[図 12]図 12は、同上の変形例 4に係る符号化制御部の動作を示すフローチャートで ある。
符号の説明
100 画像符号化装置
101 画像符号化部
102 エントロピー符号ィ匕部
103 符号化制御部
104 スキップピクチャ生成部
201 入力画像データメモリ
202 参照画像データメモリ
203 面内予測部
204 動きベクトル検出部
205 動き補償部
206 スィッチ
207 差分演算部
208 直交変換部
209 量子化部
210 逆量子化部
211 逆直交変換部
212 加算部
発明を実施するための最良の形態
[0027] 以下、本発明の実施の形態における画像符号ィ匕装置について図面を参照しながら 説明する。
[0028] 図 1は、本発明の実施の形態における画像符号ィ匕装置の構成を示すブロック図で ある。
[0029] 画像符号化装置 100は、画像符号化部 101、エントロピー符号化部 102、符号ィ匕 制御部 103、スキップピクチャ生成部 104、およびスィッチ 103aを備える。
[0030] 画像符号ィ匕部 101は、入力画像データを取得して、その入力画像データに含まれ る各入力ピクチヤに対して順次、予測符号化 (面内予測符号化または面間予測符号 ィ匕)を行う。その結果、画像符号ィ匕部 101は、画素値を有する予測符号ィ匕ピクチャを 生成する。
[0031] スキップピクチャ生成部 104は、画素値を持たないスキップピクチャを生成する。こ のようなスキップピクチャを含むビットストリームを取得した画像復号ィ匕装置は、そのス キップピクチャに対して他のピクチャの復号結果を利用する。つまり、画像復号化装 置は、復号ィ匕対象のピクチャがスキップピクチャであることを判断すると、そのスキップ ピクチャを、既に復号ィ匕された他のピクチヤと同様の画素値を有するピクチャに復号 化する。
[0032] エントロピー符号ィ匕部 102は、画像符号ィ匕部 101で生成された予測符号ィ匕ピクチ ャを取得すると、その予測符号ィ匕ピクチャに対してエントロピー符号ィ匕 (可変長符号 ィ匕）を行い、その結果を示す出力ストリーム（ビットストリーム）を出力する。また、ェント 口ピー符号ィ匕部 102は、スキップピクチャ生成部 104で生成されたスキップピクチャを 取得すると、そのスキップピクチャに対してエントロピー符号ィ匕を行い、その結果を示 す出力ストリームを出力する。
[0033] スィッチ 103aは、符号ィ匕制御部 103からの指示に従って、エントロピー符号化部 1 02を、画像符号ィ匕部 101とスキップピクチャ生成部 104とに切り換えて接続する。
[0034] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て発生する符号量に応じて、予測符号ィ匕モードとスキップ符号ィ匕モードとを切り換え て設定する。
[0035] 予測符号化モードは、通常設定されるモードであって、入力画像データに含まれる 各入力ピクチヤに対して予測符号ィ匕およびエントロピー符号ィ匕が行われるモードであ る。この予測符号ィ匕モードが設定されているときには、符号ィ匕制御部 103は、スイツ チ 103aを制御することで、エントロピー符号ィ匕部 102を画像符号ィ匕部 101に常に接 続させる。
[0036] スキップ符号ィ匕モードは、入力画像データに含まれる予め定められたタイプの入力 ピクチャ（特定ピクチャ）に対して、予測符号ィ匕が行われずにスキップピクチャが生成 されて、そのスキップピクチャに対してエントロピー符号ィ匕が行われるモードである。 また、スキップ符号化モードでは、入力画像データに含まれる特定ピクチャを除く各 入力ピクチヤに対しては、上述の予測符号ィ匕モードと同様に、予測符号化およびェ ントロピー符号ィ匕が行われる。このスキップ符号化モードが設定されて ヽるときには、 符号ィ匕制御部 103は、スィッチ 103aを制御することで、特定ピクチヤに対しては、ェ ントロピー符号ィ匕部 102をスキップピクチャ生成部 104に接続させ、他の入力ピクチ ャに対しては、エントロピー符号ィ匕部 102を画像符号ィ匕部 101に接続させる。
[0037] ここで、本実施の形態では、上記特定ピクチャをボトムフィールドとする。
[0038] 図 2Aおよび図 2Bは、本実施の形態におけるスキップピクチャの構成を示す図であ る。
[0039] スキップピクチャ生成部 104は、例えば、図 2Aに示すように、全てのマクロブロック がスキップトマクロブロックからなるスキップピクチャを生成する。
[0040] このようなスキップピクチャを特定ピクチャたるボトムフィールドとして取得した画像復 号化装置は、そのボトムフィールドの符号ィ匕順で直前のトップフィールドを参照し、そ のスキップピクチャを、そのトップフィールドと同じ画像を有するボトムフィールドに復 号する。その結果、復号ィ匕されたスキップピクチャは、符号ィ匕前のボトムフィールドと 近似した画像を有することとなる。
[0041] また、スキップピクチャ生成部 104は、例えば、図 2Bに示すように、左上端のマクロ ブロックのみがインターマクロブロックからなり、他のマクロブロックがスキップトマクロ ブロックからなるスキップピクチャを生成してもよい。インターマクロブロックは、参照す べきピクチャ (参照ピクチャ）として符号ィ匕順で直前のトップフィールドを示すとともに、 そのトップフィールドを参照して水平方向に 0画素で垂直方向に 0. 5画素の動き補 償をすべきことを示す情報を有する。
[0042] このようなスキップピクチャを特定ピクチャたるボトムフィールドとして取得した画像復 号化装置は、全てのマクロブロックにおいて直前のトップフィールドを参照して垂直方 向に 0. 5画素の動き補償を行うことにより、そのスキップピクチャを、符号化前のボト ムフィールドにより近似させたピクチャに復号することができる。
[0043] 図 3は、画像符号ィ匕部 101の構成を示すブロック図である。
[0044] 画像符号ィ匕部 101は、入力画像データメモリ 201、参照画像データメモリ 202、面 内予測部 203、動きベクトル検出部 204、動き補償部 205、スィッチ 206、差分演算 部 207、直交変換部 208、量子化部 209、逆量子化部 210、逆直交変換部 211、お よび加算部 212を備えている。
[0045] 入力画像データメモリ 201は、入力画像データを取得してその入力画像データを 蓄積する。参照画像データメモリ 202は、入力画像データに含まれる入力ピクチヤが 予測符号化されてさらに復号化されたピクチャを参照ピクチヤとして蓄積する。なお、 入力画像データメモリ 201および参照画像データメモリ 202に蓄積されるデータは、 1マクロブロックあたりの符号量が 3200ビットを超えるという規格違反がエントロピー 符号ィ匕部 102で発生した際の再予測符号ィ匕のデータとして利用される。
[0046] 面内予測部 203は、入力画像データに含まれる入力ピクチヤに対して画像領域ご とに面内予測を行うことにより予測画像を生成する。このとき、面内予測部 203は、参 照画像データメモリ 202に蓄積されている画素値を用いる。この画素値は、その面内 予測対象の入力ピクチヤに含まれる既に予測符号化されて復号化された画像領域 の画素値である。
[0047] 動きベクトル検出部 204は、参照画像データメモリ 202に格納されている参照ピク チヤを探索対象とし、最も入力ピクチヤに近い画像領域を検出してその位置を示す 動きベクトルを決定し、最も誤差の小さ!/、符号ィ匕対象ブロックのサイズおよびそのサ ィズでの動きベクトルを決定する。
[0048] 動き補償部 205は、参照画像データメモリ 202に格納されている参照ピクチヤから、 動きベクトル検出部 204によって検出された動きベクトルにより示される画像領域の 画素値を取り出すことにより、予測画像を生成する。
[0049] スィッチ 206は、入力ピクチヤに対して面内予測符号ィ匕が行われるときには、差分 演算部 207に面内予測部 203を接続し、入力ピクチヤに対して面間予測符号ィ匕が行 われるときには、差分演算部 207に動き補償部 205を接続する。
[0050] 差分演算部 207は、入力画像データメモリ 201から入力ピクチャを取得すると、そ の入力ピクチヤと予測画像の差分値を計算し、直交変換部 208に出力する。
[0051] 直交変換部 208は、差分値を周波数係数に変換し、量子化部 209に出力する。
[0052] 量子化部 209は、直交変換部 208から出力された周波数係数を、予め定められた 量子化ステップ値を用いて量子化し、その結果得られた量子化値をスィッチ 103aに 出力する。つまり、画像符号ィ匕部 101は予測符号ィ匕ピクチャをスィッチ 103aに出力 する。
[0053] 逆量子化部 210は、量子化部 209から出力された量子化値を逆量子化して周波数 係数に復元し、逆直交変換部 211に出力する。
[0054] 逆直交変換部 211は、逆量子化部 210から出力された周波数係数を画素差分値 に逆周波数変換し、加算部 212に出力する。
[0055] 加算部 212は、逆直交変換部 211から出力された画素差分値と、面内予測部 203 または動き補償部 205から出力された予測画像とを加算して参照ピクチャを生成し、 参照画像データメモリ 202に格納する。
[0056] また、制御情報とは、符号ィ匕制御部 103から出力された画像符号ィ匕部 101を制御 するための情報である。画像符号ィ匕部 101は、この制御情報に応じて、例えば量子 化ステップ値を変更したり、マクロブロックを LPCMに変更したりすることができる。
[0057] 図 4は、エントロピー符号ィ匕部 102の構成を示すブロック図である。
[0058] エントロピー符号化部 102は、 2値ィ匕部 301、 2値化データバッファ 302、および CA
BAC符号化部 303を備える。
[0059] 2値ィ匕部 301は、入力データとして予測符号ィ匕ピクチャまたはスキップピクチャを例 えばマクロブロックごとに取得すると、そのマクロブロックに示される多値情報を 2値デ ータに変換して、その 2値データを 2値ィ匕データバッファ 302に格納する。
[0060] CABAC符号化部 303は、 2値化データバッファ 302に格納されている 2値データ を取得して、その 2値データに対してコンテキストを算出して算術符号ィ匕を行う。なお
、 CABAC符号ィ匕部 303による処理は、 2値ィ匕部 301の処理とは非同期に行われる
[0061] CABAC符号ィ匕部 303は、算出符号ィ匕の結果、予測符号化ピクチャに含まれる全 てのマクロブロックに対して、 1マクロブロックあたりの符号量が 3200ビットを超えない 場合には、その予測符号ィ匕ピクチャに対する算術符号ィ匕の結果を示す出カストリー ムを出力する。このとき、符号ィ匕制御部 103は、このような出力ストリームが出力される ごとに、画像符号化部 101の入力画像データメモリ 201および参照画像データメモリ 202に蓄積されている不要となった再予測符号ィ匕のためのデータを削除させる。 [0062] また、 CABAC符号ィ匕部 303は、算出符号ィ匕の結果、予測符号ィ匕ピクチャに含ま れる何れかのマクロブロックに対して、 1マクロブロックあたりの符号量が 3200ビットを 超える場合には、その予測符号ィ匕ピクチャに対する算出符号ィ匕の結果を示す出カス トリームを出力しない。そして、既に 2値ィ匕データバッファ 302に蓄積されている 2値デ ータを削除する。
[0063] このような本実施の形態において、符号ィ匕制御部 103の処理について詳細に説明 する。
[0064] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、予測符号ィ匕ピクチャに含まれる 1マクロブロックに、 3200ビットを超える符号量が 発生したか否か、つまり規格違反が発生したか否かを判別する。つまり、本実施の形 態では、符号ィ匕制御部 103が判別手段を備えている。そして、規格違反が発生した と判別すると、符号ィ匕制御部 103は、予測符号化モードをスキップ符号化モードに切 り換える。ここで、規格違反のマクロブロックを含む予測符号化ピクチャに対応する入 カピクチャを、以下、違反入力ピクチヤという。
[0065] 符号ィ匕制御部 103は、スキップ符号ィ匕モードに切り換えると、入力画像データに含 まれる各入力ピクチヤのうち、違反入力ピクチヤと、その違反入力ピクチヤの符号ィ匕順 で後続の各入力ピクチヤとに対して、スキップ符号化モードによる処理を適用する。こ こで、符号ィ匕制御部 103は、違反入力ピクチヤが上述の特定ピクチヤでない場合に は、画像符号ィ匕部 101を制御することにより、その違反入力ピクチヤに対して再び予 測符号ィ匕を行う、つまりその違反入力ピクチヤに対して再予測符号ィ匕を行う。この再 予測符号ィ匕のときには、符号ィ匕制御部 103は、画像符号ィ匕部 101での量子化ステツ プ値を先に用いられた値よりも大きくさせることで、再び規格違反が発生しないように する。
[0066] ところで、従来例のように、規格違反が発生したときに、違反入力ピクチャ以降の全 ての入力ピクチヤに対して予測符号ィ匕およびエントロピー符号ィ匕が行われると、既に 予測符号ィ匕が行われて 2値データとされた入力ピクチヤに対しては、再び予測符号 化が行われることとなる。その結果、規格違反が発生する度に、入力画像データの入 力に対する画像符号化処理の遅延が大きくなる。 [0067] そこで、本実施の形態における符号ィ匕制御部 103は、上述のようなスキップ符号ィ匕 モードを適用し、例えば、符号ィ匕対象とされる入力ピクチヤが、規格違反が発生しな 力 た場合に符号ィ匕対象とされる入力ピクチヤに追いつくまで、そのスキップ符号ィ匕 モードを継続させ、その後、スキップ符号ィ匕モードを予測符号ィ匕モードに切り換える。 ここで、現時点において、規格違反が発生しなカゝつた場合に符号ィ匕対象とされる入 カピクチャと、実際に符号ィ匕対象とされる入力ピクチヤとの間のピクチャ数を、以下、 符号化遅延数という。したがって、上記スキップ符号ィ匕モードは、符号化遅延数が 0と なるまで継続される。また、本実施の形態における符号ィ匕制御部 103は、画像符号 化部 101で符号化対象とされる入力ピクチヤの例えば POC (Picture Order Count) などの識別番号を監視することによって、上述の符号化遅延数を特定する。
[0068] 図 5は、本実施の形態における画像符号ィ匕装置 100の動作を説明するための説明 図である。
[0069] 例えば、図 5の（a)に示すように、ピクチャ 10、ピクチャ Pl、ピクチャ B2、ピクチャ B3 、…の順で、各入力ピクチヤが画像符号ィ匕部 101の入力画像データメモリ 201に格 納される。なお、図 5中、各入力ピクチヤの符号に含まれる最初のアルファベットは、 入力ピクチヤの符号ィ匕タイプを示し、その符号に含まれる次の数字は、入力ピクチャ の表示順を示す。例えば、ピクチャ 10は最初（0番目）に表示される Iピクチャであって 、ピクチャ P1は 1番目に表示される Pピクチヤである。
[0070] また、画像符号ィ匕装置 100は、規則違反が発生しないときには、図 5の (b)に示す ように、画像符号ィ匕部 101の入力画像データメモリ 201に格納されて 、る各入力ピク チヤに対して、ピクチャ 10、ピクチャ Pl、ピクチャ P6、ピクチャ P7、…の順で、予測符 号化およびエントロピー符号化を行う。
[0071] 一方、画像符号ィ匕装置 100は、規則違反が発生したときには、図 5の（c)に示すよ うに、スキップ符号化モードによる処理を実行する。例えば、画像符号化装置 100は 、ピクチャ P6のマクロブロックに対するエントロピー符号化 (算術符号化）の結果、そ のマクロブロックに対して 3200ビットを超える符号量が発生したと判別する。このとき 、画像符号化装置 100は、ピクチャ P6、ピクチャ P7、ピクチャ B2、およびピクチャ B3 に対する予測符号ィ匕および 2値ィ匕の結果として、 2値ィ匕データバッファ 302に既に蓄 積されて!、る 2値データを全て破棄し、スキップ符号化モードによる処理を実行する。
[0072] 即ち、画像符号ィ匕装置 100は、違反入力ピクチヤであるピクチャ P6と、そのピクチャ P6の符号ィ匕順で後続の各入力ピクチヤとに対して、符号化遅延数が 0となるまで、ス キップ符号ィ匕モードによる処理を適用する。
[0073] 具体的に、画像符号ィ匕装置 100の符号ィ匕制御部 103は、ピクチャ P6が特定ピクチ ャであるボトムフィールドでないため、画像符号ィ匕部 101にそのピクチャ P6に対する 再予測符号ィ匕を実行させ、その結果に対してエントロピー符号ィ匕部 102にエントロピ 一符号ィ匕を実行させる。そして、符号ィ匕制御部 103は、次のピクチャ P7が特定ピクチ ャであるボトムフィールドであるため、スキップピクチャ生成部 104にそのピクチャ P7 に対するスキップピクチャを生成させ、その結果に対してエントロピー符号ィ匕部 102 にエントロピー符号ィ匕を実行させる。
[0074] 上述と同様に、符号ィ匕制御部 103は、ピクチャ B2、ピクチャ B4およびピクチャ P12 がボトムフィールドでないため、画像符号化部 101にそれらの入力ピクチヤに対する 予測符号ィ匕を実行させ、その結果に対してエントロピー符号ィ匕部 102にエントロピー 符号化を実行させる。また、符号ィ匕制御部 103は、ピクチャ B3、ピクチャ B5およびピ クチャ P 13がボトムフィールドであるため、スキップピクチャ生成部 104にそれらの入 カピクチャに対するスキップピクチャを生成させ、その結果に対してエントロピー符号 化部 102にエントロピー符号ィ匕を実行させる。
[0075] ピクチャ P13に対する処理が終了すると、符号ィ匕遅延数が 0となるため、符号化制 御部 103は、スキップ符号ィ匕モードを予測符号ィ匕モードに切り換えて設定する。その 結果、ピクチャ B8以降の各ピクチャに対しては、ボトムフィールドである力否かに関わ らず全て、予測符号ィ匕が行われる。
[0076] 図 6は、本実施の形態における符号ィ匕制御部 103の動作を示すフローチャートで ある。
[0077] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、 1マクロブロックあたりに 3200ビットを超える符号量が発生したか否力、つまり規 格違反の予測符号ィ匕ピクチャが発生した力否かを判別する (ステップ S100)。
[0078] ここで、規格違反が発生していないと判別したときには (ステップ S 100の No)、符 号ィ匕制御部 103は、予測符号ィ匕モードを継続させる (ステップ S 102)。即ち、入力画 像データに含まれる入力ピクチャを順次、予測符号ィ匕するように画像符号ィ匕部 101 に指示するとともに、画像符号化部 101がエントロピー符号ィ匕部 102に接続されるよ うにスィッチ 103aを制御する。
[0079] 一方、規格違反が発生したと判別したときには (ステップ S 100の Yes)、符号化制 御部 103は、さら〖こ、符号化対象とされる入力ピクチャ (符号化対象ピクチヤ）がボトム フィールドであるか否かを判別する (ステップ S 104)。なお、このときの最初の符号ィ匕 対象ピクチャは違反入力ピクチヤである。そして、ボトムフィールドでないと判別したと き、つまりトップフィールドであると判別したときには (ステップ S104の No)、符号ィ匕制 御部 103は、その符号ィ匕対象ピクチャを予測符号ィ匕するように画像符号ィ匕部 101に 指示するとともに、画像符号ィ匕部 101がエントロピー符号ィ匕部 102に接続されるよう にスィッチ 103aを制御する（ステップ S106)。
[0080] また、ステップ S104でボトムフィールドであると判別したときには（ステップ S104の Yes)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチヤに対してスキップピクチャを生 成するようにスキップピクチャ生成部 104に指示するとともに、スキップピクチャ生成 部 104がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御する (ス テツプ S 108)。
[0081] そして、符号ィ匕制御部 103は、符号ィ匕遅延数が 0となるまで、違反入力ピクチヤの 後続の入力ピクチャを順に符号ィ匕対象ピクチヤとして、ステップ S104〜S 108の処理 、つまりスキップ符号ィ匕モードによる処理を継続して行う。
[0082] また、符号ィ匕制御部 103は、画像符号ィ匕処理を終了すべき力否かを判別し (ステツ プ S110)、終了すべきと判別したときには (ステップ S110の Yes)、全ての処理動作 を終了し、終了すべきでないと判別したときには (ステップ S110の No)、ステップ S1 00からの動作を繰り返し実行する。
[0083] このように本実施の形態では、規格違反が発生したときには、従来のように、その規 格違反の入力ピクチャ以降の各入力ピクチヤの全てに対して予測符号ィ匕などの符号 化処理が行われることなぐ特定ピクチヤであるボトムフィールドに対しては、予測符 号化などの符号化処理が行われずに、画素値を持たな 、スキップピクチャが生成さ れる。ここで、特定ピクチヤに対する符号化処理に要する時間は、スキップピクチャを 生成する時間に比べて非常に長いため、その符号ィヒ処理に要する時間を省いて、 入力ピクチヤに対する画像符号ィ匕処理の遅延を確実に抑えることができる。その結 果、入力メモリを保持しておく入力画像データメモリ 201の容量を抑えて回路規模の 増大を抑えることができる。さらに、低消費電力化を測ることができる。
[0084] (変形例 1)
本変形例に係る符号ィ匕制御部 103は、トップフィールドを特定ピクチヤとして扱う。
[0085] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Aに示すように 、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する
[0086] このようなスキップピクチャを特定ピクチャたるトップフィールドとして取得した画像復 号化装置は、そのトップフィールドの符号ィ匕順で直前のボトムフィールドを参照し、そ のスキップピクチャを、そのボトムフィールドと同じ画像を有するトップフィールドに復 号する。その結果、復号ィ匕されたスキップピクチャは、符号ィ匕前のトップフィールドと 近似した画像を有することとなる。
[0087] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Bに示すように、 左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがス キップトマクロブロックからなるスキップピクチャを生成してもよ 、。インターマクロブロ ックは、参照すべきピクチャ（参照ピクチャ）として符号ィ匕順で直前のボトムフィールド を示すとともに、そのトップフィールドを参照して水平方向に 0画素で垂直方向に 0 . 5画素の動き補償をすべきことを示す情報を有する。
[0088] このようなスキップピクチャを特定ピクチャたるトップフィールドとして取得した画像復 号化装置は、全てのマクロブロックにおいて直前のボトムフィールドを参照して垂直 方向に—0. 5画素の動き補償を行うことにより、そのスキップピクチャを、符号化前の トップフィールドにより近似させたピクチャに復号することができる。
[0089] 図 7は、本変形例に係る符号ィ匕制御部 103の動作を示すフローチャートである。
[0090] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、 1マクロブロックあたりに 3200ビットを超える符号量が発生したか否力、つまり規 格違反の予測符号ィ匕ピクチャが発生した力否かを判別する (ステップ S130)。
[0091] ここで、規格違反が発生していないと判別したときには (ステップ S130の No)、符 号ィ匕制御部 103は、予測符号ィ匕モードを継続させる (ステップ S132)。
[0092] 一方、規格違反が発生したと判別したときには (ステップ S 130の Yes)、符号化制 御部 103は、さらに、符号ィ匕対象ピクチヤがトップフィールドである力否かを判別する (ステップ S134)。そして、トップフィールドでないと判別したとき、つまりボトムフィー ルドであると判別したときには (ステップ S134の No)、符号ィ匕制御部 103は、その符 号化対象ピクチャを予測符号化するように画像符号化部 101に指示するとともに、画 像符号ィ匕部 101がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制 御する（ステップ S 136)。
[0093] また、ステップ S 134でトップフィールドであると判別したときには（ステップ S 134の Yes)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチヤに対してスキップピクチャを生 成するようにスキップピクチャ生成部 104に指示するとともに、スキップピクチャ生成 部 104がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御する (ス テツプ S 138)。
[0094] そして、符号ィ匕制御部 103は、符号ィ匕遅延数が 0となるまで、違反入力ピクチヤの 後続の入力ピクチャを符号ィ匕対象ピクチヤとして、ステップ3134〜3138の処理、つ まりスキップ符号ィ匕モードによる処理を継続して行う。
[0095] また、符号ィ匕制御部 103は、画像符号ィ匕処理を終了すべき力否かを判別し (ステツ プ S140)、終了すべきと判別したときには (ステップ S140の Yes)、全ての処理動作 を終了し、終了すべきでないと判別したときには（ステップ S 140の No)、ステップ S1 30からの動作を繰り返し実行する。
[0096] (変形例 2)
本変形例に係る符号ィ匕制御部 103は、 Bピクチャを特定ピクチヤとして扱う。
[0097] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Aに示すように 、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する
[0098] このようなスキップピクチャを特定ピクチャたる Bピクチャとして取得した画像復号ィ匕 装置は、その Bピクチャの符号ィ匕順で直前の Iピクチャまたは Pピクチャを参照し、そ のスキップピクチャを、その Iピクチャまたは Pピクチャと同じ画像を有する Bピクチャに 復号する。その結果、復号ィ匕されたスキップピクチャは、符号ィ匕前の Bピクチャと近似 した画像を有することとなる。
[0099] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Bに示すように、 左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがス キップトマクロブロックからなるスキップピクチャを生成してもよ 、。インターマクロブロ ックは、参照すべきピクチャ（参照ピクチャ）として符号ィ匕順で直前の Iピクチャまたは P ピクチャを示すとともに、その Iピクチャまたは Pピクチャを参照して水平方向に 0画素 で垂直方向に ±0. 5画素の動き補償をすべきことを示す情報を有する。
[0100] このようなスキップピクチャを特定ピクチャたる Bピクチャとして取得した画像復号ィ匕 装置は、全てのマクロブロックにおいて直前の Iピクチャまたは Pピクチャを参照して垂 直方向に ±0. 5画素の動き補償を行うことにより、そのスキップピクチャを、符号化前 の Bピクチヤにより近似させたピクチャに復号することができる。
[0101] 図 8は、本変形例に係る画像符号ィ匕装置 100の動作を説明するための説明図であ る。
[0102] 本変形例に係る画像符号ィ匕装置 100は、規則違反が発生しないときには、上記実 施の形態と同様、図 8の（a)に示すように、画像符号化部 101の入力画像データメモ リ 201に格納されている各入力ピクチヤに対して、ピクチャ 10、ピクチャ Pl、ピクチャ P 6、ピクチャ P7、…の順で予測符号ィ匕およびエントロピー符号ィ匕を行う。
[0103] 一方、画像符号ィ匕装置 100は、規則違反が発生したときには、図 8の (b)に示すよ うに、スキップ符号化モードによる処理を実行する。例えば、画像符号化装置 100は 、ピクチャ P6のマクロブロックに対するエントロピー符号化 (算術符号化）の結果、そ のマクロブロックに対して 3200ビットを超える符号量が発生したと判別する。このとき 、画像符号化装置 100は、ピクチャ P6、ピクチャ P7、ピクチャ B2、およびピクチャ B3 に対する予測符号ィ匕および 2値ィ匕の結果として、 2値ィ匕データバッファ 302に既に蓄 積されて!、る 2値データを全て破棄し、スキップ符号化モードによる処理を実行する。
[0104] 即ち、画像符号ィ匕装置 100は、違反入力ピクチヤであるピクチャ P6と、そのピクチャ P6の符号ィ匕順で後続の各入力ピクチヤとに対して、符号化遅延数が 0となるまで、ス キップ符号ィ匕モードによる処理を適用する。
[0105] 具体的に、画像符号ィ匕装置 100の符号ィ匕制御部 103は、ピクチャ P6が特定ピクチ ャである Bピクチャでないため、画像符号ィ匕部 101にそのピクチャ P6に対する再予測 符号化を実行させ、その結果に対してエントロピー符号ィ匕部 102にエントロピー符号 化を実行させる。そして、符号ィ匕制御部 103は、次のピクチャ P7も特定ピクチャであ る Bピクチヤでないため、画像符号ィ匕部 101にそのピクチャ P7に対する再予測符号 化を実行させ、その結果に対してエントロピー符号ィ匕部 102にエントロピー符号ィ匕を 実行させる。
[0106] さらに、符号ィ匕制御部 103は、その次のピクチャ B2が特定ピクチヤである Bピクチャ であるため、スキップピクチャ生成部 104にそのピクチャ B2に対するスキップピクチャ を生成させ、その結果に対してエントロピー符号ィ匕部 102にエントロピー符号ィ匕を実 行させる。上述と同様に、符号ィ匕制御部 103は、ピクチャ B3、ピクチャ B4およびピク チヤ B5が Bピクチヤであるため、スキップピクチャ生成部 104にそれらの入力ピクチャ に対するスキップピクチャを生成させ、その結果に対してエントロピー符号ィ匕部 102 にエントロピー符号ィ匕を実行させる。
[0107] ピクチャ B5に対する処理が終了すると、符号ィヒ遅延数が 0となるため、符号化制御 部 103は、スキップ符号ィ匕モードを予測符号ィ匕モードに切り換えて設定する。その結 果、ピクチャ P12以降の各ピクチャに対しては、 Bピクチャであるか否かに関わらず全 て、予測符号ィ匕が行われる。
[0108] 図 9は、本変形例に係る符号ィ匕制御部 103の動作を示すフローチャートである。
[0109] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、 1マクロブロックあたりに 3200ビットを超える符号量が発生したか否力、つまり規 格違反の予測符号ィ匕ピクチャが発生した力否かを判別する (ステップ S150)。
[0110] ここで、規格違反が発生していないと判別したときには (ステップ S150の No)、符 号ィ匕制御部 103は、予測符号ィ匕モードを継続させる (ステップ S152)。
[0111] 一方、規格違反が発生したと判別したときには (ステップ S 150の Yes)、符号化制 御部 103は、さらに、符号ィ匕対象ピクチャが Bピクチャであるか否かを判別する (ステ ップ S154)。そして、 Bピクチャでないと判別したときには (ステップ S154の No)、符 号ィ匕制御部 103は、その符号ィ匕対象ピクチャを予測符号ィ匕するように画像符号ィ匕部 101に指示するとともに、画像符号化部 101がエントロピー符号ィ匕部 102に接続され るようにスィッチ 103aを制御する（ステップ S 156)。
[0112] また、ステップ S154で Bピクチヤであると判別したときには（ステップ S 154の Yes)、 符号ィ匕制御部 103は、その符号ィ匕対象ピクチヤに対してスキップピクチャを生成する ようにスキップピクチャ生成部 104に指示するとともに、スキップピクチャ生成部 104 がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御する (ステップ S 158)。
[0113] そして、符号ィ匕制御部 103は、符号ィ匕遅延数が 0となるまで、違反入力ピクチヤの 後続の入力ピクチャを符号ィ匕対象ピクチヤとして、ステップ3154〜3158の処理、つ まりスキップ符号ィ匕モードによる処理を継続して行う。
[0114] また、符号ィ匕制御部 103は、画像符号ィ匕処理を終了すべき力否かを判別し (ステツ プ S160)、終了すべきと判別したときには (ステップ S160の Yes)、全ての処理動作 を終了し、終了すべきでないと判別したときには（ステップ S160の No)、ステップ S1 50からの動作を繰り返し実行する。
[0115] (変形例 3)
本変形例に係る符号ィ匕制御部 103は、 Bピクチャのボトムフィールドを特定ピクチャ として扱う。
[0116] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Aに示すように 、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する
[0117] このようなスキップピクチャを特定ピクチャたる Bピクチャのボトムフィールドとして取 得した画像復号ィ匕装置は、その Bピクチャのボトムフィールドの符号ィ匕順で直前のトツ プフィールドを参照し、そのスキップピクチャを、そのトップフィールドと同じ画像を有 する Bピクチャのボトムフィールドに復号する。その結果、復号ィ匕されたスキップピクチ ャは、符号ィ匕前の Bピクチャのボトムフィールドと近似した画像を有することとなる。
[0118] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Bに示すように、 左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがス キップトマクロブロックからなるスキップピクチャを生成してもよ 、。インターマクロブロ ックは、参照すべきピクチャ（参照ピクチャ）として符号ィ匕順で直前のトップフィールド を示すとともに、そのトップフィールドを参照して水平方向に 0画素で垂直方向に 0. 5 画素の動き補償をすべきことを示す情報を有する。
[0119] このようなスキップピクチャを特定ピクチャたる Bピクチャのボトムフィールドとして取 得した画像復号ィ匕装置は、全てのマクロブロックにお 、て直前のトップフィールドを参 照して垂直方向に 0. 5画素の動き補償を行うことにより、そのスキップピクチャを、符 号ィ匕前の Bピクチャのボトムフィールドにより近似させたピクチャに復号することができ る。
[0120] 図 10は、本変形例に係る画像符号ィ匕装置 100の動作を説明するための説明図で ある。
[0121] 本変形例に係る画像符号ィ匕装置 100は、規則違反が発生しないときには、上記実 施の形態と同様、図 10の（a)に示すように、画像符号化部 101の入力画像データメ モリ 201に格納されている各入力ピクチヤに対して、ピクチャ 10、ピクチャ Pl、ピクチ ャ P6、ピクチャ P7、…の順で予測符号ィ匕およびエントロピー符号ィ匕を行う。
[0122] 一方、画像符号ィ匕装置 100は、規則違反が発生したときには、図 10の（a)に示す ように、スキップ符号ィ匕モードによる処理を実行する。例えば、画像符号化装置 100 は、ピクチャ P6のマクロブロックに対するエントロピー符号ィ匕 (算術符号化）の結果、 そのマクロブロックに対して 3200ビットを超える符号量が発生したと判別する。このと き、画像符号化装置 100は、ピクチャ P6、ピクチャ P7、ピクチャ B2、およびピクチャ B 3に対する予測符号ィ匕および 2値ィ匕の結果として、 2値ィ匕データバッファ 302に既に 蓄積されて 、る 2値データを全て破棄し、スキップ符号化モードによる処理を実行す る。
[0123] 即ち、画像符号ィ匕装置 100は、違反入力ピクチヤであるピクチャ P6と、そのピクチャ P6の符号ィ匕順で後続の各入力ピクチヤとに対して、符号化遅延数が 0となるまで、ス キップ符号ィ匕モードによる処理を適用する。
[0124] 具体的に、画像符号ィ匕装置 100の符号ィ匕制御部 103は、ピクチャ P6が特定ピクチ ャである Bピクチャのボトムフィールドでな!/、ため、画像符号化部 101にそのピクチャ P6に対する再予測符号ィ匕を実行させ、その結果に対してエントロピー符号ィ匕部 102 にエントロピー符号ィ匕を実行させる。そして、符号ィ匕制御部 103は、次のピクチャ P7 およびその次のピクチャ B2も特定ピクチヤである Bピクチャのボトムフィールドでない ため、画像符号ィ匕部 101にそのピクチャ P7およびピクチャ B2に対する再予測符号 化を実行させ、その結果に対してエントロピー符号ィ匕部 102にエントロピー符号ィ匕を 実行させる。
[0125] さらに、符号ィ匕制御部 103は、その次のピクチャ B3が特定ピクチヤである Bピクチャ のボトムフィールドであるため、スキップピクチャ生成部 104にそのピクチャ B3に対す るスキップピクチャを生成させ、その結果に対してエントロピー符号ィ匕部 102にェント 口ピー符号ィ匕を実行させる。
[0126] その後、符号ィ匕制御部 103は、上述と同様に、ピクチャ B4、ピクチャ P12、ピクチャ P13、ピクチャ B8、およびピクチャ BIOが Bピクチヤのボトムフィールドでないため、画 像符号ィ匕部 101にそれらの入力ピクチヤに対する予測符号ィ匕を実行させ、その結果 に対してエントロピー符号ィ匕部 102にエントロピー符号ィ匕を実行させる。そして、符号 化制御部 103は、上述と同様に、ピクチャ B5、ピクチャ B9、およびピクチャ B11が B ピクチャのボトムフィールドであるため、スキップピクチャ生成部 104にそれらの入力 ピクチャに対するスキップピクチャを生成させ、その結果に対してエントロピー符号ィ匕 部 102にエントロピー符号ィ匕を実行させる。
[0127] ピクチャ B11に対する処理が終了すると、符号ィ匕遅延数が 0となるため、符号化制 御部 103は、スキップ符号ィ匕モードを予測符号ィ匕モードに切り換えて設定する。その 結果、ピクチャ P18以降の各ピクチャに対しては、 Bピクチャのボトムフィールドである か否かに関わらず全て、予測符号ィ匕が行われる。
[0128] 図 11は、本変形例に係る符号ィ匕制御部 103の動作を示すフローチャートである。
[0129] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、 1マクロブロックあたりに 3200ビットを超える符号量が発生したか否力、つまり規 格違反の予測符号ィ匕ピクチャが発生した力否かを判別する (ステップ S170)。
[0130] ここで、規格違反が発生していないと判別したときには (ステップ S170の No)、符 号ィ匕制御部 103は、予測符号ィ匕モードを継続させる (ステップ S172)。
[0131] 一方、規格違反が発生したと判別したときには (ステップ S 170の Yes)、符号化制 御部 103は、さらに、符号ィ匕対象ピクチャが Bピクチャのボトムフィールドであるか否 かを判別する（ステップ S174)。そして、 Bピクチャのボトムフィールドでないと判別し たときには (ステップ S174の No)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチャを 予測符号ィ匕するように画像符号ィ匕部 101に指示するとともに、画像符号ィ匕部 101が エントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御する (ステップ S17 6)。
[0132] また、ステップ S174で Bピクチヤのボトムフィールドであると判別したときには (ステツ プ S 174の Yes)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチヤに対してスキップピ クチャを生成するようにスキップピクチャ生成部 104に指示するとともに、スキップピク チヤ生成部 104がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御 する（ステップ S 178)。
[0133] そして、符号ィ匕制御部 103は、符号ィ匕遅延数が 0となるまで、違反入力ピクチヤの 後続の入力ピクチャを符号ィ匕対象ピクチヤとして、ステップ S174〜S188の処理、つ まりスキップ符号ィ匕モードによる処理を継続して行う。
[0134] また、符号ィ匕制御部 103は、画像符号ィ匕処理を終了すべき力否かを判別し (ステツ プ S180)、終了すべきと判別したときには (ステップ S180の Yes)、全ての処理動作 を終了し、終了すべきでないと判別したときには（ステップ S180の No)、ステップ S1 70からの動作を繰り返し実行する。
[0135] (変形例 4)
本変形例に係る符号ィ匕制御部 103は、 Bピクチャのトップフィールドを特定ピクチャ として扱う。
[0136] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Aに示すように 、全てのマクロブロックがスキップトマクロブロックからなるスキップピクチャを生成する
[0137] このようなスキップピクチャを特定ピクチャたる Bピクチャのトップフィールドとして取 得した画像復号ィ匕装置は、その Bピクチャのトップフィールドの符号ィ匕順で直前のボ トムフィールドを参照し、そのスキップピクチャを、そのボトムフィールドと同じ画像を有 する Bピクチャのトップフィールドに復号する。その結果、復号化されたスキップピクチ ャは、符号ィ匕前の Bピクチャのトップフィールドと近似した画像を有することとなる。
[0138] また、本変形例に係るスキップピクチャ生成部 104は、例えば、図 2Bに示すように、 左上端のマクロブロックのみがインターマクロブロックからなり、他のマクロブロックがス キップトマクロブロックからなるスキップピクチャを生成してもよ 、。インターマクロブロ ックは、参照すべきピクチャ（参照ピクチャ）として符号ィ匕順で直前のボトムフィールド を示すとともに、そのボトムフィールドを参照して水平方向に 0画素で垂直方向に 0 . 5画素の動き補償をすべきことを示す情報を有する。
[0139] このようなスキップピクチャを特定ピクチャたる Bピクチャのトップフィールドとして取 得した画像復号ィ匕装置は、全てのマクロブロックにお 、て直前のボトムフィールドを 参照して垂直方向に 0. 5画素の動き補償を行うことにより、そのスキップピクチャを 、符号ィ匕前の Bピクチャのトップフィールドにより近似させたピクチャに復号することが できる。
[0140] 図 12は、本変形例に係る符号ィ匕制御部 103の動作を示すフローチャートである。
[0141] 符号ィ匕制御部 103は、エントロピー符号ィ匕部 102によるエントロピー符号ィ匕によつ て、 1マクロブロックあたりに 3200ビットを超える符号量が発生したか否力、つまり規 格違反の予測符号ィ匕ピクチャが発生した力否かを判別する (ステップ S190)。
[0142] ここで、規格違反が発生していないと判別したときには (ステップ S190の No)、符 号ィ匕制御部 103は、予測符号ィ匕モードを継続させる (ステップ S192)。
[0143] 一方、規格違反が発生したと判別したときには (ステップ S 190の Yes)、符号化制 御部 103は、さらに、符号ィ匕対象ピクチャが Bピクチャのトップフィールドである力否か を判別する（ステップ S194)。そして、 Bピクチャのトップフィールドでないと判別したと きには (ステップ S194の No)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチャを予 測符号ィ匕するように画像符号ィ匕部 101に指示するとともに、画像符号ィ匕部 101がェ ントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御する (ステップ S196
) o
[0144] また、ステップ S194で Bピクチヤのトップフィールドであると判別したときには（ステツ プ S194の Yes)、符号ィ匕制御部 103は、その符号ィ匕対象ピクチヤに対してスキップピ クチャを生成するようにスキップピクチャ生成部 104に指示するとともに、スキップピク チヤ生成部 104がエントロピー符号ィ匕部 102に接続されるようにスィッチ 103aを制御 する（ステップ S 198)。
[0145] そして、符号ィ匕制御部 103は、符号ィ匕遅延数が 0となるまで、違反入力ピクチヤの 後続の入力ピクチャを符号ィ匕対象ピクチヤとして、ステップ3194〜3198の処理、つ まりスキップ符号ィ匕モードによる処理を継続して行う。
[0146] また、符号ィ匕制御部 103は、画像符号ィ匕処理を終了すべき力否かを判別し (ステツ プ S200)、終了すべきと判別したときには (ステップ S200の Yes)、全ての処理動作 を終了し、終了すべきでないと判別したときには（ステップ S200の No)、ステップ S1 90からの動作を繰り返し実行する。
[0147] 以上、本発明の画像符号化装置および画像符号化方法について、実施の形態お よびその変形例を用いて説明したが、本発明はこれらに限定されるものではない。
[0148] 例えば、上記実施の形態およびその変形例では、違反入力ピクチャを再予測符号 化するときには、再び規格違反が発生しないように、量子化ステップ値を大きくしたが 、その違反入力ピクチャを予測符号ィ匕ピクチャとしてもよい。つまり、規格違反を起こ したマクロブロックを LPCMに変更して符号ィ匕してもよい。この場合にも、規格違反の 再発を確実に防ぐことができる。
[0149] また、上記実施の形態およびその変形例では、符号化遅延数が 0となるまでスキッ プ符号ィ匕モードを継続させたが、符号ィ匕遅延数が 0となる前に、そのスキップ符号ィ匕 モードを予測符号ィ匕モードに切り換えてもよ 、。
[0150] また、図 1、図 3および図 4に示したブロック図の各機能ブロックは典型的には集積 回路である LSIとして実現してもよい。この LSIは 1チップ化されても良いし、複数チッ プ化されても良い。（例えばメモリ以外の機能ブロックが 1チップィ匕されていても良い。 )ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ウル 卜ラ LSIと呼称されることちある。
[0151] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで 実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギ ュラブノレ ·プロセッサーを利用しても良 、。
[0152] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性として有り得る。
[0153] また、各機能ブロックのうち、データを格納するユニットだけ 1チップィ匕せずに、別構 成としても良い。
産業上の利用可能性
[0154] 本発明の画像符号ィ匕装置は、より小さな回路規模および低消費電力で例えば H.
264による映像の符号ィ匕を実現することができ、例えばパーソナルコンピュータや、 HDDレコーダ、 DVDレコーダなどの他、ビデオカメラ、カメラ付き携帯電話機等に適 用することができる。

Claims

請求の範囲
[1] 複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを 生成する画像符号化手段と、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成手段と、 前記符号ィ匕ピクチャおよび前記スキップピクチャに対してエントロピー符号ィ匕を行う エントロピー符号化手段と、
前記エントロピー符号ィ匕手段によるエントロピー符号ィ匕によって、閾値よりも大きい 符号量のマクロブロックを含む符号ィ匕ピクチャが発生した力否かを判別する判別手 段を有し、前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記 入力ピクチヤよりも符号ィ匕順で後の各入力ピクチヤとのうち何れかを特定ピクチャとし て、前記特定ピクチヤに対し、前記画像符号化手段に符号化させず、前記スキップピ クチャ生成手段にスキップピクチャを生成させる符号ィヒ制御手段と
を備えることを特徴とする画像符号化装置。
[2] 前記画像符号化手段は、
量子化ステップ値を用いて符号ィ匕を行 、、
前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチャ力 前記特定ピク チヤでな 、場合、先の符号ィ匕で用いられた量子化ステップ値よりも大きな量子化ステ ップ値で、前記入力ピクチャを前記画像符号化手段に再び符号化させる
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[3] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチャ力 前記特定ピク チヤでな！、場合、前記入力ピクチャを新たな符号ィ匕ピクチャとして画像符号ィ匕手段に 生成させる
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[4] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、ボトムフィールドを前記特定ピク チヤとする
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[5] 前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号ィ匕順で直前のトップフィールドを参照し、水平方向 に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示し、他のマクロブロック がスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項 4記載の画像符号ィ匕装置。
[6] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、トップフィールドを前記特定ピクチ ャとする
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[7] 前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号ィ匕順で直前のボトムフィールドを参照し、水平方向 に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示し、他のマクロブロッ クがスキップトマクロブロックとして構成される前記スキップピクチャを生成する ことを特徴とする請求項 6記載の画像符号ィ匕装置。
[8] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、 Bピクチャを前記特定ピクチャとす る
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[9] 前記スキップピクチャ生成手段は、
左上端のマクロブロック力 符号ィ匕順で直前の Iピクチャまたは Pピクチャを参照す べきことを示し、他のマクロブロックがスキップトマクロブロックとして構成される前記ス キップピクチャを生成する
ことを特徴とする請求項 8記載の画像符号ィ匕装置。
[10] 前記符号化制御手段は、 前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、 Bピクチャのボトムフィールドを前 記特定ピクチヤとする
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[11] 前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号ィ匕順で直前のトップフィールドを参照し、水平方向 に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示し、他のマクロブロック がスキップトマクロブロックとして構成される前記スキップピクチャを生成する
ことを特徴とする請求項 10記載の画像符号ィ匕装置。
[12] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、 Bピクチャのトップフィールドを前 記特定ピクチヤとする
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[13] 前記スキップピクチャ生成手段は、
左上端のマクロブロックが、符号ィ匕順で直前のボトムフィールドを参照し、水平方向 に 0画素で垂直方向に 0. 5画素の動き補償をすべきことを示し、他のマクロブロッ クがスキップトマクロブロックとして構成される前記スキップピクチャを生成する ことを特徴とする請求項 12記載の画像符号ィ匕装置。
[14] 前記判別手段は、
AVC/H. 264で規定されるマクロブロックの最大の符号量を前記閾値として扱う ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[15] 前記エントロピー符号化手段は、
Context— based Adaptive Binary Arithmetic Coding (CABACパこよつ て前記エントロピー符号化を行う
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[16] 前記スキップピクチャ生成手段は、
全てのマクロブロックがスキップトマクロブロックとして構成される前記スキップピクチ ャを生成する
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[17] 前記符号化制御手段は、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち、前記特定ピクチャ以外の既に前 記画像符号ィ匕手段で符号化された入力ピクチャを、前記画像符号化手段に再び符 号ィ匕させることによって処理の遅延が生じたときには、前記遅延が解消されるまで、 前記スキップピクチャ生成手段にスキップピクチャを生成させる
ことを特徴とする請求項 1記載の画像符号ィ匕装置。
[18] 複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを 生成する画像符号化ステップと、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成ステップと、 前記符号ィ匕ピクチャおよび前記スキップピクチャに対してエントロピー符号ィ匕を行う エントロピー符号化ステップと、
前記エントロピー符号化ステップによるエントロピー符号ィ匕によって、閾値よりも大き い符号量のマクロブロックを含む符号ィ匕ピクチャが発生した力否かを判別する判別ス テツプと、
前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記入力ピク チヤよりも符号ィ匕順で後の各入力ピクチヤとのうち何れかを特定ピクチヤとして、前記 特定ピクチヤに対し、前記画像符号化ステップで符号化させず、前記スキップピクチ ャ生成ステップでスキップピクチャを生成させる符号ィ匕制御ステップと
を含むことを特徴とする画像符号化方法。
[19] 複数の入力ピクチャを順次符号化することにより画素値を有する符号化ピクチャを 生成する画像符号化手段と、
画素値を持たないスキップピクチャを生成するスキップピクチャ生成手段と、 前記符号ィ匕ピクチャおよび前記スキップピクチャに対してエントロピー符号ィ匕を行う エントロピー符号化手段と、
前記エントロピー符号ィ匕手段によるエントロピー符号ィ匕によって、閾値よりも大きい 符号量のマクロブロックを含む符号ィ匕ピクチャが発生した力否かを判別する判別手 段を有し、前記マクロブロックを含む符号ィ匕ピクチャに対応する入力ピクチヤと、前記 入力ピクチヤよりも符号ィ匕順で後の各入力ピクチヤとのうち何れかを特定ピクチャとし て、前記特定ピクチヤに対し、前記画像符号化手段に符号化させず、前記スキップピ クチャ生成手段にスキップピクチャを生成させる符号ィヒ制御手段と
を備えることを特徴とする集積回路。
PCT/JP2007/061995 2006-06-21 2007-06-14 画像符号化装置および画像符号化方法 WO2007148596A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/301,528 US20090245350A1 (en) 2006-06-21 2007-06-14 Image coding apparatus and image coding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006171810A JP2008005163A (ja) 2006-06-21 2006-06-21 画像符号化装置および画像符号化方法
JP2006-171810 2006-06-21

Publications (1)

Publication Number Publication Date
WO2007148596A1 true WO2007148596A1 (ja) 2007-12-27

Family

ID=38833338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/061995 WO2007148596A1 (ja) 2006-06-21 2007-06-14 画像符号化装置および画像符号化方法

Country Status (3)

Country Link
US (1) US20090245350A1 (ja)
JP (1) JP2008005163A (ja)
WO (1) WO2007148596A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6422011B2 (ja) 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
JP6011641B2 (ja) * 2013-01-17 2016-10-19 Ｎｔｔエレクトロニクス株式会社 符号化装置
US20190020877A1 (en) * 2016-01-21 2019-01-17 Sony Corporation Image processing apparatus and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200741A (ja) * 1995-12-27 1997-07-31 Thomson Consumer Electron Inc 画像データ圧縮システムおよび方法
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
JP2000278687A (ja) * 1999-03-23 2000-10-06 Sanyo Electric Co Ltd エンコーダ
JP2002010271A (ja) * 2000-04-20 2002-01-11 Matsushita Electric Ind Co Ltd ビデオ符号化装置
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2004140718A (ja) * 2002-10-21 2004-05-13 Hitachi Ltd 映像変換装置およびその実行のためのプログラム
WO2007043609A1 (ja) * 2005-10-14 2007-04-19 Nec Corporation 画像符号化方法及び、これを用いた装置とコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
US6643402B1 (en) * 1999-03-23 2003-11-04 Sanyo Electric Co., Ltd Image compression device allowing rapid and highly precise encoding while suppressing code amount of image data after compression
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
TW527832B (en) * 2000-04-20 2003-04-11 Matsushita Electric Ind Co Ltd Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200741A (ja) * 1995-12-27 1997-07-31 Thomson Consumer Electron Inc 画像データ圧縮システムおよび方法
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
JP2000278687A (ja) * 1999-03-23 2000-10-06 Sanyo Electric Co Ltd エンコーダ
JP2002010271A (ja) * 2000-04-20 2002-01-11 Matsushita Electric Ind Co Ltd ビデオ符号化装置
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2004140718A (ja) * 2002-10-21 2004-05-13 Hitachi Ltd 映像変換装置およびその実行のためのプログラム
WO2007043609A1 (ja) * 2005-10-14 2007-04-19 Nec Corporation 画像符号化方法及び、これを用いた装置とコンピュータプログラム

Also Published As

Publication number Publication date
JP2008005163A (ja) 2008-01-10
US20090245350A1 (en) 2009-10-01

Similar Documents

Publication Publication Date Title
US7443320B2 (en) Decoding method and encoding method
US7848579B2 (en) Image coding device, method and computer program with data coding amount prediction
JP3851063B2 (ja) 画像予測復号化方法及び装置
JP4825644B2 (ja) 画像復号装置、画像符号化装置、およびシステムｌｓｉ
WO2014054267A1 (ja) 画像符号化装置及び画像符号化方法
US20230308663A1 (en) Device and method of video decoding with first and second decoding code
JP7221390B2 (ja) ビデオ復号及び符号化の方法、装置並びにプログラム
JP2008022383A (ja) 画像符号化装置
TW201517600A (zh) 資料編碼和解碼
JP5116704B2 (ja) 画像符号化装置及び画像符号化方法
US10070127B2 (en) Method and apparatus for arithmetic coding and termination
KR101710619B1 (ko) 단계적인 영상 부호화, 복호화 방법 및 장치
JP3857298B2 (ja) 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
WO2007148596A1 (ja) 画像符号化装置および画像符号化方法
CN116095329A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
KR101880325B1 (ko) 동화상 부호화 장치
WO2014002445A1 (en) Image coding apparatus, image coding method, and recording medium, and image decoding apparatus, image decoding method, and recording medium
WO2006011197A1 (ja) 符号化データ再符号化装置及びその復号装置並びにプログラム
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP4799377B2 (ja) 画像符号化装置
JPH10341436A (ja) 高能率符号化装置
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム
WO2017104010A1 (ja) 動画像符号化装置および動画像符号化方法
TW202130170A (zh) 影像處理裝置及影像處理方法
JP2008016947A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07745252

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12301528

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07745252

Country of ref document: EP

Kind code of ref document: A1