WO1997039588A1 - Image encoder, image encoding method and medium on which image encoding program is recorded - Google Patents

Image encoder, image encoding method and medium on which image encoding program is recorded Download PDF

Info

Publication number
WO1997039588A1
WO1997039588A1 PCT/JP1997/001266 JP9701266W WO9739588A1 WO 1997039588 A1 WO1997039588 A1 WO 1997039588A1 JP 9701266 W JP9701266 W JP 9701266W WO 9739588 A1 WO9739588 A1 WO 9739588A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoding
data
coding
difficulty
Prior art date
Application number
PCT/JP1997/001266
Other languages
English (en)
French (fr)
Inventor
Goro Kato
Kanji Mihara
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP53694297A priority Critical patent/JP3952509B2/ja
Priority to EP97915713A priority patent/EP0836329A4/en
Publication of WO1997039588A1 publication Critical patent/WO1997039588A1/ja
Priority to US08/988,550 priority patent/US6347117B1/en
Priority to US09/963,075 priority patent/US6535556B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Definitions

  • the present invention relates to an image encoding apparatus, an image encoding method, and a medium on which an image encoding program is recorded.
  • the present invention relates to an image encoding device, an image encoding method, and a medium on which an image encoding program is recorded, and is particularly suitable when applied to a case where an image is compression-encoded and transmitted to an image decoding device.
  • a communication system that encodes and compresses image data on the image encoding device side and expands and decodes image data transmitted on the image decoding device side, and compresses and records image data.
  • a method of compressing image data includes, for example, a bidirectional prediction code adopted in the MPEG (Moving Picture Experts Group) standard. The system is used.
  • the coding efficiency is improved by using bidirectional prediction.
  • the bidirectional predictive coding three types of coding are performed: intraframe coding, interframe forward predictive coding, and bidirectional predictive coding. each ⁇ Bikucha (iiitr a coded picture) P Bikucha 0 called (predictive coded picture) and B Bikucha (bidirectional ly predictive coded picture)
  • an image encoding device that compresses and encodes image data by using the bidirectional predictive encoding method adopted in the above-mentioned MPEG standard
  • image decoding that expands the compressed and encoded image data is performed.
  • the input buffer on the image decoding device side is a decoding guarantee buffer that is virtually considered from the image encoding device side, that is, VBV (Video Buffering Verf). ier)
  • VBV Video Buffering Verf.
  • the amount of data generated in the image encoding device is controlled so that the data occupancy of this VBV buffer does not exceed the allowable value.
  • the bit stream of the image data is converted into a VBV buffer at the specified bit rate.
  • the image data is generated from the VBV buffer when the data occupancy in the VBV buffer does not underflow or overflow when input to the VBV buffer.
  • the bit stream transmitted from the image encoding device is
  • a frame encoded using image data in a frame is a frame that has been encoded using motion compensation from the previous and next frames in time. That is, the amount of code per frame is larger than that of
  • each picture can be reliably decoded.
  • each line segment X indicates the fixed bit rate of the data stream to be transmitted, and each position X, of each line segment X indicates the amount of data occupied by the VBV buffer.
  • the line segment y indicates that the amount of data occupied by the VBV buffer suddenly decreases because one frame of data is read from the VBV buffer as an I-picture, a B-picture, and a P-picture. .
  • the VBV buffer when the VBV buffer generates a picture having data exceeding the predetermined data occupancy range, an underflow occurs in the VBV buffer.
  • the target code generation amount is set by the rate control, but the actual code generation amount depends on the complexity of the transmitted image and the intensity of the movement. If ⁇ becomes larger than the target code generation amount, there is not enough data for decoding the corresponding picture (corresponding to the part below “0” in the figure), so it is important to note that images cannot be decoded.
  • VBV buffer The operation of this VBV buffer is described in Annex C of ISO (International Organization for Standardization) / IEC (International Electrotechnical Communications) 13818-2 (MPEG2 video part). It does not describe the operation of the image decoding apparatus when an overflow occurs.
  • the skip processing is performed in the same way for any image coding type of a visual.
  • the I-picture including the image data which is most important in image quality especially at the time of decoding has a larger code generation amount (that is, the data amount) than the ⁇ -picture and the ⁇ -picture, and is therefore skipped than the ⁇ -picture and the ⁇ -picture
  • the possibility is likely to increase.
  • the I-picture is skipped in this way, the picture quality of the ⁇ -picture and the ⁇ -picture that uses one spit-picture as the predicted image is affected, and the overall picture quality may be degraded. Disclosure of the invention
  • the present invention has been made in consideration of the above points, and proposes an image encoding device and an image encoding method that can prevent the occurrence of underflow in the decoding guarantee buffer without deteriorating the image quality. Is what you do.
  • the encoding control means calculates a code generation amount of the encoded image, and, based on the calculation result, a buffer of the image decoding device.
  • the buffer amount for the next image is secured in the decoding guarantee buffer.
  • the decoding guarantee buffer has: The buffer amount of the image of the image encoding type with high importance is preferentially secured.
  • the input image data is compression-encoded into the image by an encoding method corresponding to the image encoding type, and when the encoding of one image is completed, the occupancy calculating unit
  • the virtual buffer data occupancy corresponding to the input buffer in the decoding device is calculated.
  • the encoding difficulty calculating means calculates the encoding difficulty indicating the encoding difficulty of the image following the encoded image, and when the encoding of one image is completed,
  • the image skip control means the data occupancy calculated by the occupancy calculation means falls below a predetermined data occupancy determination threshold, and the coding difficulty calculated by the coding difficulty calculation means is reduced. If the predetermined criteria are met, the next image to be encoded is encoded as an image composed of skip-mac blocks.
  • the virtual buffer from underflowing corresponding to the input sofa in the image decoding device while minimizing the influence on the image quality.
  • FIG. 1 is a schematic diagram for explaining the transition of the data occupancy in the VBV buffer.
  • FIG. 2 is a schematic diagram used for explaining an underflow in the VBV buffer.
  • FIG. 3 is a block diagram showing a schematic configuration of the image encoding device and the image decoding device according to the first embodiment of the present invention.
  • FIG. 4 is a schematic diagram for explaining the transition of the data occupancy when the data occupancy in the VBV buffer falls below the first threshold.
  • FIG. 5 is a schematic diagram for explaining a change in the data occupancy when the data occupancy in the VBV buffer falls below a second threshold value.
  • FIG. 6 is a schematic diagram for explaining the transition of the data occupancy when the data occupancy in the VBV buffer falls below the third threshold.
  • Figure 4 is a chart for explaining the operation of the encoding control circuit.
  • FIG. 8 is a block diagram illustrating a schematic configuration of an image encoding device according to the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a detailed configuration of the image encoding device of FIG.
  • FIG. 10 is a flowchart for explaining the operation of the encoding control unit in FIG.
  • reference numeral 1 denotes an image coding apparatus as a whole, and a manual image signal S 1 input from an input terminal W 1 is input to an image type specifying circuit 2.
  • the image type designating circuit 2 converts each frame of the input image signal S 1 into an I It designates which one of the P-picture and the B-picture is to be processed as the picture encoding type and sends it to the picture encoding rearrangement circuit 3.
  • the image encoding apparatus 1 executes encoding processing by, for example, grouping 15 frames as a group “picture” (G0P), and using this as one unit.
  • the image coding order rearranging circuit 3 rearranges the frames in the coding order according to the specified image coding type, sends the frames to the scan converter 4 as the image signal S2, and outputs the image coding type data S3 Is sent to the prediction mode determination circuit 5, the motion vector detection circuit 6, and the encoding control circuit 7.
  • the image encoding / reordering circuit 3 uses a current image to detect a motion vector of the currently encoded frame and an image temporally past the current image (hereinafter referred to as a past reference image). ) And / or an image signal S 4 representing an image temporally future from the current image (hereinafter referred to as a future reference image) to the motion vector detection circuit 6.
  • the scan converter 4 converts the input frame into a block format signal, and divides the one frame signal into N slices with 16 lines as one unit. Each slice is divided into M macroblocks composed of luminance signals corresponding to 16 ⁇ 16 pixels. An address (variable length code (incremental value)) is added to each of these macroblocks, and this address indicates the position of each macroblock. In this case, the address of the first macro block transmitted in the victim represents the number itself, and the address of the next macro block is the absolute address of the macro block and the one transmitted before that. Indicates the difference from the absolute address of the macro block.
  • the motion vector detection circuit 6 performs intra-frame encoding of the image data of each frame in accordance with the image encoding type data S 3 synchronized with each frame of the image signal S 2, and performs forward prediction encoding between frames.
  • ⁇ By bi-directional or bi-directional predictive coding ⁇ Process as a bi-directional.
  • the image data of the frame processed as an I picture is stored in the past reference image memory (not shown) for storing the past reference image from the motion vector detection circuit 6.
  • ⁇ of frames processed as pictures The image data is stored in a current image memory (not shown) that stores the current image
  • the image data of the frame processed as the P-picture is a future reference image memory that stores a future reference image. (Not shown).
  • a frame to be processed as a B-picture or P-picture is input to the motion vector detection circuit 6, it is stored in the future reference image memory so far.
  • the image data of the first P victim is stored in the past reference image memory.
  • the image data of the next B victim is stored in the current image memory, and the image data of the next P victim is stored in the future reference image memory. Thereafter, such operations are sequentially repeated.
  • the motion vector detection circuit 6 sends to the prediction mode determination circuit 5 the motion vector in the forward prediction and the motion vector data S5 comprising the motion vector estimation residual at that time. In the case of B-victure, the motion vector detection circuit 6 sends out the motion vector in the backward prediction and the motion vector data S5 which is the residual of the motion vector estimation at that time. I do.
  • the prediction mode determination circuit 5 determines which prediction mode to select from the intra mode, the forward prediction mode, the backward prediction mode, or the bidirectional prediction mode.
  • the intra mode is a process of transmitting the image data of the frame to be encoded as transmission data as it is
  • the forward prediction mode is a process in which the prediction residual with respect to the past reference image and the forward motion estimation are used. This is the process for transmitting the vector.
  • the backward prediction mode is a process of transmitting a prediction residual with respect to a future reference image and a backward motion vector.
  • the bidirectional prediction mode includes two prediction images, a past reference image and a future reference image. This is a process of transmitting the prediction residual of the average value of and the two motion vectors in the forward and reverse directions.
  • the prediction mode determination circuit 5 selects the intra mode in the case of the I-picture, and selects the intra mode in the case of the ⁇ -picture, based on the picture coding type data S 3 transmitted from the picture coding rearrangement circuit 3.
  • Prediction mode either intra mode or forward prediction mode In the case of B-victure, one of the following prediction modes is selected from the intra mode, forward prediction mode, reverse prediction mode, or bidirectional prediction mode.
  • the prediction mode data S 6 representing the prediction mode is sent to the arithmetic circuit 8.
  • the arithmetic circuit 8 performs an arithmetic operation of an intra, a forward prediction, a backward prediction or a bidirectional prediction based on the prediction mode data S6 for the macroblock S7 read from the scan converter 4. Do.
  • the arithmetic circuit 8 When the image data of the frame to be processed as one picture is input as the macroblock S7, the arithmetic circuit 8 performs intra-coding on the image data and performs DCT (Discrete Cos i). neTransform, discrete cosine transform) is sent to the conversion circuit 9.
  • the DCT conversion circuit 9 converts the intra-coded image data into DCT conversion coefficients and sends them to the quantization circuit 10.
  • the quantization circuit 10 quantizes each DCT transform coefficient at a quantization step designated by the coding control circuit 7 and sends the quantized DCT coefficients to the variable length coding circuit 11 and the inverse quantization circuit 12.
  • the variable-length encoding circuit 11 includes the quantized image data, the prediction mode data S 6 transmitted from the prediction mode determination circuit 5, and the motion vector data S transmitted from the motion vector detection circuit 6. 5 is converted into a variable-length code such as a Huffman code, transmitted to the image decoding device 13 via a transmission path (not shown), and given to the encoding control circuit 7. Further, the variable length coding circuit 11 calculates the increment value of each macro block.
  • the inverse quantization circuit 12 inversely quantizes the quantized image data in accordance with the quantization step at the time of quantization, and sends the result to the inverse DC Ctransformation circuit 14.
  • the inverse DCT conversion circuit 14 performs an inverse DCT ⁇ conversion process on the output from the inverse quantization circuit 12.
  • the output from the inverse DCT conversion circuit 14 is stored in a past reference image storage unit (not shown) for storing the past reference image in the frame memory 16 via the arithmetic unit 15.
  • the image data of the frame to be processed as a ⁇ ⁇ picture is input from the scan converter 4 to the arithmetic circuit 8, and the prediction mode data S 6 transmitted from the prediction mode determination circuit 5 is inter-
  • the image data of the frame is In the same way as in the case of encoding, the image data is intra-encoded and transmitted to the image decoding device 13 through the DCT conversion circuit 9, the quantization circuit 10 and the variable-length encoding circuit 1 and the encoding control circuit.
  • a future reference image storage unit (not shown) for storing a future reference image in the frame memory 16 via the inverse quantization circuit 12, the inverse DCT transform circuit 1 and the arithmetic unit 15. ) Is stored.
  • the prediction mode data S6 indicates the forward prediction mode
  • the image data stored in the past reference image storage unit of the frame memory 16 (in this case, the image data of the I-victure) is read. And sent to the motion compensation circuit 17.
  • the motion compensation circuit 17 performs motion compensation on the image data in accordance with the forward motion vector data S5 sent from the motion vector detection circuit 6.
  • the motion compensation circuit 17 reads the read address of the previous reference image storage portion of the frame memory 16 to the macroblock currently output by the motion vector detection circuit 6.
  • the data is read out from the position corresponding to the position corresponding to the position corresponding to the motion vector data S5 in the forward direction to generate a predicted reference image, and transmitted to the arithmetic circuit 8 and the arithmetic unit 15.
  • the arithmetic circuit 8 subtracts the image data of the predicted reference image corresponding to the macroblock sent from the motion compensation circuit 17 from the data S ⁇ of the macro block of the reference image sent from the scan converter 4. Thus, difference data as a prediction residual is obtained, and this difference data is sent to the DC / DC converter 9.
  • the difference data is transmitted to the image decoding device 13 via the DC / DC conversion circuit 9, the quantization circuit 10, and the variable length coding circuit 11, and is also given to the coding control circuit 7.
  • the difference data is locally decoded by the inverse quantization circuit 12 and the inverse DCT conversion circuit 14 and sent to the arithmetic unit I5.
  • the arithmetic unit 15 adds the image data of the predicted reference image transmitted from the motion compensation circuit 7 to the difference data transmitted from the inverse DC / DC conversion circuit 14. As a result, locally decoded image data can be obtained.
  • the image data of this picture is stored in the future reference image storage unit for storing the future reference image in the frame memory 16. You.
  • the image data of the frame to be processed as a B picture is input from the scan converter 4 to the arithmetic circuit 8, and the prediction mode data S6 sent from the prediction mode determination circuit 5 is printed.
  • the prediction mode data S6 is set to the backward prediction mode, the image data stored in the future reference image storage section of the frame memory 16 (in this case, P picture Is read out and sent to the motion compensation circuit 17.
  • the motion compensation circuit 17 performs motion compensation on the image data in accordance with the reverse motion vector data S5 sent from the motion vector detection circuit 6.
  • the motion vector detection circuit 6 is currently outputting the read address of the pathological portion of the future reference image in the frame memory 16 in the backward prediction mode.
  • the data is read out from the position corresponding to the position of the macroblock by shifting by the amount corresponding to the motion vector data S5, a predicted reference image is generated, and is sent to the arithmetic circuit 8 and the arithmetic unit 15.
  • the arithmetic circuit 8 performs prediction by subtracting the image data of the predicted reference image corresponding to the macroblock transmitted from the motion compensation circuit 17 from the data of the macro block of the reference image transmitted from the scan converter 4. The difference data as the residual is obtained, and the difference data is sent to the DC / DC conversion circuit 9.
  • the arithmetic unit 15 added the image data of the predicted reference image sent from the motion compensation circuit 17 to the difference data sent from the inverse DCT transform circuit 14 to perform local decoding.
  • ⁇ Obtain the image data of the victim.
  • the image data stored in the past reference image storage unit of the frame memory 16 (in this case, the I-picture image data) and the future reference image storage unit are used.
  • Image data (in this case, the image data of the ⁇ ⁇ picture) is read out and sent to the motion compensation circuit 17.
  • the motion compensation circuit 17 sends this image data from the motion vector detection circuit 6. Motion compensation is performed according to the motion vector data S5 composed of the motion vector in the forward direction and the motion vector in the reverse direction.
  • the motion compensation circuit 17 uses the read addresses of the past reference image storage unit and the future reference image storage unit of the frame memory 16 as the motion vector detection circuit 6.
  • the data is read by shifting the data corresponding to the motion vector data S5 consisting of the motion vector in the forward direction and the motion vector in the reverse direction from the position corresponding to the position of the currently output Mac ⁇ block.
  • a predicted reference image is generated and sent to the arithmetic circuit 8 and the arithmetic unit 15.
  • the arithmetic circuit 8 calculates the average value of the image data of the predicted reference image corresponding to the macroblock transmitted from the motion compensation circuit 17 from the data of the macroblock of the reference image transmitted from the scan converter 4. The subtraction is performed to obtain difference data as a prediction residual, and the difference data is sent to the DCT conversion circuit 9.
  • the arithmetic unit 15 locally decodes the difference data sent from the inverse DCT transformation circuit 14 by adding the image data of the predicted reference image sent from the motion compensation circuit 17 to the difference data. Obtain the image data of the B victim.
  • the B-picture is not used as a predicted image of another image, it is not stored in the frame memory 16 .
  • the image decoding device 13 transmits the bit transmitted from the image encoding device 1 at a fixed bit rate. After temporarily storing the stream in the decoder buffer 18, one frame of image data is read out from the decoder buffer 18 at a predetermined timing, and is sequentially decoded in the decoding unit 19 to be decoded.
  • the frames are rearranged in the order of the original images and displayed on a display, for example.
  • the decoder buffer 18 constitutes a decoding guarantee buffer (that is, a VBV buffer) virtually considered from the image encoding device 1, and the image encoding device 1 has a
  • a decoding guarantee buffer that is, a VBV buffer
  • the coding control circuit 7 is sent from the variable length coding circuit 11
  • the code generation amount of the variable-length encoded image data is calculated in units of macroblocks, and the increment value is calculated. Further, the encoding control circuit 7 controls the amount of code generation per frame by giving a quantization step control signal S8 representing the target amount of generated coding to the quantization circuit 10.
  • the encoding control circuit 7 has a third threshold value, a second threshold value, and a first threshold value as threshold values of the data occupancy in the decoder buffer 18 functioning as a VBV buffer. .
  • These third, second and first thresholds correspond to the B, P and I pictures, respectively.
  • the third threshold value> the second threshold value> the first threshold value are set such that the values of these threshold values become higher in descending order of importance of the image coding type when decoding the image. Is set to
  • the coding control circuit 7 is formed by the decoder buffer 18 based on the code generation amount of the image data sent from the variable length coding circuit 11 when the B-picture is being coded.
  • a step execution signal S 9 is sent to the quantization circuit 10, and Subsequent image data of the B-picture during the encoding is skipped in units of macroblocks, and as a result, a decrease in the data occupancy is suppressed.
  • skipping means stopping the currently executed encoding process.
  • the data occupancy in the VBV buffer-18 formed by the data buffer 18 changes as shown in FIG.
  • the thick line in FIG. 4 indicates that the image data has been skipped, and the same applies to FIGS. 5 and 6.
  • the quantization circuit 10 when the quantization circuit 10 receives the skip signal S9, the quantization circuit 10 operates the skip switch provided therein to switch the image data. In this case, the encoding control circuit 7 sends the address information S10 about the skipped macro block to the variable length coding circuit 11. Code from quantization circuit 10 (bit ) No more occurrence. Also, the quantization circuit 10 is used when the image data is not skipped.
  • the image data is quantized by turning off the skip switch.
  • the coding control circuit 7 knows the timing at which the decoding section 19 of the image decoding apparatus 13 reads data from the decoder buffer 18 and furthermore, the variable length coding circuit
  • the amount of code generation of the image data transmitted from 11 is calculated, whereby the amount of data currently stored in the decoder buffer 18 can be known.
  • variable-length encoding circuit 11 controls the encoding control circuit 7 and the image decoding device by decrementing the increment value and encoding the image data together with the address information. Transmit to 13
  • the variable-length coding circuit 11 counts the increment value but outputs the address information on the skipped block.
  • the address information of the first macroblock in the row direction of multiple macroblocks arranged in the row and column directions hereinafter referred to as the head address information
  • the last macroblock in the row direction Only the address information of the block (hereinafter, referred to as final address information) is subjected to variable-length encoding and transmitted to the encoding control circuit 7 and the image decoding device 13.
  • the encoding control circuit 7 and the image decoding device 13 can know which image encoding type of the image data has been skipped.
  • the variable length coding circuit 1
  • the designation of the start address information and the end address information for 1 is performed by the encoding control circuit 7 sending the designation signal S 10 to the variable length encoding circuit 11. Further, when the picture is being encoded, the encoding control circuit 7 sets the decoder buffer based on the code generation amount of the image data sent from the variable length encoding circuit 11.
  • a skip execution signal S 9 is sent to the quantization circuit 10 to perform the coding.
  • the subsequent image data of the middle picture is skipped in macroblock units.
  • the coding control circuit 7 determines whether the data occupancy in the decoder buffer 18 exceeds the corresponding threshold value. Even in this case, the skipped P-picture is used as a predicted image, and all B-pictures and P-pictures used for decoding are skipped. This is because, as shown in FIG. 5, the P victim P a uses the previous P victim P 2 as the prediction image. That is, since the P picture P 2 is skipped in the middle of the encoding, it becomes insufficient as image data, and the image quality of the decoded P picture P 3 decoded using the P picture P 2 is degraded. Because you do. The same applies to the B Vic Chiya B s and B Bikucha beta beta. Therefore, the image data is skipped until the next I-picture encoding.
  • beta Bikucha beta 3 beta Bikucha, [rho Bikucha [rho 3, even though the beta click Bichiya B s and B Bikucha B 6 is Suwippu respectively, data amount is reduced by a thick line in minutes This is because the head address information and the end address information described above have been read. This is the same for FIG.
  • the coding control circuit 7 occupies the data buffer in the decoder buffer 18 based on the code generation amount of the image data sent from the variable length coding circuit 11 when the I picture is being coded.
  • a skip execution signal S9 is sent to the quantization circuit 10, and the subsequent I-picture of the encoding is performed.
  • the image data is coded in units of Mac block as a Mac block with only DC components.
  • the coding control circuit 7 controls the quantization circuit 10 so that the ⁇ picture and the ⁇ picture are skipped until the coding of the next I-picture.
  • the thick lines shown in FIGS. 4 to 6 are composed of skipped macroblocks or intramacroblocks with only DC components.
  • the encoding control circuit 7 assigns the target code generation amount control signal S to the target image generation amount for the subsequent image data by the skipped amount. 8 controls the quantization circuit I 0. In this case, the encoding control circuit 7 assigns a larger amount of target code generation in the order of image encoding types having higher importance when decoding images, that is, I-pictures and P-pictures.
  • the image decoding apparatus 13 can determine which macro block has been skipped based on the transmitted address information even when the picture is skipped in the image encoding apparatus 1. If a skip is made, the previous frame is displayed as it is.
  • the encoding control circuit 7 starts the operation from step SP1, and in step SP2, determines which image encoding type is a picture to be encoded (hereinafter, referred to as encoding target picture). After making a determination based on the image coding type data S 3 sent from the coding rearrangement circuit 3, the process proceeds to step SP3.
  • step SP3 the encoding control circuit 7 determines the image encoding type of the picture for which the skip determination flag is set (hereinafter referred to as the skip picture) and the image encoding type of the encoding target picture. Based on the above, it is determined whether or not the encoding target vehicle is to be skipped.
  • the skip determination flag indicates a flag that is set for a skip victim, as described later.
  • the reason for determining whether or not to skip the encoding target picture in step SP3 is to determine whether or not the skipped picture is a predicted image of the encoding target picture. That is, as described above, when the predicted image of the encoding target is skipped, the In order to affect the image quality, the amount of data occupied in the decoder buffer 18 does not fall below the threshold value corresponding to the image encoding type of the encoding target picture when encoding the encoding target picture. This is because it is necessary to skip even in such cases. For example, when the P Bikucha P 3 (Fig. 5) and coded Bikucha, P Bikucha P 2 as the predicted image of this the P Bikucha P 3 is from being skipped.
  • step SP3 If the encoding control circuit 7 obtains a negative result in step SP3, the process proceeds to step SP4, and the skip determination flag is reset.
  • the reason why the skip determination flag is reset here is to prevent skipping of image data of a picture that should not be skipped if the step determination flag is kept set.
  • the encoding control circuit 7 calculates the target code generation amount in step SP5, and then proceeds to step SP6 to encode the encoding target picture in units of macroblocks.
  • the encoding control circuit 7 calculates the current data occupancy in the decoder buffer 18 in step SP7, and then proceeds to step SP8.
  • step SP8 the coding control circuit 7 determines whether or not the amount of data occupied in the decoder buffer 18 calculated in step SP7 is smaller than a threshold value corresponding to the encoding target picture. And go to step SP9.
  • step SP9 the coding control circuit 7 determines whether or not the encoding target picture has been coded for one frame. If a negative result is obtained, the process returns to step SP6, and returns from step SP6 to step SP6. If the encoding control circuit 7 executing the processing loop up to 9 determines in step SP 3 that the encoding target picture is to be skipped, the process proceeds to step SP 10, in which the start address information and the last address information are transmitted.
  • the encoding target picture is skipped, and when the encoding target picture is an I picture, the encoding is performed as a DC block-only macroblock. Further, the encoding control circuit 7 sends the data to the decoder buffer 18 in step SP8. If the data occupation amount of the data to be encoded falls below the threshold value corresponding to the encoding target picture, the subsequent image data of the encoding target picture is skipped in macroblock units.
  • step SP11 determines whether or not coding of one frame has been completed for the picture to be coded.
  • step S ⁇ 11 If the encoding control circuit 7 obtains a negative result in step S ⁇ 11, it returns to step S ⁇ 10, executes the processing loop of step SP10 and step SP11, and if it obtains a negative result, it returns to step S S1. ⁇ Proceed to 12.
  • step S ⁇ 1 the coding control circuit 7 sets a corresponding skip determination flag for the skipped picture, returns to step S ⁇ 2, and performs the above operation until all the image signals S1 are processed. repeat.
  • the amount of data occupied by the decoder buffer 18 is reduced when encoding a picture based on the amount of code generation of image data from the variable-length encoding circuit 11.
  • the decoder buffer 1 In step 8, the following data is reserved for the V ⁇ ⁇ ⁇ ⁇ V buffer for the image data of the victim.
  • the amount of data occupied in the decoder buffer 18 becomes the second. If image data having a code amount below the threshold value is generated, the subsequent image data of the picture being encoded is skipped in units of ⁇ -blocks, so the decoder In buffer 18, V ⁇ data occupancy of V buffer ⁇ for image data of the I-victure is secured.
  • the ⁇ -picture and the ⁇ -picture that use the ⁇ -picture as the prediction image are all skipped, so that it is possible to prevent the image quality from deteriorating.
  • the data occupation amount in the decoder buffer 18 is the first.
  • image data having a code amount below the threshold value is generated, the subsequent image data of one picture being encoded is skipped in macroblock units, so that the next of
  • the data occupation amount of the VBV buffer for the image data of the I victim is secured. Further, when the I-picture is skipped, all the P- and B-pictures are skipped until the next I-picture is encoded, so that it is possible to prevent the image quality from deteriorating.
  • the picture encoding type having the lower importance when decoding the image is preferentially skipped. Therefore, in the decoder buffer 18, the next most important image is decoded.
  • the data occupancy of the VBV buffer for the encoding type victim can be secured.
  • the image encoding type of a less important image decoding type is preferentially skipped, so that an image encoding type with a higher importance when decoding an image is used.
  • the target code generation amount can be assigned more by the amount skipped for the picture, and the image quality can be prevented from deteriorating. This is particularly effective when the picture is complex.
  • freeze state of the image on the image decoding apparatus 13 side can be controlled on the encoding apparatus 1 side.
  • the third threshold value, the second threshold value, and the first threshold value are respectively set as the threshold values of the data occupancy in the VBV buffer in correspondence with the B, P, and I victims, respectively.
  • the third, second, and first thresholds are increased in the order of the third threshold, the second threshold, and the first threshold.
  • the present invention is not limited to this. Various other encoding methods can be applied as the encoding in 11.
  • the present invention is not limited to this, and the G0P may be configured with various other numbers as the number of frames constituting the G0P.
  • each image is coded on a frame basis.
  • the present invention is not limited to this, and a field unit, or a frame unit and a field unit are used. Encoding may be performed in a mixed manner. That is, it may be possible to correspond to the non-interlace scanning method.
  • the image coding rearrangement circuit 3 and the coding control circuit 7 are used as image coding type determination means for determining the image coding type of the image to be coded.
  • image coding type determination means for determining the image coding type of the image to be coded.
  • the present invention is not limited to this, and various other image coding type determining means can be applied as the image coding type determining means.
  • an image encoding type designation circuit is used as encoding means for encoding the first, second or third image based on the output of the image encoding type determination means.
  • image coding order rearrangement circuit 3 scan converter 4, prediction mode determination circuit 5, motion vector detection circuit 6, coding control circuit 7, arithmetic circuit 8, DCT conversion circuit 9, quantization circuit 10 , Variable length coding circuit 1 ⁇ , inverse quantization circuit 12, inverse DCT transformation circuit ⁇ 4, arithmetic unit 15, frame memory 16, and motion compensation circuit 17.
  • the present invention is not limited to this.
  • Various other first encoding means can be applied.
  • the code generation amount of the encoded image is calculated, and based on the calculation result, the data occupation amount of the encoded image in the buffer of the image decoding device is set to the first value.
  • the first, second and third threshold values of the data occupancy set corresponding to the second and third images, respectively, of the first, second or third currently encoded data are set to the first value. If the amount of code generation that falls below the first, second, or third threshold value corresponding to the first image, the coding process for the currently encoded first, second, or third image is performed.
  • the encoding control circuit 7 is used as the encoding control means for controlling the encoding means so as to stop the operation has been described.
  • image data is encoded into images of three encoding types, that is, an I-picture, a P-picture, and a B-picture.
  • image data is encoded into images of three encoding types, that is, an I-picture, a P-picture, and a B-picture.
  • the present invention is not limited to this. Even if an image is encoded using two encoding types out of one encoding type, that is, I-picture and P-picture, or I-picture and B-picture, the same as in the first embodiment described above. The effect can be obtained.
  • the first threshold value corresponding to the I-picture is set as the threshold value of the data occupancy in the VBV buffer, and the second or third threshold value corresponding to the P- or B-picture is set as the threshold.
  • P-pictures or B-pictures which are less important than I-pictures, can be preferentially skipped when decoding images. .
  • the VBV buffer it is possible to preferentially secure the data occupation amount of the picture of the image coding type having high importance when decoding the image. As a result, the VBV buffer can be stored without deteriorating the image quality. Thus, it is possible to realize an image coding apparatus that can reliably prevent the occurrence of an under-flip in an image.
  • the image coding device 25 controls the input image signal S 25 by encoder control. After processing such as preprocessing for compression encoding in the unit 26, the output data is delayed by a predetermined time in the FIFO (first in first out) memory 27.
  • the output data of the FIFO memory 2 is compressed and encoded by an encoder 28 as an encoding means by an image encoding type for each picture, that is, by an encoding method corresponding to the picture type. Output as compressed image data S 26.
  • the motion vector detected by the motion detection circuit 14 based on the output data of the encoder control unit 11 is given to the encoder 28, and the generated bit output from the encoder 13 is thus given.
  • the image coding device 25 shown in FIG. 8 is configured to perform a feed-rate type rate control for controlling the amount of generated code based on the characteristics of the image data before compression coding. ing.
  • the ME residual is the sum of the absolute value or the sum of the squares of the motion prediction error for the entire picture.
  • the ME residual data S 29 is data for obtaining the ME residual. .
  • the encoding control unit 31 is composed of a computer having a CPU (central processing unit) 33 and a ROM (read only memory) 34 and a RAM (randam access memory) 35 connected to each other via a bus 32.
  • the functions of the encoding control unit 31 are realized by executing a program stored in the ROM 34 with the CPU 33 ⁇ and the RAM 35 as a memory.
  • R 0M34 stores the image encoding control program according to the present invention, and may be an IC (integrated circuit), or may be a magnetic disk such as a hard disk, a floppy disk, or the like.
  • a storage device that uses an optical disc such as a CD (Compact Disc) -R0M as a recording medium, or a storage device that uses another type of recording medium may be used.
  • the IC and various recording media correspond to the media on which the image encoding control program according to the present invention is recorded.
  • the encoder control unit 26 receives the input image signal S25 and sorts the images (I, P, and B) according to the encoding order. Inputting the output data of the image rearranging circuit 41 and the image rearranging circuit 41, discriminating between the frame structure and the field structure, and performing scan conversion and 16 ⁇ 16 pixels according to the discrimination result.
  • Intra AC The sum of the absolute value of the difference between the pixel value of each pixel in the DCT transform book of 8x8 pixels (distributed cosine transform) and the average value of the pixel values in the DCT transform book It represents the complexity of the picture.
  • the encoder 28 calculates the difference between the output data of the FIF ⁇ memory 27 and the predicted pixel data in the subtraction circuit 44 and converts the output data of the subtraction circuit 44 into a DC ⁇ conversion circuit 45
  • a DCT transform coefficient is output, and after the output data of the DC ⁇ conversion circuit 45 is quantized by a quantization circuit 46, a variable-length code
  • the variable length coding is performed by the conversion circuit 47.
  • the output data of the variable-length encoding circuit 47 is temporarily held by a buffer memory 48, and is output as compressed image data S26 composed of a bit stream of a fixed bit rate.
  • the output data of the quantization circuit 46 is inversely quantized by the inverse quantization circuit 49, and the output data of the inverse quantization circuit 49 is subjected to the inverse DCT transformation circuit 50 by the inverse DCT transformation circuit 50.
  • the output data of the inverse DCT conversion circuit 50 is added to the predicted image data by the addition circuit 51, the output data of the addition circuit 51 is held in the motion compensation circuit 52, and transmitted from the motion detection circuit 14. Motion compensation according to the motion vector And outputs the predicted image data to the subtraction circuit 44 and the addition circuit 51.
  • the buffer memory 48 sends the generated bit amount data S 27 representing the bit amount generated by the variable length coding circuit 47 to the coding control unit 31.
  • the motion detection circuit 30 calculates the target macroblock of the target to be compression-coded and the target macroblock in the referenced target.
  • a macroblock in which the sum of absolute values or the sum of squares of the difference between the pixel values between them is minimized is searched for, a motion vector is detected and sent to the motion compensation circuit 52. Further, when obtaining the motion vector, the motion detection circuit 30 calculates the sum of absolute values or the sum of squares of the pixel value differences between the minimum macroblocks ⁇ as ME residual data S 29. And sends it to the encoding control unit 31.
  • the encoding control unit 31 calculates, in the ME residual calculator 61, a ME residual which is a value obtained by adding the ME residual data S29 from the motion detection circuit 30 for the entire victim. Based on the ME residual calculated by the residual calculator 61 and the intra AC data S 28 from the intra AC arithmetic circuit 43, the encoding of the picture is performed by the encoding difficulty calculator 42. Is calculated.
  • the generated bit amount data S 27 from the buffer memory 48 corresponds to the input buffer in the image decoding device that expands the image data compressed and encoded by the image encoding device 28 according to the second embodiment.
  • the VBV buffer occupancy / calculation unit 62 calculates the data occupancy of the VBV buffer, which is a virtual buffer to be changed.
  • the ME residual indicates the speed of the motion of the video and the complexity of the picture.
  • the coding control unit 31 further calculates the coding difficulty calculated by the coding difficulty calculation unit 63 and the VBV buffer occupancy calculated by the VBV buffer occupancy calculation unit 62.
  • a target code amount determining unit 6 for determining whether to perform a skip for stopping the encoding process on the image in order to determine the target code amount and to prevent an underflow ⁇ of the VBV buffer;
  • the quantization index corresponding to the quantization characteristic value in the quantization circuit 46 is set so that the generated code amount in the encoder 28 becomes the target code amount determined by the target code amount determination unit 6. And is sent to the quantization circuit 46.
  • the skip control unit 66 controls the quantization circuit 46 and the variable length coding circuit 47 to perform skipping. .
  • the encoding difficulty represents the difficulty of encoding a picture, which can be translated into the ratio of the amount of data required to maintain the same image quality.
  • the coding difficulty is calculated using the intra AC for the I-picture, and the P- and B-pictures are calculated for the I-picture.
  • the intra AC represents the complexity of the picture
  • the ME residual represents the speed of the motion of the picture and the complexity of the picture, which are strongly correlated with the difficulty of encoding.
  • the coding difficulty can be calculated from the intra AC or ME residual using a linear function or the like that uses the intra AC or ME residual as a variable.
  • the underflow of the VBV buffer occurs when the generated code amount greatly exceeds the target code amount. This occurs when the coding difficulty of the input image is very large for the bit rate. Therefore, it is appropriate to use the ratio of the encoding difficulty to the bit rate as a parameter for judging the risk of the underflow of the VBV buffer.
  • D k represents the encoding difficulty of the picture k
  • k represents the encoding order of the picture
  • [bit rate] represents the amount of data (bit amount) per second determined based on the transmission capacity of the communication line and the recording capacity of the recording medium. Is the number of victims per second (for example, 30 for NTSC and 25 for PAL). Therefore, G represents the amount of data (bit amount) allocated to the time corresponding to N pictures, and X represents the data amount (bit amount) allocated to the time corresponding to N pictures. ) Represents the ratio of the sum of the encoding difficulty D k of N pictures.
  • the input image signal S25 is input to the encoder control unit 26.
  • the image rearranging circuit 41 rearranges the order of the victims (I, P, and B) according to the encoding order, and then performs the scan conversion “macro block”.
  • the discriminating circuit 42 determines whether the frame structure or the field structure is used, performs scan conversion and macro-blocking according to the discrimination result, and then, in the case of an I-picture, an intra AC arithmetic circuit 43 calculates intra AC and calculates
  • the AC data S 28 is transmitted to the encoding control unit 31.
  • the output data of the scan conversion and macro block conversion circuit 42 is sent to the FIF memory 27 and the motion detection circuit 30 via the intra AC operation circuit 43.
  • the FIF memory 27 receives the input image for the time required for the encoding difficulty calculation unit 63 to calculate the encoding difficulty of the N pictures following the coded picture.
  • the data is delayed and output to encoder 28.
  • the motion detection circuit 30 detects the motion vector and sends the motion vector to the motion compensation circuit 52, and sends the ME residual data S29 to the ME residual calculation unit 61.
  • the encoder 28 inputs the output data of the FIF 0 memory 27 as it is to the DCT conversion circuit 45 without performing a difference with the predicted image data in the subtraction circuit 44, and performs DCT conversion.
  • the DCT transform coefficient is quantized by the quantization circuit 46
  • the output data of the quantization circuit 46 is variable-length encoded by the variable-length encoding circuit 47
  • the variable-length encoding circuit 4 is encoded by the buffer memory 48. 7 is temporarily held, and is output as compressed image data S26 consisting of a bit stream of a fixed bit rate.
  • the output data of the quantization circuit 46 is inversely quantized by the inverse quantization circuit 49, and the inverse DCT transformation is performed on the output data of the inverse quantization circuit 49 by the inverse DCT transformation circuit 50.
  • the output image data of the circuit 50 is input to the motion compensation circuit 52 via the addition circuit 51 and held.
  • the encoder 28 uses the motion compensation circuit 52 to store the image data corresponding to the past I-picture or P-picture and the motion vector from the motion detection circuit 30. , And outputs the predicted image data to the subtraction circuit 44 and the addition circuit 51. Further, the difference between the output data of the FIF memory 27 and the predicted image data from the motion compensation circuit 52 is calculated by the subtraction circuit 44, and the DCT conversion is performed by the DCT conversion circuit 45. , The DCT transform coefficient is quantized, the output data of the quantization circuit 46 is variable-length encoded by the variable-length encoding circuit 47, and the variable-length encoding The output data of the path 47 is temporarily held and output as compressed image data S26.
  • the output data of the quantization circuit 46 is inversely quantized by the inverse quantization circuit 49, and the output data of the inverse quantization circuit 49 is inversely DCT-transformed by the inverse DCT conversion circuit 50.
  • the output data of the inverse DCT transformation circuit 50 and the predicted image data are added by 51 and input to the motion compensation circuit 52 to be held.
  • the encoder 28 uses the motion compensation circuit 52 to store two image data corresponding to the stored past and future I-pictures or P-pictures and the two from the motion detection circuit 30. It generates predicted image data based on the two motion vectors, and outputs the predicted image data to the subtraction circuit 44 and the addition circuit 51. Also, the difference between the output data of the FIF 0 memory 27 and the predicted image data from the motion compensation circuit 52 is calculated by the subtraction circuit 44, and the DCT conversion is performed by the DCT conversion circuit 45.
  • the DCT transform coefficient is quantized by the quantization circuit 46, the output data of the quantization circuit 46 is variable-length encoded by the variable-length encoding circuit 47, and the variable-length encoding circuit 47 is encoded by the buffer memory 48.
  • the output data is temporarily stored and output as compressed image data S26.
  • the B victim is not held by the motion compensation circuit 52.
  • the buffer memory 48 sends the generated bit amount data S 27 representing the bit amount generated by the variable length coding circuit 47 to the coding control unit 31.
  • the encoding difficulty calculating section 63 calculates the intra AC data S 28 from the intra AC arithmetic circuit 43 and the ME residual calculated by the ME residual calculating section 61. From the difference, the encoding difficulty is calculated, and the parameter X is obtained (step SP 21). Note that the parameter X is calculated based on the coding difficulty of N pictures that follow the picture to be coded.
  • step SP22 it is determined whether or not the skip flag is "1" (step SP22).
  • the target code amount determination unit 64 calculates the parameter X and the VBV buffer occupancy calculation unit 62. Based on the occupied amount of the VBV buffer, the target code amount of the picture j is calculated (step SP23), and sent to the quantization index determination unit 65. Note that the picture j means a picture to be coded from now on.
  • the child code index determining unit 65 determines the amount of code generated in the encoder 28 by the target code amount determined by the target code amount determining unit 64.
  • the quantization index corresponding to the quantization specific value in the quantization circuit 46 is determined so as to obtain the quantity, and is sent to the quantization circuit 46. According to this, the encoding of the victim j is performed (step SP 24).
  • the target code amount determination unit 64 instructs the skip control unit 66 to skip the victim j.
  • the skip control unit 66 performs processing to display the previous frame (step SP25). That is, the skip control unit 66 controls the quantization circuit 46 to perform skipping in units of macroblocks, and also controls the variable-length coding circuit 47 to address the macroblock to be skipped. Send information.
  • the variable length coding circuit 47 codes and outputs information for skipping. In this way, the picture j is encoded as a picture composed of skipped macroblocks, which are skipped macroblocks.
  • the VBV buffer occupancy calculation unit 62 calculates the occupancy ⁇ B j of the VBV buffer from the bit amount generated by step SP 24 or step SP 25 (step SP 26).
  • the occupation amount B j of the VBV buffer is calculated by subtracting the amount of bits generated by picture i from the occupation amount of the VBV buffer before encoding of the picture j, and the amount of bits accumulated in the VBV buffer during the time between one picture. Can be obtained by adding Then:
  • the picture type of the picture is determined (step SP27). If the victim type is the B victim, it is determined whether or not the occupancy of the VBV buffer ⁇ B ⁇ is smaller than the occupancy determination threshold value h (B) for the B victim (step SP28).
  • the picture type is the P picture
  • the victim type is I-victure
  • the occupancy determination threshold is set so that Th (B)> Th (P)> Th (I).
  • step SP 28 If BJ is not smaller than T h (B) (a negative result is obtained in step SP 28), if B j is not smaller than T h (P) (a negative result is obtained in step SP 29). If B j is not smaller than Th (I) (if a negative result is obtained in step SP 30), the skip flag is set to “0” because it is not necessary to skip the next picture. It is set to "0" (step SP31).
  • the parameter X exceeds the predetermined coding difficulty determination threshold T (X). It is determined whether or not there is (step SP32).
  • the threshold value Th (x) is a threshold value for judging whether or not the pattern is difficult as the generated code amount greatly exceeds the target code amount. If X does not exceed Th (X) (N), it means that the pattern is not so difficult in the future, and it is not necessary to skip the next picture, so the skip flag is set to "0" ( Step SP31).
  • step SP35 J + 1 is set as a new J (step SP34) for the next victim processing, and the program returns to the main routine. Turn (step SP35).
  • the occupancy determination threshold of the VBV buffer is set for each picture type, and the B, P, and I In order of priority, and whether or not to perform a skip is determined based on the coding difficulty of several pictures that follow the encoded picture.
  • the priority is given to skipping the B-picture that has little effect on the image quality, and the VBV buffer underflow does not actually occur. In this case, it is possible to prevent the skipping of the picture, and to prevent the VBV buffer from underflowing while minimizing the influence on the picture K.
  • the present invention is not limited to the above-described second embodiment.
  • the parameter X used in the embodiment may be used.
  • the information on the tendency of the change of the encoding difficulty can be obtained from, for example, a linear approximation of the encoding difficulty obtained in time series by the least square method or the like, and the inclination thereof.
  • information on the change tendency of the encoding difficulty is obtained, for example, by the encoding difficulty calculator 63 in FIG.
  • the present invention is different from the encoder 28 in order to estimate the data amount after compression encoding.
  • An encoder for the first bus is provided, and the amount of generated code in the encoder 28 for the second bus is controlled based on the amount of data estimated by compression-encoding by the encoder for the first bus.
  • the present invention can also be applied to a configuration in which a rate control of a fast-forward type is performed, in which case the encoding is performed based on the generated code amount obtained by performing the compression encoding by the encoder on the first bus. It is possible to determine the difficulty.
  • the present invention is not limited to the configuration for performing the feedforward type rate control, and predicts the future encoding difficulty of a picture based on the encoding difficulty of an already compressed encoded picture. It is obtained by compression encoding in the past as represented by TM5 (test mode l5: IS0 / IEC JTC / SC29 (1993)), which is famous as a compression algorithm of the MPEG system.
  • the present invention can also be applied to a configuration in which feedback type rate control for controlling the generated code amount based on the generated code amount is performed. In this case, for example, the tendency of the global 'complexity' of the past compression-encoded pictures is analyzed, and the encoding difficulty of future pictures is estimated by linear approximation. Predict and calculate the value of the parameter X used in the embodiment based on the predicted encoding difficulty, and perform the scan based on the value of the parameter X in the same manner as in the embodiment. What is necessary is just to determine whether or not.
  • the global complexity is a parameter that indicates the complexity of the screen, and has a correlation with the degree of difficulty of encoding.
  • the amount of generated code and the amount of It is calculated as the product of the average quantization scale code (quantization characteristic value) at the time of compression encoding. (For example, the 11th base of “Multimedia Selection MPEG for Television Society” issued by Ohmsha, Ltd.) See page 1).
  • the tendency of a change in encoding difficulty is determined by linear approximation, or in a configuration in which feedback-type rate control is performed.
  • the difficulty of encoding several pictures In the case of prediction, since the continuity of the encoding difficulty is lost at the time of the scene change, at the time of the scene change, the process of calculating the change tendency of the encoding difficulty and the process of predicting the encoding difficulty are performed until the scene change. If the processing is completed and new processing is performed after the scene change, the accuracy will be further improved.
  • the encoding difficulty is not limited to the one using the intra AC or ME residual described in the embodiment, but may be any other parameter as long as it represents the difficulty of encoding a picture. But it is good.
  • the threshold value for determining the occupancy of the VBV buffer is changed for each type of visual.
  • the threshold for determining the amount of occupancy of the VBV buffer is independent of the type of the victim. This includes the case where it is constant.
  • the present invention provides a communication system in which image data is compressed and transmitted on the transmission side, and a communication system that expands the image data compressed on the reception side, compresses and records the image data, and compresses the image data during reproduction. It can be used for a compressed image recording / reproducing device that expands and outputs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 発明の名称
画像符号化装置、 画像符号化方法及び画像符号化プ グラ ムを記録した媒体 技術分野
本発明は画像符号化装置、 画像符号化方法及び画像符号化プ グラムを記録し た媒体に関し、 特に画像を圧縮符号化して画像復号装置に伝送する場合に適用し て好適なものである。 背景技術
画像符号化装置側で画像データを符号化 · 圧縮して伝送すると共に、 画像復号 化装置側で伝送されて来た画像データを伸張 · 復号化する通信システムや、 画像 データを圧縮して記録すると共に、 再生時には圧縮された画像データを伸張して 出力する圧縮画像記録再生装置等において、 画像データの圧縮の方法としては、 例えば M P E G (Moving Picture Experts Group) 規格で採用されている双方向 予測符号化方式が用いられている。 この双方向予測符号化方式では、 双方向予測 を用いることで符号化効率を向上させている。 双方向予測符号化方式では、 フ レ ーム内符号化、 フ レーム間順方向予測符号化及び双方向予測符号化の 3つのタィ プの符号化が行われ、 各符号化タイプによる画像は、 それぞれ〗 ビクチャ （iiitr a coded picture ) Pビクチャ (predictive coded picture) 及び Bビクチャ (bidirectional ly predictive coded picture) と呼ばれる 0
ところで、 上述の M P E G規格で採用されている双方向予測符号化方式等を用 いて画像データを圧縮符号化する画像符号化装置では、 圧縮符号化された画像デ ータを伸張する画像複号化装置の持つ入力バッフ ァの容量を破錠させないことを 検証するために、 画像復号化装置側の入力バッファを画像符号化装置側から仮想 的に考えた復号化保証用バッファすなわち V B V (Video Buffering Verf ier ) バッファを想定し、 この V B Vバッファのデータ占有量が許容値をオーバフ □ - 又はアンダフ α —しないように、 画像符号化装置におけるデータの発生量を制御 している （オーム社発行の 「テ レビジ ョ ン学会マルチメ ディ ア選書 M P E G」 の第 1 1 5 ページ参照） 。
すなわち画像符号化装置から固定のビッ ト レー トで符号化データを伝送する場 合、 図 1 に示すよう に、 指定されたビッ ト レー トで画像データのビッ トス ト リ一 厶が V B V バッフ ァに入力されるときに、 この V B Vバッファ内のデータ占有量 がアンダフロー及びオーバフ p —しないような状態で、 V B Vバッファから画像 データを発生させる。
画像復号装置においては、 画像符号化装置から伝送される ビッ トス ト リ ームを
V B Vバッフ ァを通して 1 フ レーム分の画像データを単位として復号化する。 か く して画像符号化装置から伝送される符号化データのビッ ト レー トが一定であつ ても、 データ量が異なるビクチャを確実に復号化できる。 例えばフ レーム内の画 像データを用いて符号化したフレーム （すなわちィ ン ト ラ符号化された I ビクチ ャは、 時間的に前後のフ レームから動き補償を用いて符号化されたフ レーム （す なわち P ビクチャ又は Bビクチャ） に比してフ レーム当たりの符号量が多いが、
V B Vバッファアンダフ口一やオーバフローをしない状態で復号化ができれば、 各ビクチャを確実に復号化できる。
図 1 において、 各線分 Xの傾きは伝送するデータス ト リ ー厶の固定ビッ ト レー トを示し、 当該各線分 Xの各位置 X , は V B Vバッファにおけるデータ占有量を 表している。 また線分 yは 1 フ レーム分のデータが V B Vバッファから I ビクチ ャ、 Bピクチャ及び Pビクチャと して読み出されたことにより、 V B Vバッファ のデータ占有量が急に減少することを示している。
ところが図 2に示すように、 所定のデータ占有量の範囲を越えるデータをもつ たビクチャが V B Vバッファから発生したとき、 V B Vバッファにアンダフ 一 が発生する。 このことは、 目標符号発生量はレー ト制御によって設定されてはい るが、 伝送されて来た画像の複雑さや、 動きの激しさによって実際の符号発生量 が目標符号発生量より大き く なった場合に当該ビクチャを復号するためのデ一タ が不足 （図中 「 0」 以下の部分に相当） するので画像を復号できないことを意眛 する。
この V B Vバッファの動作については、 I S O (International Organization for Standardization) / I E C (international Electrotechnical Comraissio n ) 13818-2 (M P E G 2のビデオパー ト） の Annex Cに記述されているが、 V B Vバッファにアンダフ口一及びオーバフロ一が発生したときの画像復号装置の 動作については記述されていない。
V BVバッファにアンダフ α—が発生すること防止する方法と して、 VB Vバ ッファに固定のしきい値を設定し、 V Β Vバッファ内のデータ占有量がこのしき い値を下回るようなビクチャについてはスキップする （画像に対する符号化処理 を停止する） ことにより、 V Β Vバッファにアンダフローが発生することを防止 する方法が提案されている。
ところがこの方法では、 どの画像符号化タイブのビクチャに対しても同じよう にスキップ処理が行われる可能性がある。 この場合、 特に復号の際の画質上最も 重要な画像データを含む I ビクチャは Ρビクチャ及び Βビクチャより符号発生量 (すなわちデータ量） が多いため、 Ρビクチャ及び Βビクチャよりもスキップ処 理される可能性が髙く なることが考えられる。 このように I ビクチャがスキップ された場合には、 スヰッブされた 1 ビクチャを予測画像とする Ρビクチャ及び Β ビクチャの画質に影響が及ぶため全体の画質が劣化するおそれがあった。 発明の開示
本発明は以上の点を考慮してなされたもので、 画質を劣化させずに復号化保証 用バッファにおけるアンダフローの発生を防止することができる画像符号化装置 及び画像符号化方法を提案しょう とするものである。
かかる課題を解決するため本発明においては、 符号化制御手段は、 符号化され た画像の符号発生量を演算し、 当該演算結果に基づき、 画像復号装置のバッファ における符号化された画像のデータ占有量が、 イ ン ト ラ符号化される第 1 の画像 、 並びに順方向予測符号化される第 2の画像及び又は双方向予測符号化される第 3の画像にそれぞれ対応させて設定された第 1 、 若しく は第 2及び又は第 3のし きい値のうち、 現在符号化されている第 1 、 若しく は第 2又は第 3の画像に対応 する第 1 、 若しく は第 2又は第 3のしきい値を下回るような符号発生量が発生し た場合、 現在符号化されている第 1 、 若しく は第 2又は第 3の画像に対する符号 化処理を停止させるように、 符号化手段を制御する。
また、 現在符号化されている第 1 、 若しく は第 2又は第 3の画像に対する符号 化処理が停止された場合、 復号化保証用バッファにおいては、 次の画像のための バッファ量が確保される。
さらに、 第 1 、 並びに第 2及び又は第 3のしきい値の値を、 画像を復号する際 の画像符号化タィプの重要度に応じて設定することにより、 復号化保証用バッフ ァにおいては、 重要度の高い画像符号化タィプの画像のバッファ量が優先的に確 保される。
かく して画質を劣化させずに画像復号装置のバッファにおけるアンダフ α —の 発生を防止することのできる画像符号化装置及び画像符号化方法を実現すること ができる。
さらに、 符号化手段によって、 入力画像データが画像に画像符号化タイプに応 じた符号化方法によって圧縮符号化され、 1枚の画像の符号化が終了したときに 、 占有量算出手段によって、 画像復号化装置における入力バッファに対応する仮 想的なバッファのデータ占有量が算出される。 また、 符号化難易度算出手段によ つて、 符号化が終了した画像に続く画像の符号化の難易度を表す符号化難易度が 算出され、 1枚の画像の符号化が終了したときに、 画像スキップ制御手段によつ て、 占有量算出手段によって算出されるデータ占有量が所定のデータ占有量判定 用しきい値を下回り、 かつ符号化難易度算出手段によって算出される符号化難易 度が所定の基準に適合する場合に、 次に符号化する予定の画像がスキップマク 口 ブロックで構成される画像として符号化される。 かく して画質に対する影饗を極力抑えながら、 画像復号化装置における入カバ ソファに対応する仮想的なバッファのアンダフ口一を防止することができるとい う効果を奏する。 図面の簡単な説明
図 1 は V B Vバッファにおけるデータ占有量の推移の説明に供する略線図であ る。
図 2は V B Vバッファにおけるアンダフ口一の説明に供する略線図である。 図 3は本発明の第 1 の実施の形態である画像符号化装置及び画像復号装置の概略 構成を示すブ Dック図である。
図 4は V B Vバッファにおけるデータ占有量が第 1 のしきい値を下回った場合 のデータ占有量の推移の説明に供する略線図である。
図 5は V B Vバッファにおけるデータ占有量が第 2のしきい値を下回った場合 のデータ占有量の推移の説明に供する略線図である。
図 6は V B Vバッファにおけるデータ占有量が第 3のしきい値を下回った場合 のデータ占有量の推移の説明に供する略線図である。
図 Ίは符号化制御回路の動作の説明に供するフ n —チャー トである。
図 8は本発明の第 2の実施の形態である画像符号化装置の概略の構成を示すブ αック図である。
図 9は図 8の画像符号化装置の詳細な構成を示すブ πック図である。
図 1 0は図 9の符号化制御部の動作の説明に供するフローチヤ一 トである。
発明を実施するための最良の形態
(1) 第】 の実施の形態
図 3において、 1 は全体として画像符号化装置を示し、 入力端子 W 1 から入力 した人力画像信号 S 1 が画像タィブ指定回路 2に入力される。
画像タィプ指定回路 2は入力される画像信号 S 1 の各フレームを I ビクチャ、 P ビクチャ又は B ビクチャのうちのどの画像符号化タ ィプのビクチャと して処理 するかを指定して画像符号化並替え回路 3に送出する。 この画像符号化装置 1 は 、 例えば 1 5個のフ レームをグループ ' 才ブ ' ピクチヤ （ G 0 P ) と して、 これを 1 単位と して符号化処理を実行する。
画像符号化順序並替え回路 3は指定された画像符号化タイブに従って各フ レー ムを符号化する順番に並び替えて画像信号 S 2としてスキャンコ ンバータ 4 に送 出すると共に、 画像符号化タィプデータ S 3を予測モ一 ド決定回路 5、 動きべク トル検出回路 6及び符号化制御回路 7に送出する。 また画像符号化並替え回路 3 は現在符号化されているフ レームの動きべク トルを検出するために現在画像と、 当該現在画像より時間的に過去にある画像 （以下、 これを過去参照画像と呼ぶ） 及び又は現在画像より時間的に未来にある画像 （以下、 これを未来参照画像と呼 ぶ） とを表す画像信号 S 4を動きべク トル検出回路 6に送出する。
スキャンコ ンバータ 4は、 入力されるフ レームをブロ ック フォーマツ 卜の信号 に変換し、 この 1 フ レームの信号を 16ライ ンを 1単位として N個のスライ スに区 分する。 各スライスは 1 6 X 16の画素に対応する輝度信号によって構成される M個 のマク ロブロ ック に分割される。 これら各マク ロブロ ック にはア ドレス （可変長 符号 （ィ ンク リメ ン ト値） ） が付加されており、 このァ ドレスは各マク 口ブロ ッ クの位置を表すものである。 この場合、 ビクチャ中で最初に伝送されるマク ロブ ロックのア ドレスは番号そのものを表し、 これに続く マク Ώブロックのア ドレス は、 当該マクロブロックの絶対ァ ドレスとその 1 つ前に伝送されたマクロブロッ クの絶対ァ ドレスとの差を表している。
動きべク トル検出回路 6は画像信号 S 2の各フレームに同期した画像符号化タ ィブデータ S 3に従って各フレームの画像データをフレーム内符号化による I ビ クチャ、 フ レーム間順方向予測符号化による Ρ ビクチャ又は双方向予測符号化に よる Β ビクチャと して処理する。 かく して、 I ピクチャと して処理されるフ レ一 ムの画像データは、 動きべク トル検出回路 6から過去参照画像を格納する過去参 照画像メ モ リ （図示せず） に格納され、 Βピクチャとして処理されるフ レームの 画像データは現在画像を格納する現在画像メ モ リ （図示せず） に格納され、 P ビ クチャと して処理されるフ レームの画像データは未来参照画像を格納する未来参 照画像メ モ リ （図示せず） に格納される。
こ こで次のタ イ ミ ングにおいて、 B ビクチャ又は P ピクチャと して処理すべき フ レームが動きべク トル検出回路 6に入力されたとき、 これまでに未来参照画像 メ モ リ に格納されていた最初の P ビクチヤの画像データは過去参照画像メ モ リ に 格納される。 また次の B ビクチヤの画像データは現在画像メモリ に格納され、 次 の P ビクチヤの画像データは未来参照画像メ モリ に格納される。 以降このような 動作が順次繰り返される。
動きべク トル検出回路 6は順方向予測における動きべク トル及びそのときの動 きべク トル推定残差でなる動きべク ト ルデータ S 5を予測モー ド決定回路 5に送 出する。 また動きベク トル検出回路 6は、 Bビクチャの場合には、 逆方向予測に おける動きべク トル及びそのときの動きべク ト ル推定残差でなる動きべク ト ルデ ータ S 5を送出する。
予測モー ド決定回路 5はィ ン ト ラモー ド、 順方向予測モ一 ド、 逆方向予測モー ド又は双方向予測モー ドのうちどの予測モー ドを選択するかを決定する。
ここでイ ン ト ラモー ドは、 符号化対象となるフ レームの画像データをそのまま 伝送データとして伝送する処理であり、 順方向予測モー ドは、 過去参照画像との 予測残差と順方向動きべク トルとを伝送する処理である。 また逆方向予測モー ド は、 未来参照画像との予測残差と逆方向動きべク トルとを伝送する処理であり、 双方向予測モー ドほ、 過去参照画像と未来参照画像の 2つの予測画像の平均値と の予測残差と順方向及び逆方向の 2つの動きべク トルとを伝送する処理である。
Bビクチャの場合には、 これら 4種類の予測モー ドをマク ϋプロック単位で切り 換える。
予測モー ド決定回路 5は画像符号化並替え回路 3から送出される画像符号化タ イブデータ S 3に基づいて、 I ビクチャの場合にはイ ン トラモー ドを選択し、 Ρ ビクチャの場合にはィ ン ト ラモー ド又は順方向予測モー ドのいずれかの予測モー ドを選択し、 B ビクチャの場合には、 イ ン ト ラモー ド、 順方向予測モー ド、 逆方 向予測モー ド又は双方向予測モー ドのうちいずれかの予測モー ドを選択し、 選択 した予測モー ドを表す予測モー ドデータ S 6を演算回路 8に送出する。
演算回路 8はスキャンコ ンバータ 4 より読み出されたマク ロブコ ック S 7 に対 して、 予測モー ドデータ S 6に基づいてィ ン ト ラ、 順方向予測、 逆方向予測又は 双方向予測の演算を行う。
演算回路 8はマクロブロック S 7 として 1 ビクチャと して処理すべきフ レーム の画像データが入力された場合、 当該画像デ一タをイ ン ト ラ符号化して D C T ( D i sc r e t e C os i ne T r ans f o rm 、 離散コサィ ン変換） 変換回路 9に送出する。 D C T変換回路 9はイ ン ト ラ符号化された画像データを D C T変換係数に変換して量 子化回路 1 0に送出する。
量子化回路 1 0は各 D C T変換係数を符号化制御回路 7から指定された量子化 ステップで量子化して可変長符号化回路 1 1及び逆量子化回路 1 2に送出する。 可変長符号化回路 1 1 は量子化された画像データ、 予測モー ド決定回路 5から 送出される予測モー ドデータ S 6及び動きべク ト ル検出回路 6から送出される動 きべク ト ルデータ S 5を例えばハフ マ ン符号などの可変長符号に変換して伝送路 (図示せず） を介して画像復号装置 1 3に伝送すると共に、 符号化制御回路 7に 与える。 また可変長符号化回路 1 1 は各マク αブロックのイ ンク リメ ン ト値を力 ゥ ン トする。
逆量子化回路 1 2は量子化された画像データを量子化時における量子化ステツ プに応じて逆量子化して逆 D C Τ変換回路 1 4に送出する。 逆 D C T変換回路 1 4は逆量子化回路 1 2からの出力を逆 D C Τ変換処理をする。 逆 D C T変換回路 1 4からの出力は演算器 1 5を介してフ レームメ モ リ 1 6内の過去参照画像を格 納する過去参照画像記憶部 （図示せず） に格納される。
次に演算回路 8にスキャンコ ンバータ 4から Ρ ビクチャと して処理すべきフ レ ームの画像データが入力され、 予測モー ド決定回路 5から送出される予測モー ド データ S 6がイ ン ト ラモ一 ドの場合、 当該フ レームの画像データは、 上述の I ビ クチャの場合と同様にイ ン ト ラ符号化されて D C T変換回路 9、 量子化回路 1 0 及び可変長符号化回路】 1 を介して画像復号装置 1 3に伝送されると共に、 符号 化制御回路 7に与えられ、 さらに逆量子化回路 1 2、 逆 D C T変換回路 1 及び 演算器 1 5を介してフ レームメ モ リ 1 6内の未来参照画像を格納する未来参照画 像記憶部 （図示せず） に格納される。
予測モー ドデータ S 6が順方向予測モー ドを表している場合には、 フ レームメ モ リ 1 6の過去参照画像記憶部に格納されている画像データ （この場合 I ビクチ ャの画像データ） が読み出されて動き補償回路 1 7に送出される。
動き補償回路 1 7 はこの画像データを動きべク トル検出回路 6から送出される 順方向の動きべク トルデータ S 5に対応して動き補償する。
すなわち動き補償回路 1 7は、 順方向予測モー ドの場合、 フ レームメ モ リ 1 6 の過去参照画像記憧部の読出しア ドレスを、 動きべク トル検出回路 6が現在出力 しているマクロブロックの位置に対応する位置から順方向の動きべク トルデータ S 5 に対応する分だけずらしてデータを読み出して予測参照画像を生成し、 演算 回路 8及び演算器 1 5に送出する。
演算回路 8はスキャンコ ンバータ 4から送出される参照画像のマク口ブ αック のデータ S Ίから、 動き補償回路 1 7から送出された当該マクロブロックに対応 する予測参照画像の画像データを減算して、 予測残差としての差分データを得、 この差分データを D C Τ変換回路 9 に送出する。 この差分データは D C Τ変換回 路 9、 量子化回路 1 0及び可変長符号化回路 1 1 を介して画像復号装置 1 3に伝 送され-ると共に、 符号化制御回路 7に与えられる。 またこの差分データは逆量子 化回路 1 2及び逆 D C T変換回路 1 4によって局所的に復号されて演算器 I 5に 送出される。
演算器 1 5は逆 D C Τ変換回路 1 4から送出される差分データに、 動き補償回 路】 7から送出される予測参照画像の画像データを加算する。 これによ り局所的 に復号した Ρビクチャの画像データが得られる。 この Ρビクチャの画像データは フ レームメ モ リ 1 6内の未来参照画像を格納する未来参照画像記憶部に格納され る。
次に演算回路 8にスキャンコ ンバータ 4から Bピクチャと して処理すべきフ レ ームの画像データが入力され、 予測モー ド決定回路 5から送出される予測モ一 ド データ S 6がィ ン ト ラモー ド又は順方向予測モ一 ドの場合、 当該フ レームの画像 データは上述の P ビクチヤの場合と同様に処理される。 これに対して予測モー ド データ S 6が逆方向予測モー ドに設定された場合には、 フ レームメ モ リ 1 6の未 来参照画像記億部に格納されている画像データ （この場合 P ピクチャの画像デ一 タ） が読み出されて動き補償回路 1 7に送出される。
動き補償回路 1 7はこの画像データを動きべク ト ル検出回路 6から送出される 逆方向の動きべク トルデータ S 5に対応して動き補償する。
すなわち動き補償回路 1 7 は、 逆方向予測モー ドのとき、 フ レームメ モ リ 1 6 の未来参照画像記愴部の読出しア ド レスを、 動きべク ト ル検出回路 6が現在出力 しているマクロブロックの位置に対応する位置から動きべク トルデータ S 5 に対 応する分だけずらしてデータを読み出して予測参照画像を生成し、 演算回路 8及 び演算器 1 5に送出する。
演算回路 8はスキャンコ ンバータ 4から送出される参照画像のマク nブ αック のデータから、 動き補償回路 1 7から送出された当該マクロブロックに対応する 予測参照画像の画像データを減算して予測残差と しての差分データを得、 この差 分データを D C Τ変換回路 9に送出する。
このとき、 演算器 1 5は逆 D C T変換回路 1 4から送出される差分データに、 動き補償回路 1 7から送出される予測参照画像の画像データを加算することによ り、 局所的に復号した Βビクチャの画像データを得る。
双方向予測モー ドの場合には、 フ レームメ モ リ 1 6の過去参照画像記憶部に格 納されている画像データ （この場合 I ビクチャの画像データ） と、 未来参照画像 記憶部に格納されている画像データ （この場合 Ρ ビクチャの画像データ） とが読 み出されて動き補償回路 1 7 に送出される。
動き補償回路 1 7はこの画像データを動きべク ト ル検出回路 6から送出される 順方向の動きべク トル及び逆方向の動きべク トルでなる動きべク トルデータ S 5 に対応して動き補償する。
すなわち動き補償回路 1 7は、 双方向予測モー ドの場合、 フ レームメ モ リ 1 6 の過去参照画像記憶部と未来参照画像記憶部の読出しア ド レスを、 動きべク ト ル 検出回路 6が現在出力しているマク πブロックの位置に対応する位置から順方向 の動きべク トル及び逆方向の動きべク トルでなる動きべク トルデータ S 5に対応 する分だけずらしてデータを読み出して予測参照画像を生成し、 演算回路 8及び 演算器 1 5に送出する。
演算回路 8はス牛ャンコ ンバータ 4から送出される参照画像のマク口プロ ック のデータから、 動き補償回路 1 7から送出された当該マクロブロックに対応する 予測参照画像の画像データの平均値を減算して予測残差と しての差分データを得 、 この差分データを D C T変換回路 9に送出する。
このとき、 演算器 1 5は逆 D C T変換回路 1 4から送出される差分データに、 動き補儐回路 1 7から送出される予測参照画像の画像データを加算することによ り、 局所的に復号した Bビクチャの画像データを得る。 ここで Bビクチャは他の 画像の予測画像として使用されないので、 フ レームメ モ リ 1 6には格納されない 画像復号装置 1 3は画像符号化装置 1 から固定のビッ ト レー トで伝送される ビ ッ トス ト リ ームをデコーダバッファ 1 8に一旦格納した後、 所定のタィ ミ ングで 当該デコ一ダバッファ 1 8から 1 フ レーム分の画像データを読み出して復号部 1 9において順次復号し、 復号されたフ レームを原画像の順序に並び替えて例えば ディスプレイ上に表示させる。
こ こでデコーダバッファ 1 8は、 画像符号化装置 1 から仮想的に考えた復号化 保証用バッファ （すなわち V B Vバッファ） を構成し、 画像符号化装置 1 は、 復 号部 1 9がデコーダバッファ 1 8から画像データを読み出すタイ ミ ングが分かる ようになされている。
この実施例の場合、 符号化制御回路 7は可変長符号化回路 1 1 から送出される 可変長符号化された画像データの符号発生量をマク口ブ口ック単位で演算すると 共にィ ンク リメ ン ト値を力ゥン 卜する。 また符号化制御回路 7は目標符号化発生 量を表す量子化ステップ制御信号 S 8を量子化回路 1 0に与えることにより 1 フ レーム当たりの符号発生量を制御する。
さらに符号化制御回路 7は V B Vバッファとして機能するデコ一ダバッファ 1 8におけるデータ占有量のしきい値として、 第 3のしきい値、 第 2のしきい値及 び第 1 のしきい値を有する。 これら第 3、 第 2及び第 1 のしきい値は、 それぞれ B ビクチャ、 P ビクチャ及び I ビクチャに対応している。 またこれらしきい値の 値は、 画像を復号する際の画像符号化タィプの重要度の低い順に高く なるよう に 、 第 3のしきい値 >第 2のしきい値 >第 1 のしきい値に設定されている。 かく し て、 符号化制御回路 7は、 Bビクチャが符号化されているときに、 可変長符号化 回路 1 1 から送出される画像データの符号発生量に基づき、 デコーダバッファ 1 8 よって形成される V B Vバッファにおけるデータ占有量が第 3のしきい値を下 回るような符号量を有する画像データが発生した場合には、 量子化回路 1 0 にス 年ップ実行信号 S 9を送出して、 当該符号化中の Bビクチャのこれ以降の画像デ ータをマク口プロック単位でスキップさせその結果データ占有量の傾下を抑える ようになされている。
ここで、 スキップするとは、 現在実行されている符号化処理を停止させること をいう。
このような処理をしたとき、 データバッファ 1 8によって形成される V B Vバ ッファ - 1 8におけるデータ占有量は、 図 4に示すように推移する。 図 4に示す太 線部分は、 画像データがスキップされたことを示し、 図 5及び図 6についても同 様である。
この場合、 量子化回路 1 0はスキップ信号 S 9を受けると、 内部に設けられた スキップスィ ッチを才ン動作させることにより画像データをスヰッブする。 この 場合、 符号化制御回路 7はスキップするマク口ブ口ックについてのァ ド レス情報 S 1 0を可変長符号化回路 1 1 に送出する。 量子化回路 1 0からの符号 （ビッ ト ) 発生はなく なる。 また量子化回路 1 0 は画像データをスキ ップしない場合には
、 スキップス ィ ツチをオフ動作させることにより画像データを量子化する。 ここで符号化制御回路 7は、 画像復号装置 1 3 の復号部 1 9がデコーダバッフ ァ 1 8からデータを読み出すタィ ミ ングを知っており、 しかも可変長符号化回路
1 1 からの送出される画像データの符号発生量を演算し、 これによりデコーダバ ッファ 1 8 に現在格納されているデータ量を知ることができる。
可変長符号化回路 1 1 は画像データがスキップされていない場合には、 イ ンク リメ ン ト値を力ゥン 卜すると共にァ ド レス情報と共に画像データを符号化制御回 路 7及び画像復号装置 1 3に伝送する。 これに対して可変長符号化回路 1 1 は、 画像データがスキップされた場合には、 ィ ンク リメ ン ト値はカウン 卜するがス牛 ップされたマク口プロックについてのァ ドレス情報は出力せず、 行及び列方向に 並べられた複数のマクロブロックの行方向における最初のマクロブロックのァ ド レス情報 （以下、 これを先頭ア ド レス情報と呼ぶ） と、 行方向における最後のマ クロブロックのア ド レス情報 （以下、 これを最終ア ド レス情報と呼ぶ） だけは可 変長符号化して符号化制御回路 7及び画像復号装置 1 3に伝送する。
これにより符号化制御回路 7及び画像復号装匱 1 3 はどの画像符号化タィプの 画像データがスキップされたかを知ることができる。 ここで可変長符号化回路 1
1 に対する先頭ァ ドレス情報及び最終ァ ド レス情報の指定は、 符号化制御回路 7 が指定信号 S 1 0を可変長符号化回路 1 1 に送出することにより行われる。 また符号化制御回路 7 は、 Ρ ビクチャが符号化されているときに、 可変長符号 化回路 1 1 から送出される画像データの符号発生量に基づき、 デコーダバッファ
1 8におけるデータ占有量が第 2のしきい値を下回るような符号発生量を有する 画像データが発生した場合には、 量子化回路 1 0にスキップ実行信号 S 9を送出 して、 当該符号化中の Ρビクチャのこれ以降の画像データをマク ϋブロック単位 でスキップさせる。
ここで符号化制御回路 7は、 Ρ ビクチャをスヰップさせた場合には、 デコーダ バッファ 1 8におけるデータ占有量がそれぞれ対応するしきい値を越えている場 合でも、 当該スキップされた P ビクチャを予測画像と して復号化の際に用いる B ビクチャ及び P ビクチャは全てスキップさせるようになされている。 これは、 図 5に示すように、 P ビクチャ P a が前の Pビクチャ P 2 を予測画像と しているた めである。 すなわち Pピクチャ P 2 は符号化の途中からスキップされているため 、 画像データとしては不十分なものとなり、 この P ビクチャ P 2 を用いて復号化 される復号後の P ビクチャ P 3 の画質が劣化するからである。 このことは Bビク チヤ B s 及び Bビクチャ Β β についても同様である。 従って次の I ビクチャの符 号化まで画像データがスキップされている。
また図 5において、 Βビクチャ Β 3 、 Βビクチャ 、 Ρ ビクチャ Ρ 3 、 Βク ビチヤ B s 及び Bビクチャ B 6 がそれぞれスヰップされているのにもかかわらず 、 データ量が太線の分だけ減っているのは、 上述した先頭ア ド レス情報及び最終 ァ ドレス情報が読み出されているからである。 このことは図 6についても同様で ある。
さらに符号化制御回路 7は、 I ピクチャが符号化されているときに、 可変長符 号化回路 1 1 から送出される画像データの符号発生量に基づき、 デコーダバッフ ァ 1 8におけるデータのバッファ占有量が第 3のしきい値を下回るような符号量 を有する画像データが発生した場合、 量子化回路 1 0にスキップ実行信号 S 9を 送出して、 当該符号化中の I ビクチャのこれ以降の画像データをマク Dブ πック 単位で D C成分のみのマク口ブ口ックとして符号化する。 この場合、 符号化制御 回路 7は次の I ビクチヤの符号化まで Βビクチャ及び Ρ ビクチャをス年ップさせ るように量子化回路 1 0を制御する。
これは、 図 6に示すように、 例えば Ρ ビクチャ Ρ 2 は前の I ビクチャ I , を予 測画像としているためである。 すなわち I ビクチャ I , は符号化の途中から D C 成分のみの符号化とされているため、 画像データとしては不十分なものとなり、 この I ビクチャ 1 ！ を用いて復号化される復号後の P ビクチャ P 2 の画質が劣化 するからである。 このことは、 I ビクチャ ！ ！ ゃ！3 ビクチャ P 2 を復号化の際に 用いる B ビクチャ B 3 、 Bビクチャ B 4 、 Bビクチャ B s 及び Bビクチャ B s に ついても同様である。 従って次の I ビクチャの符号化まで画像データがスキップ されている。
ここで図 4〜図 6に示す太線は、 結果と してスキップされたマクロブロック又 は D C成分のみのイ ン ト ラマク ロブロ ックで構成されることになる。
また符号化制御回路 7は、 上述のように画像データをスキップさせた場合、 ス キップさせた分だけ、 以降の画像データに対する目標符号発生量を多く割り当て るように、 目標符号発生量制御信号 S 8によって量子化回路 I 0を制御する。 こ の場合、 符号化制御回路 7は画像を復号する際の重要度が高い画像符号化タィプ 、 すなわち I ビクチャ、 P ビクチャの順に目標符号発生量を多く割り当てる。 画像復号装置 1 3は、 画像符号化装置 1 でビクチャがスキップされた場合でも 、 伝送されてく るァ ドレス情報に基づいてどのマク 口プロ ックがスキップされた かを判別することができ、 これによりスキップされた場合には、 前のフ レームを そのまま表示するようになされている。
符号化制御回路 7の動作について図 7を用いて説明する。
符号化制御回路 7は、 ステップ S P 1 より動作を開始して、 ステップ S P 2に おいて、 これから符号化するビクチャ （以下、 これを符号化対象ビクチャと呼ぶ ) がどの画像符号化タィプかを画像符号化並替え回路 3から送出される画像符号 ィ匕タィプデータ S 3 に基づいて判定した後、 ステップ S P 3 に進む。
符号化制御回路 7は、 ステップ S P 3 において、 スキップ判定フラグがセッ ト されているビクチャ （以下、 これをスキップビクチャと呼ぶ） の画像符号化タイ プと、 符号化対象ビクチヤの画像符号化タイプとに基づいて、 符号化対象ビクチ ャをス牛ップするか否かを判定する。 ここでスキップ判定フラグは、 後述するよ うに、 スキップビクチャに対して設定されるフラグを表す。
このステップ S P 3において、 符号化対象ビクチヤをスキップするか否かを判 定するのは、 スキップビクチャが符号化対象ビクチャの予測画像であるか否かを 判定するためである。 すなわち上述したように、 符号化対象ビクチャの予測画像 がスヰッブされている場合には、 この予測画像を用いて復号化されるビクチャの 画質に影響を与えるため、 符号化対象ビクチャを符号化しているときに、 デコー ダバッファ 1 8におけるデータ占有量が当該符号化対象ビクチヤの画像符号化タ ィプに対応するしきい値を下回っていない場合でもスキップさせる必要があるか らである。 例えば Pビクチャ P 3 (図 5 ) を符号化対象ビクチャとした場合、 当 該 P ビクチャ P 3 の予測画像となる P ビクチャ P 2 はスキップされているからで ある。
ステップ S P 3 において、 符号化制御回路 7が否定結果を得ると、 ステップ S P 4 に進み、 スキップ判定フラグをリ セッ トする。 ここでスキップ判定フラグを リセッ トするのは、 ステップ判定フラグをセッ ト したままであると、 スキップを 行ってはならないビクチャの画像データがスキップされることを防止するためで ある。
続いて符号化制御回路 7 はステップ S P 5において目標符号発生量を計算した 後、 ステップ S P 6に進んで符号化対象ビクチャをマクロブ□ック単位で符号化 させる。 次に符号化制御回路 7はステップ S P 7において、 デコーダバッファ 1 8における現在のデータ占有量を計算した後、 ステップ S P 8に進む。
ステップ S P 8 において、 符号化制御回路 7 は、 ステップ S P 7 において計算 したデコーダバッファ 1 8におけるデータ占有量が符号化対象ビクチャに対応す るしきい値を下回っているか否かを判定し、 否定結果を得ると、 ステップ S P 9 に進む。 ステップ S P 9 において、 符号化制御回路 7は、 符号化対象ビクチャに ついて 1 フ レーム分符号化されたか否かを判定し、 否定結果を得るとステップ S P 6に戻って、 ステップ S P 6からステップ S P 9 までの処理ループを実行する 符号化制御回路 7 は、 ステップ S P 3 において符号化対象ビクチャをスキップ させると判定した場合にはステップ S P 1 0に進み、 先頭ァ ドレス情報及び最終 ァ ド レス情報を除いて当該符号化対象ビクチャをスキップさせ、 符号化対象ビク チヤが I ビクチヤの場合には D C成分のみのマク ブロックと して符号化させる 。 また符号化制御回路 7は、 ステップ S P 8においてデコーダバッファ 1 8にお けるデータ占有量が符号化対象ビクチャに対応するしきい値を下回った場合には 、 これ以降の符号化対象ビクチヤの画像データをマクロブ口ック単位でスキップ させる。
続いて符号化制御回路 7は、 ステップ S P 1 1 に進んで、 符号化対象ピクチャ について 1 フ レーム分の符号化が終了したか否かを判定する。
符号化制御回路 7はステップ S Ρ 1 1 において否定結果を得ると、 ステップ S Ρ 1 0に戻って、 ステップ S P 1 0及びステップ S P 1 1 の処理ループを実行し 、 否定結果を得るとステップ S Ρ 1 2に進む。 ステップ S Ρ 1 において、 符号 化制御回路 7は、 スキップしたビクチャに対して、 対応するスキップ判定フラグ をセッ ト した後、 ステップ S Ρ 2に戻り、 画像信号 S 1 を全て処理するまで上述 の動作を繰り返す。
以上の構成において、 この画像符号化装置 1 では、 可変長符号化回路 1 1 から の画像データの符号発生量に基づき、 Βビクチャを符号化しているときに、 デコ ーダバッファ 1 8におけるデータ占有量が第 3のしきい値を下回るような符号量 を有する画像データが発生した場合には、 当該符号化中の Βビクチャのこれ以降 の画像データがマクロブロック単位でスキップされるので、 デコ一ダバッファ 1 8において次の Ρ ビクチヤの画像データのための V Β Vバッファのデータ ώ有量 が確保される。
またこの画像符号化装置 1 では、 可変長符号化回路 1 1 からの画像データの符 号発生量に基づき、 Ρ ビクチャを符号化しているときに、 デコーダバッファ 1 8 におけるデータ占有量が第 2のしきい値を下回るような符号量を有する画像デー タが発生した場合には、 当該符号化中の Ρビクチャのこれ以降の画像データがマ ク πブ ϋック単位でスキップされるので、 デコーダバッファ 1 8において I ビク チヤの画像データのための V Β Vバッファのデータ占有虽が確保される。
また Ρ ビクチャがスキップされた場合には、 当該 Ρビクチャを予測画像とする Ρビクチャ及び Βビクチャが全てスキップされるので、 画質の劣化を防止するこ とができる。 さらにこの画像符号化装置 1 では、 可変長符号化回路 1 1 からの画像データの 符号発生量に基づき、 I ビクチヤを符号化しているときに、 デコーダバッファ 1 8におけるデータ占有量が第 1 のしきい値を下回るような符号量を有する画像デ —タが発生した場合には、 当該符号化中の 1 ビクチャのこれ以降の画像データが マクロブロック単位でスキップされるので、 デコーダバッファ 1 8 において次の
I ビクチヤの画像データのための V B Vバッファのデータ占有量が確保される。 また I ビクチャがスキップされた場合には、 次の I ビクチャの符号化時まで全 ての P ビクチャ及び Bビクチャがスキップされるので、 画質の劣化を防止するこ とができる。
従ってこの画像符号化装置 1 では、 画像を復号化する際の重要度が低い画像符 号化タイブのビクチャを優先的にスキップさせているので、 デコーダバッファ 1 8において、 次に重要度の高い画像符号化タイブのビクチヤのための V B Vバッ ファのデータ占有量を確保することができる。
またこの画像符号化装置 1 では、 画像を復号する際の重要度が低い画像符号化 タイプのビクチャを優先的にスキッブさせているので、 画像を復号する際の重要 度が高い画像符号化タィプのビクチャに対してスキップさせた分だけ目標符号発 生量を多く割り当てることができ、 画質の劣化を防止し得る。 この場合、 画像の 絵柄が複雑なときには特に有効である。
さらに符号化装置 1側で画像復号装置 1 3側の画像のフ リ ーズ状態を制御する ことができる。
以上の構成によれば、 V B Vバッファにおけるデータ占有量のしきい値として 、 Bビクチャ、 P ビクチャ及び I ビクチャにそれぞれ対応させて第 3のしきい値 、 第 2のしきい値及び第 1 のしきい値を設定すると共に、 第 3のしきい値、 第 2 のしきい値、 第 1 のしきい値の順にしきい値の値が大き く なるようにこれら第 3 、 第 2及び第 1 のしきい値の値を設定することにより、 画像を復号する際の重要 度の低い画像符号化タィプのビクチャを優先的にスキップさせる。
これにより、 V B Vバッファにおいて、 画像を復号化する際の重要度が高い画 像符号化タ イブのビクチャのデータ占有量を優先的に確保するこ とができ、 その 結果、 画質を劣化させずに V B Vバッフ ァにおけるア ンダフ 口 一の発生を確実に 防止することができる画像符号化装置を実現し得る。
なお上述の第 1 の実施の形態においては、 可変長符号化回路 1 1 における符号 化方式と してハフマン符号を用いた場合について述べたが、 本発明はこれに限ら ず、 可変長符号化回路 1 1 における符号化としてこの他種々の符号化方式を適用 し得る。
また上述の第 1 の実施の形態においては、 例えば 15個のフ レームをグループ - ォブ · ビクチャ （G O P ) としこれを 1 単位として処理するようにした場合につ いて述べたが、 本発明はこれに限らず、 G 0 Pを構成するフ レームの数と してこ の他種々の数で G 0 Pを構成してもよい。
さらに上述の第 1 の実施の形態においては、 各画像をフレーム単位で符号化し た場合について述べたが、 本発明はこれに限らず、 フィ ール ド単位、 又はフ レー 厶単位とフィールド単位を混在させて符号化するようにしてもよい。 すなわちノ ンィ ンタ レース走査方式に対応させ得るようにしてもよい。
さらに上述の第 1 の実施の形態においては、 符号化対象となる画像の画像符号 化タィプを判定する画像符号化タィブ判定手段として、 画像符号化並替え回路 3 及び符号化制御回路 7を用いた場合について述べたが、 本発明はこれに限らず、 画像符号化タィブ判定手段として、 この他種々の画像符号化タイブ判定手段を適 用し得る。
さらに上述の第 1 の実施の形態においては、 画像符号化タィブ判定手段の出力 に基づいて、 第 1 、 第 2又は第 3の画像を符号化する符号化手段として、 画像符 号化タィブ指定回路 2、 画像符号化順序並替え回路 3、 スキャンコ ンバータ 4 、 予測モー ド決定回路 5、 動きべク トル検出回路 6、 符号化制御回路 7、 演算回路 8 , D C T変換回路 9、 量子化回路 1 0、 可変長符号化回路 1 〗 、 逆量子化回路 1 2、 逆 D C T変換回路〗 4、 演算器 1 5 、 フ レームメ モ リ 1 6及び動き補償回 路 1 7を用いた場合について述べたが、 本発明はこれに限らず、 符号化手段とし てこの他種々の第 1 の符号化手段を適用し得る。
さらに上述の第 1 の実施の形態においては、 符号化された画像の符号発生量を 演算し、 当該演算結果に基づき、 画像復号装置のバッファにおける符号化された 画像のデータ占有量が、 第 1 、 第 2及び第 3の画像にそれぞれ対応させて設定さ れたデータ占有量の第 1 、 第 2及び第 3のしきい値のうち、 現在符号化されてい る第 1 、 第 2又は第 3の画像に対応する第 1 、 第 2又は第 3のしきい値を下回る ような符号発生量が発生した場合、 現在符号化されている第 1 、 第 2又は第 3の 画像に対する符号化処理を停止させるように、 符号化手段を制御する符号化制御 手段として、 符号化制御回路 7を用いた場合について述べたが、 本発明はこれに 限らず、 符号化制御手段としてこの他種々の符号化制御手段を適用し得る。 さらに上述の第 1 の実施の形態においては、 画像データを 3つの符号化タィプ 、 すなわち I ビクチャ、 P ビクチャ及び Bビクチャの画像に符号化するようにし たが、 本発明はこれに限らず、 3つの符号化タイブのうちから 2つの符号化タィ プ、 すなわち I ビクチャ及び Pビクチャ、 又は I ビクチャ及び Bビクチャを用い て画像を符号化するようにしても、 上述の第 1 の実施の形態と同様の効果を得る ことができる。
因に、 V B Vバッファにおけるデータ占有量のしきい値として、 I ビクチャに 対応する第 1 のしきい値を設定すると共に、 P ビクチャ又は Bビクチヤに対応す る第 2又は第 3のしきい値として第 1 のしきい値より大きい値のしきい値を設定 するようにしたことにより、 画像を復号化する際に I ビクチャより重要度の低い Pビクチャ又は Bビクチャを優先的にスキップさせることができる。
これにより、 V B Vバッファにおいて、 画像を復号化する際の重要度が高い画 像符号化タィブのビクチャのデータ占有量を優先的に確保することができ、 その 結果、 画質を劣化させずに V B Vバッファにおけるアンダフ口一の発生を確実に 防止することができる画像符号化装置を実現し得る。
(2) 第 2の実施の形態
図 8において、 画像符号化装置 2 5は、 入力画像信号 S 2 5をェンコーダ制御 部 2 6において圧縮符号化のための前処理等の処理をした後、 F I F O (先入れ 先出し） メ モ リ 2 7において出力データを所定時間だけ遅延する。 この F I F O メモリ ] 2の出力データは符号化手段と してのェンコーダ 2 8によって、 ビクチ ャごとに画像符号化タイブ、 すなわちビクチャタイプに応じた符号化方法によつ て圧縮符号化されて、 圧縮画像データ S 2 6 と して出力される。
エンコーダ 2 8 には動き検出回路 1 4 によってェンコ一ダ制御部 1 1 の出力デ —タに基づいて検出された動きべク トルが与えられ、 かく してエンコーダ 1 3か ら出力される発生ビッ ト量データ S 2 7 と、 ェンコ一ダ制御部 2 6から出力され るイ ン ト ラ A Cデータ S 2 8 と、 動き検出回路 3 0から出力される M E残差デ一 タ S 2 9 とに基づいて符号化制御部 3 1 によって制御される。
図 8に示す画像符号化装置 2 5は、 圧縮符号化する前の画像データの特徴に基 づいて発生符号量の制御を行うフィー ドフ才ヮ一 ド型のレー ト制御を行うように 構成されている。
ここで、 M E残差とは、 動き予測誤差をビクチャ全体について絶対値和あるい は自乗和したものであり、 M E残差データ S 2 9は、 M E残差を求めるためのデ —タである。
符号化制御部 3 1 は、 互いにバス 3 2を介して接続された C P U (中央処理装 置) 3 3 R O M ( read only memory) 3 4及び R A M ( randam access memory ) 3 5を有するコ ンビュータによって構成され、 C P U 3 3力 <、 R A M 3 5をヮ —キングェ リ ァとして、 R 0 M 3 4に格納されたプログラムを実行することによ つて、 符号化制御部 3 1 における各機能を実現する。 R 0M 3 4は、 本発明に係 る画像符号化制御用プ πグラムを記憶したものであり、 I C (集積回路） でも良 いし、 ハー ドディスク、 フロ ッピィディ スク等の磁気ディスクを記録媒体とする 記憶装置でも良いし、 C D (コ ンパク トディ スク） 一 R 0 M等の光ディ スクを記 録媒体とする記憶装置でも良いし、 その他の種類の記録媒体を用いる記憶装置で も良い。 いずれの場合にも、 I Cや種々の記録媒体は、 本発明にかかる画像符号 化制御用プログラムを記録した媒体に相当する。 ェンコ一ダ制御部 2 6 は、 図 9 に示すように、 入力画像信号 S 2 5を入力し、 符号化する順番に従ってビクチャ （ I ビクチャ、 P ビクチャ、 B ビクチャ） の順 番を並べ替える画像並べ替え回路 4 1 と、 この画像並べ替え回路 4 1 の出力デー タを入力し、 フ レーム構造かフ ィ ール ド構造かを判別し、 判別結果に応じた走査 変換及び 1 6 X 1 6画素のマクロブロック化を行う走査変換 ■ マクロブロック化 回路 4 2 と、 この走査変換 · マクロブロ ック化回路 4 2の出力データを入力し、 I ビクチャにおけるィ ン ト ラ A Cを算出し、 イ ン ト ラ A Cデータ S 2 8を符号化 制御部 3 1 に送ると共に、 走査変換 · マクロブロック化回路 4 2の出力データを F I F 0メ モ リ 2 7及び動き検出回路 3 0 に送るイ ン ト ラ A V演算回路 4 3 とを 有する。
ここで、 イ ン ト ラ A Cは、 ！ ビクチャにおいて、 8 X 8画素の D C T変換 （離 散コサイ ン変換） ブ Ώック内の各画素の画素値と D C T変換ブ αック内の画素値 の平均値との差分の絶対値の総和と して定義され、 絵柄の複雑さを表すものであ る。
エンコーダ 2 8 は、 減算回路 4 4 において、 F I F 〇メ モ リ 2 7の出力データ と予測画素データとの差分をと り、 この減算回路 4 4の出力データに対して、 D C Τ変換回路 4 5において D C Τ変換ブロック単位で D C Τ変換を行う ことによ り、 D C T変換係数を出力し、 この D C Τ変換回路 4 5の出力データを量子化回 路 4 6 によって量子化した後、 可変長符号化回路 4 7 によって可変長符号化する 。 この可変長符号化回路 4 7の出力データはバッファメ モ リ 4 8 によって一旦保 持され、 一定のビッ ト レー 卜のビッ トス ト リ ームからなる圧縮画像データ S 2 6 として出力される。
量子化回路 4 6の出力データは逆量子化回路 4 9 によって逆量子化され、 この 逆量子化回路 4 9の出力データに対して逆 D C Τ変換回路 5 0が逆 D C T変換を 行う。 この逆 D C T変換回路 5 0の出力データは加算回路 5 1 によって予測画像 データとを加算され、 この加算回路 5 1 の出力データを動き補償回路 5 2におい て保持し、 動き検出回路 1 4から送られる動きべク トルに応じて動き補償を行つ て予測画像データを減算回路 4 4及び加算回路 5 1 に出力する。
バッファメ モ リ 4 8は、 可変長符号化回路 4 7 より発生されるビッ ト量を表す 発生ビッ ト量データ S 2 7を符号化制御部 3 1 に送るようになつている。
動き検出回路 3 0は、 ェ ンコーダ制御部 2 6の出力データに基づいて、 圧縮符 号化の対象となるビクチャの注目マクロブロックと、 参照されるビクチャにおい て注目マク πブ^ック との間の画素値の差分の絶対値和又は自乗和が最小となる マクロブロックを探して、 動きべク トルを検出して動き補償回路 5 2に送る。 ま た、 動き検出回路 3 0は、 動きべク トルを求める際に、 最小となったマクロブ π ック間における画素値の差分の絶対値和又は自乗和を、 M E残差データ S 2 9 と して符号化制御部 3 1 に送る。
符号化制御部 3 1 は、 動き検出回路 3 0からの M E残差データ S 2 9をビクチ ャ全体について足し合わせた値である M E残差を M E残差計算郎 6 1 において算 出し、 この M E残差計算部 6 1 によって算出された M E残差とィ ン トラ A C演算 回路 4 3からのィ ン トラ A Cデータ S 2 8 とに基づいて、 符号化難易度計算郎 4 2によってビクチャの符号化の難易度を表す符号化難易度を算出する。 バッファ メモリ 4 8からの発生ビッ ト量データ S 2 7はこの第 2の実施の形態に係る画像 符号化装置 2 8によって圧縮符号化された画像データを伸張する画像復号化装置 における入力バッファに対応する仮想的なバッファである V B Vバッファのデ一 タ占有量を、 V B Vバッファ占有蠆計算部 6 2において算出する。 なお、 M E残 差は、 映像の動きの速さ及び絵柄の複雑さを表す。
符号化制御部 3 1 は、 さらに、 符号化難易度計算部 6 3によって算出された符 号化難易度と V B Vバッファ占有量計算部 6 2によって算出された V B Vバッフ ァの占有量とに基づいて目標符号量を決定すると共に、 V B Vバッファのア ンダ フ α—を防止するために画像に対する符号化処理を停止するスキップを行うか否 かの判定を行う目標符号量決定部 6 を有し、 ェ ンコーダ 2 8における発生符号 化量が目標符号量決定郎 6 によって決定された目標符号量となるように量子化 回路 4 6における量子化特性値に対応する量子化ィ ンデックスを量子化ィ ンデッ クス決定部 6 5において決定して量子化回路 4 6に送る。 かく して目標符号量決 定部 6 4 によってスキップを行う と判定された場合には、 スキップ制御部 6 6が 量子化回路 4 6及び可変長符号化回路 4 7を制御してスキップを行わせる。 こ こで、 符号化難易度について説明する。 符号化難易度は、 ビクチャの符号化 の難易度を表すものであるが、 これは、 同じ画質を保っために必要なデータ量の 比率と言い換えることができる。 符号化難易度を数値化する方法は種々考えられ るが、 この第 2の実施の形態では、 I ビクチャについてはイ ン ト ラ A Cを用いて 符号化難易度を求め、 P ビクチャ及び B ビクチャについては M E残差を用いて符 号化難易度を求める。 前述のように、 イ ン トラ A Cは絵柄の複雑さを表し、 M E 残差は映像の動きの速さ及び絵柄の複雑さを表し、 これらは符号化の難易度と強 い相関があるので、 イ ン ト ラ A Cや M E残差を変数とする一次関数等により、 ィ ン トラ A Cや M E残差から符号化難易度を算出することができる。
次に、 符号化難易度に基づいて V B Vバッファのアンダフ D —の危険度を判定 する方法について説明する。 すでに説明したように、 V B Vバッファのアンダフ 口一が発生するのは、 目標符号量に対して発生符号量が大き く上回るような場合 である。 このようなことは、 ビッ ト レー トに対して入力画像の符号化難易度が非 常に大きい場合に生じる。 そこで、 V B Vバッファのアンダフ口一の危険度を判 定するためのパラメ ータとしては、 ビッ ト レー トに対する符号化難易度の比率を 用いるのが適当である。 また、 さらに、 V B Vバッファのアンダフ口一の危険度 を判定するためには、 これから符号化する予定の数枚以内のビクチヤにおける、 上記ビッ ト レー トに対する符号化難易度の比率を見ることが重要である。 これは 、 符号化難易度は、 ビクチャタイプによって変動するからである。 そこで、 この 第 2の実施の形態では、 V B Vバッファのアンダフ口一の危険度を判定するため のパラメ ータとして、 次式によって定義されるパラメ ータ Xを用いる。
X =∑ D h / G …… ( 1 ) ここで、 D k はビクチャ kの符号化難易度を表し、 kはビクチャの符号化順を 表し、 次に符号化する予定のビクチャを k = l とする。 ∑は k = l から N ( Nは 1 G 0 P (グループ · ォブ · ピクチャ） 分のビクチャの枚数） までの総和を意味 する。 また、 Gは次式、
G = ( 〔ビッ ト レー ト〕 X N ) / 〔ビクチャレー ト〕 …… （ 2 ) によって定義される。
( 2 ) 式において、 〔ビッ ト レー ト〕 は、 通信回線の伝送容量や記録媒体の記 録容量に基づいて決められる 1秒当たりのデータ量 （ビッ ト量） を表し、 〔ビク チヤレー ト〕 は、 1秒当たりのビクチヤの枚数 （例えば N T S C圏では 3 0、 P A L圏では 2 5 ) である。 従って、 Gは、 N枚分のビクチャに対応する時間に割 り当てられるデータ量 （ビッ ト量） を表し、 Xは、 N枚分のビクチヤに対応する 時間に割り当てられるデータ量 （ビッ ト量） に対する N枚分のビクチャの符号化 難易度 D k の和の比率を表す。
なお、 必ずしも N枚分のビクチャを用いて Xを求める必要はなく、 Nより大き い数や小さい数の枚数分のビクチャを用いて Xを求めるようにしても良い。 ただ し、 Nよりもあまり大きい数をとるとアンダフ D—の危険度の判定が精度が落ち 、 Nよりもあまり小さい数をとるとパラメ ータ Xの変動が大き く なることに留窻 する必要がある。
次に、 第 2の実施の形態に係る画像符号化装置 2 5の動作について説明する。 入力画像信号 S 2 5は、 エンコーダ制御部 2 6に入力される。 エンコーダ制御部 2 6では、 まず、 画像並べ替え回路 4 1 によって、 符号化する順番に従ってビク チヤ （ I ビクチャ、 P ビクチャ、 Bビクチャ） の順番を並べ替え、 次に、 走査変 換 ' マク ロブロ ック化回路 4 2 によって、 フ レーム構造かフィールド構造かを判 別し、 判別結果に応じた走査変換及びマクロブ Dック化を行い、 次に、 I ビクチ ャの場合には、 イ ン ト ラ A C演算回路 4 3 によってイ ン ト ラ A Cを算出してィ ン ト ラ A Cデータ S 2 8を符号化制御部 3 1 に送る。 また、 走査変換、 マク ロブ α ック化回路 4 2の出力データは、 イ ン ト ラ A C演算回路 4 3 を経て、 F I F◦メ モ リ 2 7及び動き検出回路 3 0に送られる。
F I F ◦メ モ リ 2 7 は、 符号化難易度計算部 6 3 において、 符号化が終了した ビクチャに引き続く N枚分のピクチャの符号化難易度を算出するのに必要な時間 だけ、 入力した画像データを遅延して、 エ ンコーダ 2 8に出力する。 動き検出回 路 3 0は、 動きべク トルを検出して動き補償回路 5 2に送ると共に、 M E残差デ ータ S 2 9を M E残差計算部 6 1 に送る。
I ビクチャの場合には、 エ ンコーダ 2 8では、 減算回路 4 4において予測画像 データとの差分をとることなく、 F I F 0メモリ 2 7の出力データをそのまま D C T変換回路 4 5に入力して D C T変換を行い、 量子化回路 4 6によって D C T 変換係数を量子化し、 可変長符号化回路 4 7によって量子化回路 4 6の出力デー タを可変長符号化し、 バッファメモリ 4 8によって可変長符号化回路 4 7の出力 データを一旦保持し、 一定のビッ ト レー トのビッ トス ト リ ームからなる圧縮画像 データ S 2 6 として出力する。
また、 逆量子化回路 4 9によって量子化回路 4 6の出力データを逆量子化し、 逆 D C T変換回路 5 0によって逆量子化回路 4 9の出力データに対して逆 D C T 変換を行い、 逆 D C T変換回路 5 0の出力画像データを加算回路 5 1 を介して動 き補償回路 5 2に入力して保持させる。
Pビクチャの場合には、 エ ンコーダ 2 8では、 動き補償回路 5 2によって、 保 持している過去の I ビクチャ又は Pビクチャに対応する画像データと動き検出回 路 3 0からの動きべク トルとに基づいて予測画像データを生成し、 予測画像デー タを減算回路 4 4及び加算回路 5 1 に出力する。 また、 減算回路 4 4によって、 F I F◦メモリ 2 7の出力データと動き補償回路 5 2からの予測画像データとの 差分をと り、 D C T変換回路 4 5 によって D C T変換を行い、 量子化回路 4 6に よって D C T変換係数を量子化し、 可変長符号化回路 4 7によって量子化回路 4 6の出力データを可変長符号化し、 バッファメモリ 4 8によって可変長符号化回 路 4 7の出力データを一旦保持し圧縮画像データ S 2 6 として出力する。 また、 逆量子化回路 4 9 によって量子化回路 4 6の出力データを逆量子化し、 逆 D C T 変換回路 5 0 によって逆量子化回路 4 9の出力データに対して逆 D C T変換を行 い、 加算回路 5 1 によって逆 D C T変換回路 5 0の出力データ と予測画像データ とを加算し、 動き補償回路 5 2に入力して保持させる。
B ビクチャの場合には、 エンコーダ 2 8では、 動き補償回路 5 2によって、 保 持している過去及び未来の I ビクチャ又は P ビクチャに対応する 2つの画像デー タと動き検出回路 3 0からの 2つの動きべク トルとに基づいて予測画像データを 生成し、 予測画像データを減算回路 4 4及び加算回路 5 1 に出力する。 また、 減 算回路 4 4によって、 F I F 0メ モリ 2 7の出力データと動き補償回路 5 2から の予測画像デ一タとの差分をと り、 D C T変換回路 4 5によって D C T変換を行 い、 蠆子化回路 4 6 によって D C T変換係数を量子化し、 可変長符号化回路 4 7 によって量子化回路 4 6の出力データを可変長符号化し、 バッファメ モリ 4 8に よって可変長符号化回路 4 7の出力データを一旦保持し、 圧縮画像データ S 2 6 として出力する。 なお、 Bビクチャは動き補償回路 5 2に保持させない。
なお、 バッファメ モ リ 4 8は可変長符号化回路 4 7 より発生されるビッ ト量を 表す発生ビッ ト量データ S 2 7を符号化制御部 3 1 に送る。
次に、 図 1 0のフロ一チヤ一 卜を参照して、 符号化制御部 3 1 の動作について 説明する。 この動作では、 まず、 符号化難易度計算部 6 3 によって、 イ ン ト ラ A C演算回路 4 3からのイ ン ト ラ A Cデータ S 2 8 と M E残差計算部 6 1 で算出し た M E残差より、 符号化難易度を計算し、 パラメ ータ Xを求める （ステップ S P 2 1 ) 。 なお、 パラメ 一タ Xは、 今から符号化する予定のビクチャに引き続く N 枚分のビクチャの符号化難易度に基づいて算出される。
次に、 スキップフラグが " 1 " か否かを判断する （ステップ S P 2 2 ) 。 スヰ ッブフラダは、 " 1 " のとき、 今から符号化する予定のビクチャをスキップする ことを示し、 " 0 " のとき、 今から符号化する予定のビクチャをスキップしない ことを示す。 スキップフラグが " 0 " の場合 （ステップ S P 2 2 において否定結果が得られ た場合） には、 目標符号量決定部 6 4によって、 パラメ ータ Xと V B Vバッファ 占有量計算部 6 2 によって算出されている V B Vバッファの占有量とに基づいて 、 ビクチャ j の目標符号量を計算し （ステップ S P 2 3 ) 、 量子化ィ ンデックス 決定部 6 5 に送る。 なお、 ビクチャ j は、 今から符号化するピクチャを意味する 次に、 童子化ィ ンデック ス決定部 6 5によって、 エンコーダ 2 8における発生 符号量が目標符号量決定部 6 4によって決定された目標符号量となるように量子 化回路 4 6における量子化特定値に対応する量子化ィ ンデックスを決定し、 量子 化回路 4 6に送る。 これに応じて、 ビクチャ j の符号化が行われる （ステップ S P 2 4 ) o
一方、 スキップフラグ " 1 " の場合 （ステップ S P 2 2において肯定結果が得 られた場合） には、 目標符号量決定部 6 4 は、 ビクチャ j をスキップすることを スキップ制御部 6 6に指示し、 これに応じて、 スキップ制御部 6 6は、 前のフ レ —ムを表示するように処理する （ステップ S P 2 5 ) 。 すなわち、 スキップ制御 部 6 6は、 量子化回路 4 6を制御してマク口ブ口ック単位でスキップを行わせる と共に、 可変長符号化回路 4 7 に対してスキップするマクロブロックのア ド レス 情報を送る。 これに応じて、 可変長符号化回路 4 7は、 スキップするための情報 を符号化して出力する。 このようにして、 ビクチャ j は、 スキップされたマクロ ブロックであるスキップマクロブロ ックで構成されるビクチャとして符号化され る。
ステップ S P 2 4又はステップ S P 2 5が終了したら、 V B Vバッファ占有量 計算部 6 2 によって、 ステップ S P 2 4又はステップ S P 2 5による発生ビッ ト 量から V B Vバッファの占有璗 B j を計算する （ステップ S P 2 6 ) 。 なお、 V B Vバッファの占有量 B j は、 ビクチャ j の符号化前の V B Vバッファの占有量 からピクチャ i による発生ビッ ト量を引き、 1 ビクチャ間の時間に V B Vバッフ ァに蓄積されるビッ ト量を加算することによって得ることができる。 次に、 次の ビクチャのピクチャタ イ プを判定する （ステップ S P 2 7 ) 。 ビクチャタ イ プが Bビクチャの場合には、 V B Vバッファの占有璗 B」 が Bビクチヤに対する占有 量判定用しきい値丁 h (B) より小さいか否かを判別する （ステップ S P 2 8 ) 。 ビクチャタイプが P ビクチャの場合には、 V B Vバッファの占有量 B」 が P ビ クチャに対する占有量判定用しきい値 T h ( P ) より小さいか否かを判断する （ ステップ S P 2 9 ) 。 ビクチャタイ プが I ビクチャの場合には、 V B Vバッファ の占有量 Β」 が I ビクチャに対する占有量判定用しきい値 T h ( I ) より小さい か否かを判断する （ステップ S P 3 0 ) 。 なお、 占有量判定用しきい値は、 T h ( B ) > T h (P) >T h ( I ) となるように設定されている。
B J が T h (B) より小さ く ない場合 （ステップ S P 2 8において否定結果が 得られる場合） 、 B j が T h ( P) より小さく ない場合 （ステップ S P 2 9 にお いて否定結果が得られた場合） 又は B j が T h ( I ) より小さく ない場合 （ステ ッブ S P 3 0において否定結果が得られる場合） は、 次のビクチャをスキップす る必要がないので、 スキップフラグを " 0 " にする （ステップ S P 3 1 ) 。
が T h (B) より小さい場合 （ステップ S P 2 8において肯定結果が得ら れる場合） 、 B , が T h (P) より小さい場合 （ステップ S P 2 9において肯定 結果が得られた場合） 又は B j が T h ( I ) より小さい場合 （ステップ S P 3 0 において肯定結果が得られた場合） は、 パラメ ータ Xが所定の符号化難易度判定 用しきい値 T ( X ) を越えているか否かを判断する （ステップ S P 3 2 ) 。 な お、 しきい値 T h ( x ) は、 目標符号量に対して発生符号量が大き く上回ってし まうほど難しい絵柄か否かを判別するためのしきい値である。 Xが T h ( X ) を 越えていない場合 （N) は、 絵柄は今後さほど難しくないことを意妹し、 次のビ クチャをスキップする必要がないので、 スキップフラグを " 0 " にする （ステツ プ S P 3 1 ) 。 逆に、 Xが T h ( X ) を越えている場合 （肯定結果が得られる場 合） は、 今後も難しい絵柄が続く ことを意味するので、 この場合は V B Vバッフ ァのアンダフ 一の危険性が高いと判断して、 次のビクチャをスヰッブするため に、 スキップフラグを " ' にする （ステップ S P 3 3 ) 。 スキップフラグの設定 （ステップ S P 3 1 、 ステップ S P 3 3 ) が終了したら 、 次のビクチヤの処理のために、 J + 1 を新たな J と して （ステップ S P 3 4 ) 、 メ イ ンルーチンにリ ターンする （ステップ S P 3 5 ) 。
以上説明したように、 第 2の実施の形態に係る画像符号化装置 2 5によれば、 ピクチャタイプ別に V B Vバッファの占有置判定用しきい値を設定し、 Bビクチ ャ、 P ビクチャ、 I ビクチャの順に優先的にスキップするようにすると共に、 符 号化が終了したビクチャに引き続く数枚のビクチャの符号化難易度に基づいてス ヰッブを行うか否かを判定するようにしたので、 入力画像の絵柄が難しく なり、 V B Vバッファのアンダフ n—が発生しそうな場合に、 画質に対する影響の少な い Bビクチャを優先的にスキッブすると共に、 実際には V B Vバッファのアンダ フ 一が発生しないような場合にはビクチャのスキップを行わないようにするこ とができ、 画 Kに対する影饗を極力抑えながら、 V B Vバッファのアンダフ口一 を防止することができる。
なお、 本発明は、 上述の第 2の実施の形態に限定されず、 例えば、 符号化難易 度に基づいてスキップを行うか否かを判定する際に、 実施の形態で用いたパラメ ータ Xの他に、 符号化難易度が増加傾向にあるのか減少傾向にあるのかという変 化傾向の情報も加えて判定することで、 今後の入力画像の絵柄の難しさの予測精 度を更に向上させて、 スキップを行うか否かの判定をより適切に行う ことができ る。 すなわち、 例えば、 今は符号化難易度が大き くても符号化難易度が減少傾向 にある場合にはスキップを行わなく とも V B Vバッファのアンダフローが発生し ない場合もあるので、 このような場合にはスキップを行わないようにすることで スキップを極力少なくすることが可能となる。 なお、 符号化難易度の変化傾向の 情報は、 例えば、 時系列的に求まった符号化難易度を最小自乗法等により直線近 似し、 その傾きから求めることができる。 この場合、 符号化難易度の変化傾向の 情報は、 例えば、 図 9における符号化難易度計算部 6 3 において求める。
また、 上記第 2の実施の形態では、 図 8に示したように、 エンコーダ 2 8の他 に別のェンコーダを設けることなく、 圧縮符号化する前の画像データの特徴に基 づいて発生符号量の制御を行うフィー ト"フォヮ一 ド型のレー ト制御を行う構成と したが、 本発明は、 圧縮符号化後のデータ量を見積もるためにエ ンコーダ 2 8 と は別の 1 バス目のェンコ ーダを設けて、 この 1 バス目のェンコーダによって圧縮 符号化することによって見積もられたデータ量に基づいて 2 バス目のェ ンコーダ 2 8における発生符号量の制御を行うフィ ー ドフ才ヮー ド型のレー ト制御を行う 構成にも適用することができる。 この場合には、 1 バス目のエ ンコーダによって 圧縮符号化することによって得られた発生符号量に基づいて符号化難易度を求め ることが可能である。
更に、 本発明は、 フィ ー ドフォワー ド型のレー ト制御を行う構成に限らず、 既 に圧縮符号化したビクチャの符号化難易度に基づいて今後のビクチャの符号化難 易度を予測することで、 M P E G方式の圧縮アルゴリ ズムと して有名な T M 5 ( test mode l 5 : I S0/ I EC JTC/SC29 (1993) ) 等で代表されるような、 過去に圧縮符 号化して得られた発生符号量に基づいて発生符号量の制御を行うフィ ー ドバック 型のレー ト制御を行う構成にも適用することができる。 この場合、 例えば、 過去 に圧縮符号化したビクチャのグローバル ' コ ンプレキシティ （G l oba l Comp l ex y ) の傾向を分析し、 直線近似等によって今後の数枚分のビクチャの符号化難易 度を予測し、 この予測した符号化難易度に基づいて実施の形態で用いたパラメ一 タ Xの値を求め、 実施の形態と同様にパラメ —夕 Xの値に基づいてス牛ップを行 うか否かを判定するようにすれば良い。
なお、 グロ一バル · コ ンプレキシティ とは、 画面の複雑さを示すパラメ ータで あり、 符号化の難易度と相関があり、 具体的にはビクチャの圧縮符号化時の発生 符号量とビクチャの圧縮符号化時の平均量子化スケ一ルコ一ド （量子化特性値） との積と して求められる （例えば、 オーム社発行の 「テレビジョ ン学会マルチメ ディァ選書 M P E G」 の第 1 1 1 ベ一ジ参照） 。
また、 フィー ドフォワー ド型のレー ト制御を行う構成において直線近似等によ つて符号化難易度の変化傾向を求める場合や、 フィ ー ドバック型のレー ト制御を 行う構成において直線近似等によって今後の数枚分のビクチャの符号化難易度を 予測する場合において、 シー ンチヱンジ時には符号化難易度の連続性がなく なる ので、 シー ンチェ ンジ時には、 符号化難易度の変化傾向を求める処理や符号化難 易度を予測する処理をシーンチェ ンジ前までで完結させ、 シーンチヱンジ後に新 たに処理を行うようにすれば、 より精度が向上する。
また、 符号化難易度は、 実施の形態で挙げたィ ン トラ A Cや M E残差等を用い たものに限らず、 ビクチャの符号化の難易度を表すものであれば、 他のパラメ一 タでも良い。
また、 上記第 2の実施の形態では、 ビクチャタイプ別に V B Vバッフ ァの占有 量判定用しきい値を変えているが、 本発明は V B Vバッファの占有量判定用しき い値がビクチヤタイプによらずに一定である場合も含む。 産業上の利用可能性
本発明は、 送信側で画像データを圧縮して送信すると共に、 受信側で圧縮され た画像データを伸張する通信システムや、 画像データを圧縮して記録すると共に 、 再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生装置等 に利用できる。

Claims

請 求 の 範 囲
1. 画像信号のうち第 1 の画像符号化タィプに指定された所定映像単位の第 1 の 画像をィ ン ト ラ符号化する処理を第 1 の符号化処理として実行し、 上記画像信号 のうち第 2の画像符号化タィプに指定された所定映像単位の第 2の画像を順方向 予測符号化する処理を第 2の符号化処理として実行し、 上記画像信号のうち第 3 の画像符号化タィプに指定された所定映像単位の第 3の画像を双方向予測符号化 する処理を第 3の符号化処理として実行し、 当該符号化された画像信号を画像復 号化装置に伝送する画像符号化装置において、
符号化対象となる画像の画像符号化タイブを判定する画像符号化タィブ判定手 段と、
上記画像符号化タイプ判定手段の出力に基づいて、 上記第 1 、 第 2又は第 3の 符号化処理を実行する符号化手段と、
上記符号化処理された画像の符号発生量を演算し、 当該演算結果に基づいて、 上記画像復号化装置の入カバッフ ァに対応する仮想的なバッファにおけるデータ 占有量が、 上記第 1 、 第 2及び第 3の符号化処理をされた画像にそれぞれ対応さ せて設定された上記データ占有量の第 1 、 第 2及び第 3のしきい値のうち、 現在 符号化処理が実行されている上記第 1 、 第 2又は第 3の画像に対応する上記第 1 、 第 2又は第 3のしきい値を下回るような上記符号発生量が発生した場合、 上記 現在実行されている上記第 1 、 第 2又は第 3の符号化処理を停止させるように、 上記符号化手段を制御する符号化制御手段と
を具えることを特徴とする画像符号化装置。
2. 上記第 1 のしきい値、 上記第 2のしきい値及び上記第 3のしきい値の値は、 上記第 1 のしきい値、 上記第 2のしきい値、 上記第 3のしきい値の順に高く なる ように設定されている
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
3. 上記符号化制御手段は、 上記符号化手段の出力に基づいて、 上記符号化対象となる画像の予測画像が符 号化されていなかつたと判定した場合には、 上記予測画像を用いて復号化される 全ての上記画像に対する上記符号化処理を停止させるように、 上記符号化手段を 制御する
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
4. 画像信号のうち第 1 の画像符号化タィプに指定された所定映像単位の第 1 の 画像をィ ン トラ符号化する処理を第 1 の符号化処理として実行し、 上記画像信号 のうち第 2の画像符号化タイプに指定された所定映像単位の第 2の画像を順方向 予測符号化する処理を第 2の符号化処理と して実行し、 画像信号のうち第 3の画 像符号化タィブに指定された所定映像単位の第 3の画像を双方向予測符号化する 処理を第 3の符号化処理として実行し、 当該符号化された画像信号を画像復号化 装置に伝送する画像符号化方法において、
上記符号化された画像の符号発生量を演算する符号発生量演算ステップと、 上記符号発生量演算ステップの演算結果に基づいて、 上記画像復号化装匱の入 力バッファに対応する仮想的なバッファにおけるデータ占有量が、 上記第 1 、 第 2及び第 3の符号化処理をされた画像にそれぞれ対応させて設定された上記デー タ占有量の第 1 、 第 2及び第 3のしきい値のうち、 現在符号化処理が実行されて いる上記第 1 、 第 2又は第 3の画像に対応する上記第 1 、 第 2又は第 3のしきい 値を下回るような上記符号発生量が発生した場合、 上記現在実行されている上記 第 1 、 第 2又は第 3の符号化処理を停止させる
ことを特徴とする画像符号化方法。
5. 上記第 1 のしきい値、 上記第 2のしきい値及び上記第 3のしきい値の値は、 上記第 1 のしきい値、 上記第 2のしきい値、 上記第 3のしきい値の順に高く なる ように設定されている
ことを特徴とする請求の範囲第 4項に記載の画像符号化方法。
6. 上記符号化対象となる画像の予測画像に対して上記符号化がなされていなか つた場合には、 上記予測画像を用いて復号化される全ての上記画像に対する上記 符号化処理を停止させる
ことを特徴とする請求の範囲第 4項に記載の画像符号化方法。
7. 画像信号のうち第 1 の画像符号化タィブに指定された所定映像単位の第 1 の 画像をィ ン ト ラ符号化する処理を第 1 の符号化処理として実行すると共に、 上記 画像信号のうち第 2の画像符号化タィプに指定された所定映像単位の第 2の画像 を順方向予測符号化する処理と、 上記画像信号のうち第 3の画像符号化タィプに 指定された所定映像単位の第 3の画像を双方向予測符号化する処理とのいずれか を第 2の符号化処理として実行し、 当該符号化された画像信号を画像復号化装置 に伝送する画像符号化装置において、
符号化対象となる画像の画像符号化タィブを判定する画像符号化タィプ判定手 段と、
上記画像符号化タィブ判定手段の出力に基づいて、 上記第 1又は第 2の符号化 処理を実行する符号化手段と、
上記符号化処理された画像の符号発生量を演算し、 当該演算結果に基づいて、 上記画像復号化装置の入カバッファに対応する仮想的なバッファにおけるデ一夕 占有量が、 上記第 1及び第 2の符号化処理をされた画像にそれぞれ対応させて設 定された上記データ占有量の第 1及び第 2のしきい値のうち、 現在符号化処理が 実行されている上記第 1 又は第 2の画像に対応する上記第 1 又は第 2のしきい値 を下回るような上記符号発生量が発生した場合、 上記現在実行されている上記第 1又は第 2の符号化処理を停止させるように、 上記符号化手段を制御する符号化 制御^:と
を具えることを特徴とする画像符号化装置。
8. 上記第 1 のしきい値及び上記第 2のしきい値の値は、 上記第 1 のしきい値、 上記第 2のしきい値の順に高く なるように設定されている
ことを特徴とする請求の範囲第 7項に記載の画像符号化装置。
9. 上記符号化制御手段は、
上記符号化手段の出力に基づいて、 上記符号化対象となる画像の予測画像が符 号化されていなかつたと判定した場合には、 上記予測画像を用いて復号化される 全ての上記画像に対する上記符号化処理を停止させるように、 上記符号化手段を 制御する
ことを特徴とする請求の範囲第 7項に記載の画像符号化装置。
10. 画像信号のうち第 i の画像符号化タィプに指定された所定映像単位の第 1 の 画像をイ ン ト ラ符号化する処理を第 1 の符号化処理として実行すると共に、 上記 画像信号のうち第 2の画像符号化タィプに指定された所定映像単位の第 2の画像 を順方向予測符号化する処理と、 画像信号のうち第 3の画像符号化タィプに指定 された所定映像単位の第 3の画像を双方向予測符号化する処理とのいずれかを第 2の符号化処理として実行し、 当該符号化された上記画像信号を画像復号化装置 に伝送する画像符号化方法において、
上記符号化された画像の符号発生量を演算する符号発生量演算ステップと、 上記符号発生量演算ステップの演算結果に基づいて、 上記画像復号化装置の入 力バッファに対応する仮想的なバッファにおけるデータ占有量が、 上記第 1及び 第 2の符号化処理をされた画像にそれぞれ対応させて設定された上記データ占有 量の第 1及び第 2のしきい値のうち、 現在符号化処理が実行されている上記第 1 又は第 2の画像に対応する上記第 1 又は第 2のしきい値を下回るような上記符号 発生量が発生した場合、 上記現在実行されている上記第 1 又は第 2の符号化処理 を停止させる
ことを特徴とする画像符号化方法。
1 1. 上記第 1 のしきい値及び上記第 2のしきい値の値は、 上記第 1 のしきい値、 上記第 2のしきい値の順に高く なるように設定されている
ことを特徴とする請求の範囲第 1 0項に記載の画像符号化方法。
12. 上記符号化対象となる画像の予測画像に対して上記符号化がなされていなか つた場合には、 上記予測画像を用いて復号化される全ての上記画像に対する上記 符号化処理を停止させる
ことを特徴とする請求の範囲第 1 0項に記載の画像符号化方法。
13. 入力画像データを画像ごとに画像符号化タィブに応じた符号化方法によって 圧縮符号化する符号化手段と、
上記符号化手段によって 1枚の画像の符号化処理が終了したときに、 上記符号 化手段によって圧縮符号化された画像データを伸張する画像復号化装置における 入力バッファに対応する仮想的なバッファのデータ占有量を算出する占有量算出 手段と、
上記符号化手段によって符号化処理が終了した画像に続く画像の符号化の難易 度を表す符号化難易度を算出する符号化難易度算出手段と、
上記符号化手段によって 1枚の画像の符号化が終了したときに、 上記占有量算 出手段によって算出されたデータ占有量が所定のデータ占有量判定用しきい値を 下回り、 かつ上記符号化難易度算出手段によって算出される符号化難易度が所定 の基準に適合する場合に、 次に符号化処理する予定の画像をスキップマク πブ α ックで構成される画像として符号化処理する画像スキップ制御手段と
を具えたことを特徴とする画像符号化装置。
14. 上記符号化難易度算出手段は、 上記符号化手段によって符号化処理する前の 画像データに基づいて符号化難易度を算出することを特徴とする請求の範囲第 1 3項に記載の画像符号化装置。
15. 上記画像スキップ制御手段は、 画像符号化タイ プごとに異なるデータ占有量 判定用しきい値を設定することを特徴とする請求の範囲第 1 3項に記載の画像符 号化装置。
16. 上記画像スキップ制御手段は、 所定の枚数分の画像の符号化難易度の和を所 定の枚数分の画像に対応する時間に割り当てられるデータ量で除算して得られる 値が、 所定の符号化難易度判定用しきい値よりも大きい場合に、 符号化難易度が 所定の基準に適合すると判断することを特徴とする請求の範囲第 1 3項に記載の 画像符号化装置。
17. 入力画像データを画像ごとに画像符号化タィプに応じた符号化方法によって 圧縮符号化する符号化手段を有する画像符号化装置における上記符号化手段を制 御する画像符号化制御方法であって、
上記符号化手段によって 1枚の画像の符号化処理が終了したときに、 圧縮符号 化された画像データを伸張する画像復号化装置における入力バッファに対応する 仮想的なバッファのデータ占有量を算出する占有量算出手順と、
上記符号化手段によって符号化処理が終了した画像に続く画像の符号化の難易 度を表す符号化難易度を算出する符号化難易度算出手段と、
上記符号化手段によって 1枚の画像の符号化処理が終了したときに、 上記 ώ有 量算出手順によって算出されるデータ占有量が所定のデータ占有量判定用しきい 値を下回り、 かつ上記符号化難易度算出手順によって算出される符号化難易度が 所定の基準に適合する場合に、 上記符号化手段において次に符号化処理する予定 の画像をスキップマクロブ口ックで構成される画像として符号化処理する画像ス キップ制御手順と
を具えたことを特徼とする画像符号化制御方法。
18. 上記符号化難易度算出手順は、 上記符号化手段によって符号化する前の画像 データに基づいて符号化難易度を算出することを特徴とする請求の範囲第 1 7項 に記載の画像符号化制御方法。
19. 上記画像スキップ制御手順は、 画像符号化タイプごとに異なるデータ占有量 判定用しきい値を設定することを特徴とする請求の範囲第 1 7項に記載の画像符 号化制御方法。
20. 上記画像スキップ制御手順は、 所定の枚数分の画像の符号化難易度の和を所 定の枚数分の画像に対応する時間に割り当てられるデータ量で除算して得られる 値が、 所定の符号化難易度判定用しきい値よりも大きい場合に、 符号化難易度が 所定の基準に適合すると判断することを特徴とする請求の範囲第 1 7項に記載の 画像符号化制御方法。
21. 入力画像データを画像ごとに画像符号化タィプに応じた符号化方法によって 圧縮符号化する符号化手段を有する画像符号化装置における上記符号化手段を、 コ ンビュータによって制御するための画像符号化制御用プログラムを記録した媒 体であって、
上記符号化手段によって 1枚の画像の符号化処理が終了したときに、 圧縮符号 化された画像データを伸張する画像復号化装置における入力バッファに対応する 仮想的なバッファのデータ占有量を算出する占有量算出手順と、
上記符号化手段によって符号化処理が終了した画像に続く画像の符号化の難易 度を表す符号化難易度を算出する符号化難易度算出手順と、
上記符号化手段によって 1 枚の画像の符号化処理が終了したときに、 上記占有 量算出手順によって算出されるデータ占有量が所定のデータ ώ有量判定用しきい 値を下回り、 かつ上記符号化難易度算出手順によって算出される符号化難易度が 所定の基準に適合する場合に、 上記符号化手段において次に符号化処理する予定 の画像をスキッブマク ϋブロックで構成される画像と して符号化する画像スキッ ブ制御手順と
をコ ン ピュータに実行させるための画像符号化制御用プログラムを記録した媒 体。
22. 上記符号化難易度算出手順は、 上記符号化手段によって符号化する前の画像 データに基づいて符号化難易度を算出することを特徴とする請求の範囲第 2 1 項 に記載の画像符号化制御用ブ αグラムを記録した媒体。
23. 上記画像スキップ制御手順は、 画像符号化タ イプごとに異なるデータ占有量 判定用しきい値を設定することを特徴とする請求の範囲第 2 1項に記載の画像符 号化制御用プ口グラムを記録した媒体。
24. 上記画像スキップ制御手順は、 所定の枚数分の画像の符号化難易度の和を所 定の枚数分の画像に対応する時間に割り当てられるデータ量で除算して得られる 値が、 所定の符号化難易度判定用しきい値よりも大きい場合に、 符号化難易度が 所定の基準に適合すると判断することを特徴とする請求の範囲第 2 1 項に記載の 画像符号化制御用プ1 ρグラムを記録した媒体。
PCT/JP1997/001266 1996-04-12 1997-04-11 Image encoder, image encoding method and medium on which image encoding program is recorded WO1997039588A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP53694297A JP3952509B2 (ja) 1996-04-12 1997-04-11 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した媒体
EP97915713A EP0836329A4 (en) 1996-04-12 1997-04-11 IMAGE ENCODER, IMAGE ENCODING METHOD AND RECORDING MEDIUM FOR IMAGE ENCODING PROGRAM
US08/988,550 US6347117B1 (en) 1996-04-12 1997-12-10 Apparatus and method for encoding images and medium in which image encoding program has been recorded
US09/963,075 US6535556B1 (en) 1996-04-12 2001-09-24 Apparatus and method for encoding images and medium in which image encoding program has been recorded

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP11570996 1996-04-12
JP8/115709 1996-04-12
JP25972996 1996-09-30
JP8/259729 1996-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US08/988,550 Continuation US6347117B1 (en) 1996-04-12 1997-12-10 Apparatus and method for encoding images and medium in which image encoding program has been recorded

Publications (1)

Publication Number Publication Date
WO1997039588A1 true WO1997039588A1 (en) 1997-10-23

Family

ID=26454175

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/001266 WO1997039588A1 (en) 1996-04-12 1997-04-11 Image encoder, image encoding method and medium on which image encoding program is recorded

Country Status (7)

Country Link
US (2) US6347117B1 (ja)
EP (2) EP1677546B1 (ja)
JP (1) JP3952509B2 (ja)
KR (1) KR100495716B1 (ja)
CN (1) CN1116768C (ja)
DE (1) DE69738878D1 (ja)
WO (1) WO1997039588A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080004A (ja) * 2003-09-01 2005-03-24 Sony Corp 動画像符号化装置
US6888967B2 (en) 1999-03-12 2005-05-03 Victor Company Of Japan, Limited Data coding method and apparatus therefor
JP2009159599A (ja) * 2007-12-06 2009-07-16 Canon Inc 動画像符号化装置及び動画像符号化方法
US8295347B2 (en) 2004-08-25 2012-10-23 Sony Corporation Information processing apparatus and information processing method, recording medium, and program
JP2014135741A (ja) * 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3588970B2 (ja) 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
WO1999038262A1 (en) * 1998-01-21 1999-07-29 Matsushita Electric Industrial Co., Ltd. Variable-length encoder
GB2333657B (en) * 1998-01-22 2002-08-21 Snell & Wilcox Ltd Video signal compression
WO1999066725A1 (en) 1998-06-16 1999-12-23 United Video Properties, Inc. Interactive television program guide with simultaneous watch and record capabilities
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
JP4053668B2 (ja) * 1998-09-16 2008-02-27 パイオニア株式会社 情報記録装置及び情報記録方法
GB2346282B (en) 1999-01-28 2003-02-19 Snell & Wilcox Ltd Bit rate control in compression encoding
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
CN1159916C (zh) * 1999-06-22 2004-07-28 日本胜利株式会社 活动图象编码装置及其方法
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
JP2001148858A (ja) * 1999-11-18 2001-05-29 Sony Corp 画像情報変換装置及び画像情報変換方法
KR100585647B1 (ko) * 1999-12-30 2006-06-07 엘지전자 주식회사 엠펙 비디오 디코더에서의 매크로 블록 애더 제어 방법
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
GB0013273D0 (en) * 2000-06-01 2000-07-26 Philips Electronics Nv Video signal encoding and buffer management
KR100345447B1 (ko) * 2000-09-27 2002-07-26 한국전자통신연구원 스트리밍 서비스를 위한 가변 비트율 처리 방법
US20040105492A1 (en) * 2001-01-22 2004-06-03 Goh Kwong Huang Method and apparatus for video buffer verifier underflow and overflow control
JP3641214B2 (ja) 2001-02-28 2005-04-20 株式会社東芝 動画像符号化装置および動画像符号化方法
US7054362B1 (en) 2001-05-29 2006-05-30 Cisco Technology, Inc. Methods and apparatus for updating a reduction ratio
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR100475412B1 (ko) * 2002-03-11 2005-03-10 주식회사 럭스퍼트 상부 펌핑방식의 광소자
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7046729B2 (en) * 2002-08-27 2006-05-16 Ess Technology, Inc. Bit rate control for motion compensated video compression system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
JP4179917B2 (ja) * 2003-04-22 2008-11-12 株式会社東芝 動画像符号化装置及び方法
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
CN1312930C (zh) * 2003-12-03 2007-04-25 明基电通股份有限公司 传输视频的方法及装置
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
JP4492484B2 (ja) 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8842660B2 (en) * 2006-03-31 2014-09-23 Microsoft Corporation VoIP variable metadata
BR112012028184A2 (pt) 2010-05-07 2016-08-02 Nippon Telegraph & Telephone método de controle de codificação de vídeo, aparelho de codificação de vídeo e programa de codificação de vídeo
JP5879555B2 (ja) * 2010-05-10 2016-03-08 パナソニックＩｐマネジメント株式会社 動画像符号化装置
US9979970B2 (en) * 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
US9942552B2 (en) 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
JP2017055275A (ja) 2015-09-10 2017-03-16 株式会社東芝 復号装置、及び映像伝送システム
MX2018010460A (es) * 2016-03-09 2019-01-14 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
US11729801B2 (en) * 2019-08-16 2023-08-15 Qualcomm Incorporated Dynamic HARQ-ACK codebook construction for multiple active semi-persistent scheduling configurations

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04337990A (ja) * 1991-05-15 1992-11-25 Fujitsu Ltd 画像復号化システム
JPH0514876A (ja) * 1991-07-05 1993-01-22 Hitachi Ltd 動画像符号化方式
JPH05111012A (ja) * 1991-10-17 1993-04-30 Toshiba Corp 動画像符号化装置
JPH05260459A (ja) * 1991-11-15 1993-10-08 Televerket イメージコーディングのための方法及び装置
JPH0630396A (ja) * 1992-07-10 1994-02-04 Victor Co Of Japan Ltd 動画像符号化復号化装置
WO1994024822A1 (en) * 1993-04-09 1994-10-27 Sony Corporation Method and apparatus for coding image, and image recording medium
JPH07226935A (ja) * 1994-02-14 1995-08-22 Mitsubishi Electric Corp 画像情報圧縮装置
JPH08331560A (ja) * 1994-11-30 1996-12-13 Sanyo Electric Co Ltd デコーダおよびｍｐｅｇビデオデコーダ
JPH09139912A (ja) * 1995-11-15 1997-05-27 Toshiba Corp 符号化データ編集装置とデータ復号装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5255090A (en) * 1991-11-19 1993-10-19 Scientific-Atlanta, Inc. Progressive transmission of vector quantized data
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
DE4343450A1 (de) * 1993-12-20 1995-06-22 Philips Patentverwaltung Coder zur segmentweisen Codierung eines Eingangssignals
US5754241A (en) 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
JP3203169B2 (ja) 1994-11-18 2001-08-27 三洋電機株式会社 Ｍｐｅｇビデオデコーダ
US5619341A (en) * 1995-02-23 1997-04-08 Motorola, Inc. Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
JPH10285548A (ja) * 1997-04-03 1998-10-23 Sony Corp 符号化装置及び方法、復号装置及び方法、編集方法
KR100239422B1 (ko) * 1997-10-28 2000-01-15 김영환 반도체 소자 및 제조 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04337990A (ja) * 1991-05-15 1992-11-25 Fujitsu Ltd 画像復号化システム
JPH0514876A (ja) * 1991-07-05 1993-01-22 Hitachi Ltd 動画像符号化方式
JPH05111012A (ja) * 1991-10-17 1993-04-30 Toshiba Corp 動画像符号化装置
JPH05260459A (ja) * 1991-11-15 1993-10-08 Televerket イメージコーディングのための方法及び装置
JPH0630396A (ja) * 1992-07-10 1994-02-04 Victor Co Of Japan Ltd 動画像符号化復号化装置
WO1994024822A1 (en) * 1993-04-09 1994-10-27 Sony Corporation Method and apparatus for coding image, and image recording medium
JPH07226935A (ja) * 1994-02-14 1995-08-22 Mitsubishi Electric Corp 画像情報圧縮装置
JPH08331560A (ja) * 1994-11-30 1996-12-13 Sanyo Electric Co Ltd デコーダおよびｍｐｅｇビデオデコーダ
JPH09139912A (ja) * 1995-11-15 1997-05-27 Toshiba Corp 符号化データ編集装置とデータ復号装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROSHI YASUDA, YUU WATANABE, "Fundamental of Digital Image Compression (in Japanese)", NIKKEI BP SHUPPAN CENTER, (20-01-96), p. 189-200. *
See also references of EP0836329A4 *
THE JOURNAL OF THE INST. OF TELEVISION ENGINEERS OF JAPAN, Vol. 49, No. 4, April 1995 (Tokyo), TOSHINORI ODAKA, "3-2-5 Rate Control and Buffer Control (in Japanese)", p. 455-458. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6888967B2 (en) 1999-03-12 2005-05-03 Victor Company Of Japan, Limited Data coding method and apparatus therefor
JP2005080004A (ja) * 2003-09-01 2005-03-24 Sony Corp 動画像符号化装置
US8295347B2 (en) 2004-08-25 2012-10-23 Sony Corporation Information processing apparatus and information processing method, recording medium, and program
JP2009159599A (ja) * 2007-12-06 2009-07-16 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2014135741A (ja) * 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置

Also Published As

Publication number Publication date
DE69738878D1 (de) 2008-09-11
EP0836329A1 (en) 1998-04-15
US6347117B1 (en) 2002-02-12
CN1116768C (zh) 2003-07-30
EP1677546A1 (en) 2006-07-05
KR100495716B1 (ko) 2005-11-25
KR19990022849A (ko) 1999-03-25
EP1677546B1 (en) 2008-07-30
US6535556B1 (en) 2003-03-18
CN1188582A (zh) 1998-07-22
JP3952509B2 (ja) 2007-08-01
EP0836329A4 (en) 2002-09-04

Similar Documents

Publication Publication Date Title
WO1997039588A1 (en) Image encoder, image encoding method and medium on which image encoding program is recorded
US6937771B2 (en) Image coding apparatus
WO1998026602A1 (en) Equipment and method for compressing picture data
JP2002051343A (ja) 画像信号符号化方法および画像信号符号化装置
JPH09214962A (ja) バッファ空／充填ルックアヘッド・ビット・アロケータを有する動画ビデオ圧縮システム
US7424162B2 (en) Image compression system with coding quantity control
JP4706104B2 (ja) 画像符号化装置及びその方法
JP4795223B2 (ja) 画像処理装置
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
JP4345024B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体
KR100950525B1 (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
JP4114210B2 (ja) 映像データ圧縮装置およびその方法
JP3487205B2 (ja) 画像データ編集装置
JP4032446B2 (ja) 映像データ圧縮装置およびその方法
KR19990082486A (ko) 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
WO2000064187A1 (en) Image encoding device and its method
JP2002199408A (ja) 動画像符号化方法および動画像符号化装置
JPH114444A (ja) 画像符号化装置および方法
JPH114445A (ja) 画像符号化装置および方法
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JPH1174799A (ja) 可変長符号化データの処理方法及びバッファ制御装置
JPH11205803A (ja) 符号化装置及び符号化方法
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
JP3852442B2 (ja) データ符号化方法及び装置
JP2001157210A (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97190337.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1997915713

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019970709318

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997915713

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019970709318

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019970709318

Country of ref document: KR