WO2005115008A1 - 動画像符号化装置 - Google Patents

動画像符号化装置 Download PDF

Info

Publication number
WO2005115008A1
WO2005115008A1 PCT/JP2005/000645 JP2005000645W WO2005115008A1 WO 2005115008 A1 WO2005115008 A1 WO 2005115008A1 JP 2005000645 W JP2005000645 W JP 2005000645W WO 2005115008 A1 WO2005115008 A1 WO 2005115008A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
encoding
code amount
skip
inter
Prior art date
Application number
PCT/JP2005/000645
Other languages
English (en)
French (fr)
Inventor
Naoyuki Fujiyama
Yoshiko Hatano
Junji Sukeno
Junko Shinohara
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Publication of WO2005115008A1 publication Critical patent/WO2005115008A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to video coding, and relates to a video coding device for performing video coding using a video coding system represented by ITU-T Recommendation H. 26x, ISOZIEC standard MPEG, and the like.
  • the present invention relates to a moving image coding method, and particularly to a device mounted on a mobile phone or the like.
  • MPEG-4 will be described as an example.
  • a moving picture coding method represented by MPEG-4 compresses data using a spatial and temporal correlation with respect to an input image signal. Then, based on the data obtained by the spatial compression and the temporal compression, variable-length coding is further performed in a predetermined order to generate a bit stream.
  • the entire displayed image (synthesized image) is composed of images (objects) of a plurality of image sequences, so the screen at each display time of each image sequence is displayed as a video object.
  • 'It is called a plane and is distinguished from frames in MPEG-1 and MPEG-2.
  • the entire display image is composed of one image sequence image
  • the video 'object' plane and the frame match hereinafter, the entire display image is composed of one image sequence image).
  • the video 'object' plane is referred to as a 'frame'.
  • a frame has a luminance signal and a color difference signal, and is composed of a plurality of macroblock cards.
  • a macroblock is composed of 16 pixels each in the vertical and horizontal directions with respect to the luminance signal.
  • the amount of information is compressed by a method such as spatial compression and temporal compression in macroblock units. .
  • DCT discrete cosine transform
  • intra-frame coding Spatial intra-screen coding
  • inter-screen coding inter-screen coding
  • a moving picture coding apparatus must output a bit stream having a specified code amount according to a predetermined coding parameter.
  • a VBV buffer is provided on the encoding device side so that overflow and underflow do not occur in the buffer (virtual buffer verifier, hereinafter referred to as “VBV buffer”) on the decoding device side that receives the bit stream.
  • the amount of generated code must be controlled by assuming the occupation amount.
  • the amount of generated code is controlled by a quantization parameter that is set for each macroblock that constitutes a frame and that is used to quantize a DCT coefficient. Therefore, the control of the generated code amount is performed on a frame basis. Generally, when the quantization parameter is increased, the generated code amount is reduced, and when the quantization parameter is reduced, the generated code amount is increased. In other words, the generated code amount and the quantization parameter are in inverse proportion. It is possible to change the amount of generated code using this property.
  • the range that the quantization parameter can take is limited, it may be difficult to control the generated code amount to an appropriate amount using only the quantization parameter. Therefore, when the generated code amount is larger than the target value, the encoding process is not performed rather than performing the encoding process for all the frames. That is, a frame skip that skips the encoding process is created. If the generated code amount is smaller than the target value while suppressing the generated code amount, redundant bits are inserted into the bit stream to increase the generated code amount! ] Is performed.
  • Patent Document 1 A technique for skipping the encoding process of some frames and suppressing the generated code amount as described above is described in Patent Document 1, for example.
  • Patent Document 1 JP-A-2002-262297 (Pages 4-7, FIG. 3)
  • Patent Document 2 JP-A-6-54319 (Pages 4-5, Fig. 2) Disclosure of the invention
  • Patent Document 1 when the number of skipped frames exceeds a predetermined value, intra-frame encoding processing is performed in the immediately subsequent frame to suppress deterioration in image quality.
  • the above-mentioned problems cannot be solved because the frame is skipped and the force is adjusted.
  • frame skip does not occur and a change between frames is large, normal encoding processing is performed, and thus image quality may deteriorate.
  • Patent Document 2 when it is detected that the correlation between frames is low, a large amount of code is added to the image immediately after that, and the deterioration of the image is prevented by performing intra-frame coding. The sign is being processed. However, when many frame changes are detected in consecutive frames, the code amount is increased continuously, and there is a problem that an appropriate code amount cannot be allocated as a whole.
  • the present invention solves the above-mentioned problems, and an object of the present invention is to appropriately allocate a code amount and skip code conversion for a change in an image between frames. Accordingly, it is an object of the present invention to provide a moving picture coding apparatus capable of maintaining image quality.
  • Input image analysis means for detecting an inter-frame change amount between the current frame and the previous frame of the input moving image
  • Code encoding means for encoding the input moving image
  • a generated code amount of encoded data output from the encoding means and a predetermined reference code amount With this, frame target code amount setting means for temporarily determining the target code amount of the frame to be encoded by the encoding means,
  • a frame skip control unit for skipping the encoding by the encoding unit in the frame unit
  • the input image analysis means determines the first frame skip insertion number based on the inter-frame change amount
  • the frame target code amount setting means determines a second frame skip insertion number based on the inter-frame change amount and the provisionally determined target code amount
  • the frame skip control means sets frame skip insertion enable / disable information based on the first frame skip insertion number and the second frame skip insertion number, whereby a frame unit of the code
  • the feature is to control the skipping in.
  • the inter-frame change amount (VA) when coding a frame, if the inter-frame change amount (VA) is large, a frame skip is intentionally generated, and the skipped frame is not encoded. Since the frame target code amount scheduled to be allocated to the skipped frame can be added to the frame target code amount planned to be allocated to the skipped frame, a sufficient target code amount should be set for the skipped frame.
  • FIG. 1 is a block diagram showing an overall configuration of a video encoding device according to Embodiment 1.
  • FIG. 2 is a diagram showing a configuration of a frame memory of FIG. 1.
  • FIG. 3 is a block diagram showing a configuration of an input image analysis unit 7 in the video encoding device of FIG. 1.
  • FIG. 4 is a block diagram showing a configuration of a change amount extraction unit 22 in the input image analysis unit 7 of FIG. 3.
  • FIG. 5 shows a configuration of a frame target code amount setting unit 6 in the video encoding device of FIG. 1. It is a block diagram.
  • FIG. 6 is a diagram illustrating a procedure of an operation of the encoding process in the video encoding device of the first embodiment.
  • FIG. 7 is a diagram showing an inter-frame change amount VA in a frame sequence in which a code amount extra occurs in Embodiment 1 and a coding method for each frame.
  • FIG. 8 is a diagram showing a target code amount at each time point in FIG. 7 in the first embodiment.
  • FIG. 9 is a diagram showing an inter-frame change amount VA in a frame sequence in which a frame skip and an extra code amount occur in Embodiment 1, and an encoding method for each frame.
  • FIG. 10 is a diagram showing a target code amount at each time point in FIG. 9 in the first embodiment.
  • FIG. 11 is a diagram showing transition of a quantization parameter in the first embodiment.
  • FIG. 12 is a block diagram illustrating an overall configuration of a video encoding device according to Embodiment 2.
  • FIG. 13 is a block diagram showing a configuration of an input image analysis unit 7 in a video encoding device according to Embodiment 2.
  • FIG. 14 is a block diagram illustrating a configuration of a complexity extraction unit 51 in the input image analysis unit 7 in FIG.
  • FIG. 15 is a diagram showing an inter-frame change amount VA in a frame sequence in which a frame skip and a code amount increase occur in Embodiment 2, an intra-frame complexity FH of each frame, and an encoding method.
  • FIG. 16 is a diagram showing a target code amount at each time point in FIG. 15 in the second embodiment.
  • FIG. 17 is a diagram showing transition of a quantization parameter in the second embodiment.
  • the moving picture coding apparatus includes a frame to be coded (hereinafter referred to as a "current frame picture") and N (N is an integer of 1 or more) temporally relative to the current frame. ) Judgment of whether or not the amount of change in the feature amount such as the luminance signal and the color difference signal between the frame before the frame (hereinafter, referred to as “N frame previous image”) is equal to or greater than a predetermined threshold value
  • N frame previous image Judgment of whether or not the amount of change in the feature amount such as the luminance signal and the color difference signal between the frame before the frame (hereinafter, referred to as “N frame previous image”) is equal to or greater than a predetermined threshold value
  • the frame skip insertion availability information SK, coding method, and target code amount QU are set by referring to the result.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to the first embodiment.
  • the moving picture coding apparatus 100 shown in FIG. 1 receives a picture signal transmitted by wire communication or wireless communication as a frame, and performs picture coding processing on the inputted frame.
  • the frame memory 1 temporarily stores, for example, two frames of image signals sequentially input from the input terminal 11.
  • FIG. 2 illustrates an example of the frame memory 1 and has a first area la and a second area lb.
  • N l
  • the first area la stores the i-th frame, that is, the data one frame before
  • the second area lb stores the (i + 1) -th frame. That is, the data of the current frame is stored.
  • a frame one frame before is referred to as a previous frame.
  • the switch 2 opens and closes with input of frame skip insertion availability information SK described later. Specifically, when the frame skip insertion enable / disable information SK is “1” (when performing frame skipping), it is turned off (open state), and when the frame skip insert enable / disable information SK is “0” (frame skip). ) Is turned on (closed state).
  • the encoder 3 performs encoding and quantization on the data supplied via the switch 2 using an encoding method and a quantization parameter specified by the encoding control unit 9.
  • intra-frame encoding is specified as an encoding method
  • intra-frame encoding intra-frame encoding is performed
  • inter-frame encoding is specified, inter-frame encoding is performed.
  • coding is DCT coding, and a quantized DCT coefficient is obtained as a code.
  • a quantization step is determined based on the supplied quantization parameter, and the DCT coefficient is quantized accordingly.
  • the notifier 4 temporarily stores the bit stream output from the encoder 3, and outputs the bit stream.
  • the bit stream output from the buffer 4 is output via the output terminal 12.
  • the code amount detection unit 5 detects the amount of code generated in each frame by calculating the bit stream output from the buffer 4 and stored in the buffer 4, and detects the detected value in the code amount control for encoding.
  • the information is output to the frame target code amount setting unit 6 and the encoding control unit 9 as information for the purpose.
  • the input image analysis unit 7 outputs the N-frame preceding image (N in this example) stored in the frame memory 1.
  • the input image analysis unit 7 is configured as shown in FIG. 3, for example.
  • An input terminal 26 for inputting the current frame image, an N-frame previous image input from the input terminal 25, and a change amount extracting unit 22 for extracting a change amount between the current frame images input from the input terminal 26.
  • the change amount extraction unit 22 in FIG. 3 is configured, for example, as shown in FIG.
  • the input terminal 35 for inputting the current frame image from the terminal 11 and the subtracter 37 for calculating the difference between the frame of the N-frame previous image input from the input terminal 34 and the frame of the current frame image input from the input terminal 35
  • an absolute value calculator 31 for calculating the absolute value of the output of the subtractor 37
  • an absolute value calculator 3 Sum calculator 32 for calculating the sum of the data representing the absolute values output from 1, average calculator 33 for calculating the average by dividing the input value by the number of data, and outputting the average luminance change between frames And an output terminal 36.
  • the inter-frame luminance change average value output from the output terminal 36 is used as the inter-frame change amount VA.
  • the input image analysis unit 7 further includes a threshold setting unit 23 for setting a first threshold (change amount threshold) TV, and an inter-frame change amount VA output from the change amount extraction unit 22, It has a comparator 24 for comparing with the first threshold value TV set in 23, an output terminal 27 for outputting the number of frame skip insertions NA, and an output terminal 28 for outputting the inter-frame variation VA. If the inter-frame change amount VA output from the change amount extraction unit 22 is equal to or greater than the first threshold TV, the number of frame skip insertions NA becomes “1”, and the inter-frame change amount VA is less than the first threshold value TV. If, the frame skip insertion count NA is “0”.
  • the inter-frame change amount VA output from the change amount extraction unit 22 is output from the output terminal 28 as it is.
  • the frame target code amount setting unit 6 includes an inter-frame change amount VA which is an output signal of the input image analysis unit 7, the code amount QB of the previous frame detected by the code amount detection unit 5, and a predetermined reference code.
  • the target code amount QT is tentatively determined by using the QR code as an input (this tentatively determined target code amount may be referred to as a “temporary target code amount”), and the tentatively determined target code amount (temporary target code amount).
  • the second frame skip insertion number NB is determined based on QT and the inter-frame change amount VA, the coding method of the current frame is determined, and the target code amount is determined as described later. Is finally determined.
  • the determined number of frame skip insertions NB is supplied to the frame skip control unit 6, and the determined encoding method and the finally determined target code amount are supplied to the encoding control unit 9.
  • FIG. 5 shows an example of the internal configuration of the frame target code amount setting section 6.
  • the frame target code amount setting unit 6 includes a memory 61, a target code amount calculation unit 62, a determination unit 63, a multiplication unit 64, and a selection unit 65.
  • the memory 61 stores a predetermined reference code amount QR and a target code amount of the previous frame.
  • the target code amount of the previous frame is written to the memory 61 output from the selection unit 65 as described later when determining the target code amount of the previous frame.
  • the target code amount calculation unit 62 includes, for example, a predetermined reference code amount QR stored in the memory 61, the target code amount of the previous frame also stored in the memory 61, and the previous frame detected by the code amount detection unit 5. Based on the code amount (also referred to as “generated code amount”) QB, a temporary target code amount QT for the current frame is calculated.
  • the determination unit 63 performs the determination described below to determine whether to set the number of frame skip insertions NB to “1” or “0” and to determine whether to increase the code amount.
  • the multiplication unit 64 generates a target code amount k X QT that is larger than “1” by the provisional target code amount QT and multiplied by a coefficient k.
  • the selector 65 selects and selects the target code amount QT before the increase or the target code amount k X QT before the increase according to the signal WM indicating the necessity of the extra output from the determiner 63. Output the final target code amount QU. (The term “final target code amount” is used to distinguish it from the “temporary target code amount” described above, and when there is no confusion between the two, it may be simply referred to as the "target code amount.” )
  • the determination unit 63 determines that the inter-frame change amount VA supplied from the input image analysis unit 7 is equal to or greater than a second threshold value (change amount threshold value) TW and the provisional target code amount QT is (Code amount threshold) When the number is less than TM, the number of frame skip insertions NB is set to “1”.
  • the second threshold value TW is larger than the first threshold value TV.
  • the second threshold value TW may be smaller than the first threshold value, or the second threshold value TW may be equal to the first threshold value TV.
  • the frame skip insertion count NB is set to “0”.
  • the determination unit 63 When the inter-frame change amount VA is equal to or larger than the first threshold value TV but smaller than the second threshold value TW, the determination unit 63 further sets the signal WM indicating whether or not extra is necessary to “1” (that extra is necessary). Is the value that indicates).
  • the frame skip control unit 8 calculates the number N of frame skip insertions from the input image analysis unit 7 A and the number of frame skip insertions NB from the frame target code amount setting unit 6 are input, and frame skip insertion availability information SK is output.
  • the frame skip control unit 8 calculates the average value of the number of frame skip insertions NA and the number of frame skip insertions NB, rounds down the decimal point, and outputs the result as frame skip insertion availability information SK. .
  • the frame skip insertion enable / disable information SK is “1”; otherwise, the frame skip insert enable / disable information SK is It becomes "0".
  • the encoding control unit 9 includes frame skip insertion availability information SK output from the frame skip control unit 8, a target code amount QU output from the frame target code amount setting unit 6, a code amount detection unit.
  • the code amount detected in step 5 is input and the encoder 3 controls the frame skip and sets the coding method and the quantization parameter.
  • the frame skip insertion availability information SK from the frame skip control unit 8 is
  • intra-frame encoding is instructed in the next frame. Even when the frame skip by the frame skip insertion availability information SK is not performed, the intra-frame encoding is performed periodically, that is, every predetermined number of frames (sometimes referred to as “intra-frame encoding period”). Instruct.
  • the encoding control unit 9 further determines a quantization parameter (quantization step size) as follows.
  • the quantization parameter (initial value of the quantization parameter) of the first macroblock is determined as follows. That is, it is used for each macroblock of a frame that is intra-frame encoded before one intra-frame encoding period.
  • the average of the quantization parameters is obtained and the integer is calculated, and this is set as the initial value of the quantization parameter of the frame.
  • the generated code amount in the frame before the encoding period in one frame detected by the code amount detection unit 5 and the target code amount of the frame before the encoding period in the one frame are detected.
  • the initial value of the quantization parameter is corrected. That is, if the generated code amount of the frame before the encoding cycle in one frame is larger than the target code amount. For example, a correction for reducing the quantization parameter is corrected, and a correction for increasing the quantization parameter is added if the generated code amount of the frame before the intra-frame coding cycle is smaller than the target code amount.
  • a quantization parameter is initialized.
  • a predetermined quantization parameter is used as an initial value.
  • the initial value of the quantization parameter may be determined in the same manner as in the case of the intra-frame coding performed periodically as described above.
  • the target code amount QU supplied from the frame target code amount setting unit 6, the target code amount of the previous frame, and the quantization parameter of the previous frame are used. To determine and output the quantization parameter.
  • the encoding control unit 9 determines a quantization parameter for each macro block based on the quantization parameter thus determined, and instructs the encoder 3 on the quantization parameter.
  • the encoder 3 When the encoder 3 is instructed to skip a frame by the encoding controller 9, the encoder 3 does not encode the frame.
  • the encoder 3 also performs intra-frame encoding when instructed by the encoding controller 9 to perform intra-frame encoding, and performs inter-frame encoding when not instructed by intra-frame encoding. .
  • the encoder 3 further performs quantization using the quantization parameter specified by the encoding control unit 9.
  • the coding control unit 9 and the coder 3 code the moving image supplied via the switch 2 based on intra-frame coding or inter-frame coding to quantize DCT coefficients.
  • the dangling means 10 is configured.
  • the coding method and the coding method are determined by comparing the inter-frame variation amount VA with the threshold values TW and TV (TW, TV is an integer, TW ⁇ TV> 0).
  • the quantization parameter is determined, and the necessity of frame skip insertion is determined.
  • the inter-frame change amount VA is equal to or greater than the second threshold value TW (in this case, equal to or greater than the first threshold value TV in this example) and the provisional target code amount QT is less than the predetermined threshold value TM. If, the frame skip is performed, the intra-frame encoding is performed in the next frame, and the quantization Initialize the parameters.
  • inter-frame change amount VA is equal to or greater than the first threshold value TV
  • the inter-frame change amount VA is less than the second threshold value TW
  • the provisional target code amount QT is equal to or greater than the threshold value TM.
  • the target code amount is increased and inter-frame encoding is performed.
  • inter-frame change amount VA is less than the first threshold TV
  • inter-frame coding is performed without performing frame skipping or increasing the target code amount.
  • N 1, and the frame before N frames is simply called the previous frame.
  • Step S1 the previous frame and the current frame are stored in the frame memory 1 (Step S1).
  • the input image analysis unit 7 detects an inter-frame variation VA between the current frame and the previous frame, and thereby quantitatively determines the difference between the frames. Then, the number of frame skip insertions NA is set and output based on the detected inter-frame variation VA (step S2). That is, if the inter-frame change amount VA is equal to or greater than the first threshold TV, the frame skip insertion number NA is set to “1”.
  • the frame target code amount setting unit 6 calculates a provisional target code amount (can be used in the current frame) from the predetermined reference code amount QR, the target code amount QU of the previous frame, and the code amount QB actually generated. And the interim frame variation amount VA is taken into consideration for the obtained tentative target code amount, and if the tentative target code amount is smaller than a predetermined value, frame skipping is considered, and frame skipping is performed.
  • the number of insertions NB is set (step S3). That is, if the inter-frame change amount VA is equal to or greater than the second threshold value TW and the provisional target code amount QT is less than the threshold value TM, the frame skip insertion count NB is set to “1”.
  • step S4 by combining the frame skip insertion number NA calculated in step S2 and the frame skip insertion number NB calculated in step S3 into the frame skip control unit 8,! Set SK (step S4).
  • the frame target code amount setting unit 6 and the coding control unit 9 determine the inter-frame change amount VA and the provisional target code amount QT based on the determination results. Based on this, control of the target code amount, determination of the necessity of extra charge, and the like are performed (steps S5 and S6). If the inter-frame change amount VA is less than the first threshold TV (NO in step S5), it is considered that the inter-frame change amount of the video is small, so it is not necessary to increase the code amount by inter-frame coding. There is no.
  • a new quantization parameter is set based on the target code amount determined by the frame target code amount setting unit 6 with reference to the quantization parameter used in the previous frame. Then, the inter-frame coding is performed on the current frame by the coding unit 10 (step S12).
  • the bit stream subjected to inter-frame coding by the coding unit 10 is stored in the buffer 4 (step S13), and the code amount detection unit 5 detects the code amount QB (step S14).
  • step S5 The condition that the inter-frame change amount VA is equal to or larger than the first threshold value TV is satisfied (YES in step S5), but the force at which the inter-frame change amount VA is less than the second threshold value TW, If the target code amount QT is equal to or larger than the threshold value TM (NO in step S6), the code amount is added to the current frame, and based on the added target code amount, the quantization used in the previous frame is further performed. Referring to the parameters, inter-frame coding is performed (step S9). The amount of coding is increased because the amount of change in video between frames is large.
  • the inter-frame encoded bit stream is stored in a buffer (step S10), the code amount QB is detected (step S11), the processing of the current frame is terminated, and the encoding processing of the next frame is performed. move on.
  • the frame skip control is performed as described above. Since the frame skip insertion enable / disable information SK output from the unit 8 is “1”, based on this, the encoding unit 10 skips the encoding of the frame and does not perform the encoding process (step S7). ).
  • the quantization parameter is set to a predetermined initial value without referring to the quantization parameter used in the previous frame, and intra-frame encoding is performed (step S8). .
  • the necessity of frame skip insertion is determined in accordance with the inter-frame change amount VA, and a frame skip is intentionally generated according to the determination result, and the coding of the frame is not performed.
  • the frame target code amount scheduled to be assigned is added to the frame target code amount scheduled to be assigned to the skipped frame, and code skipping with less image quality degradation is performed on the skipped frame.
  • the number of frame skip insertions NA is not limited to “1”, and the number may be increased or decreased according to the magnitude of the inter-frame variation VA. Also, the number NB of frame skip insertions is not limited to “1”, and the number is increased or decreased according to the size of the provisional target code amount QT.
  • the frame target code amount that is scheduled to be assigned to the skipped frame can be added to all the frames immediately after the skip so that the coding can be performed. Furthermore, the code amount can be evenly distributed and added over the frame number frame immediately after the skip. Also, the frame power immediately after skipping over several frames can be distributed and added with a different code amount for each frame. At this time, in consideration of the output of the input image analysis unit 7, a larger code amount can be distributed when the inter-frame change amount VA is large.
  • a series of frames input through the input terminal 11 by a higher-level control system (not shown) that controls and controls each unit of the video encoding device 100 according to the first embodiment is sequentially stored in the frame memory 1.
  • a higher-level control system (not shown) that controls and controls each unit of the video encoding device 100 according to the first embodiment is sequentially stored in the frame memory 1.
  • the state where the current frame and the previous frame are stored in the areas lb and la, respectively, is maintained (step SI).
  • the continuous current frame and the previous frame stored in the frame memory 1 are input to the input image analysis unit 7, and the change amount of the feature amount between both frames is calculated by the change amount extraction unit 22 in FIG.
  • the detected and detected inter-frame change amount VA is compared with a first threshold value TV set in advance in the comparator 24, and based on the result, a frame skip insertion number NA is set.
  • Output Step S2
  • an inter-frame luminance change average is used for detecting the inter-frame change amount VA. Specifically, attention is paid only to the luminance signal between consecutive frames, the absolute value of the difference is calculated for each pixel, and the sum of all pixels is calculated to obtain the inter-frame variation VA.
  • the detection of the continuous inter-frame change amount VA is not limited to the above method.
  • the inter-frame change amount VA may be detected by, for example, a color signal.
  • the frame to be compared with the current frame may be a plurality of frames. It is also possible to use screen characteristic values such as error variance between frames and the maximum, minimum, and median signal values within the screen. Also, the calculation of the amount of change between consecutive frames is performed for the entire screen. The screen is not limited to this, and the screen may be divided into several parts, and the calculation may be performed within the divided small areas and compared. . In addition, all of these inter-frame change detection methods may be combined, and in these combinations, a method of comparing the inter-frame change amount with a threshold value by a majority decision as to whether or not each method is applicable.
  • a method of comparing the amount of change between frames with a threshold by a majority decision as to whether or not the method is applied a method of comparing the amount of change between frames VA with a threshold by a predetermined number or more, and a method of a specific method
  • There are methods for comparing the amount of change between frames with a threshold and these methods are also included in the present invention.
  • the frame target code amount setting unit 6 tentatively determines the target code amount QT of the current frame from the predetermined reference code amount QR and the code amount QB of the previous frame detected by the code amount detection unit 5. decide.
  • an additional amount is determined by taking into account the inter-frame change amount VA obtained from the input image analysis unit 7 to determine the final target code amount. Further, it determines whether to perform a frame skip and outputs the frame skip insertion number NB to the frame skip control unit 8.
  • the encoding controller 9 calculates a quantization parameter from the target code amount, and outputs the quantization parameter and the encoding method to the encoder 3 (step S3).
  • the number of frame skip insertions NB is output as “1”.
  • the setting of the number of frame skip insertions NB is not limited to the above-described method, and the number of frame skip insertions NB may be changed according to the magnitude of the inter-frame variation VA.
  • step S4 the number of frame skip insertions NA output in step S2 and the number of frame skip insertions NB output in step S3 are input to the frame skip control unit 8, and the frame skip control unit 8 determines whether or not frame skip insertion is possible.
  • the input image analysis unit 7 sends the frame skip insertion number NA to the frame skip control unit 8 as “ Output as "0" (step S2). Further, the frame target code amount setting unit 6 which has received the inter-frame change amount VA smaller than the first threshold TV from the input image analysis unit 7 receives the target amount based on the code amount QB of the previous frame from the code amount detection unit 5. The code amount is obtained, the obtained target code amount is transmitted to the encoding control unit 9, and the number NB of frame skip insertions is output to the frame skip control unit 8 as "0" (step S3).
  • the encoding control unit 9 determines a quantization parameter based on the target code amount from the frame target code amount setting unit 6 and further refers to the previous frame, and sends the encoding method and the quantization method to the encoder 3.
  • the encoding parameters are output, and the encoder 3 performs inter-frame encoding of the current frame according to the parameters (step S12).
  • the notifier 4 outputs the coded bit stream (step S13), the code amount detector 5 detects the code amount QB of the bit stream received from the buffer 4, and outputs the detected value to the next buffer. It is output to the frame target code amount setting unit 6 as a detected code amount detection value for controlling the code amount in the frame coding (step S14).
  • the inter-frame variation VA is less than the second threshold TW.
  • the provisional target code amount QT is equal to or larger than the threshold value TM.
  • the input image analysis unit 7 outputs the number of frame skip insertions NA to “1” to the frame skip control unit 8 (step S2).
  • the amount is transmitted to the encoding control unit 9 and the number NB of frame skip insertions is output to the frame skip control unit 8 as “0” (step S3).
  • the coding control unit 9 determines a quantization parameter based on the target code amount from the frame target code amount setting unit 6 and further refers to the previous frame, and sends the coding method and the quantization
  • the encoding parameters are output, and the encoder 3 performs inter-frame encoding of the current frame according to the parameters (step S9).
  • the notifier 4 outputs the encoded bit stream (step S10), the code amount detector 5 detects the code amount QB of the bit stream received from the buffer 4, and outputs the detected value to the next frame. It is output to the frame target code amount setting unit 6 as information for controlling the code amount in the coding process (step S11).
  • the inter-frame change amount VA is larger than the second threshold value TW (in this example, TW> TV, so that if VA ⁇ TW, then VA> TV), and A description will be given when the target code amount QT is less than the threshold value TM.
  • the input image analysis unit 7 Since the inter-frame variation VA is larger than the first threshold TV, the input image analysis unit 7 The number of frame skip insertions NA is output as “1” to the one-time skip control unit 8 (step S2).
  • the frame target code amount setting unit 6 that receives the inter-frame change amount VA from the input image analysis unit 7 determines that the inter-frame change amount VA is larger than the second threshold value TW and the provisional target code amount QT is less than the threshold value TM. Therefore, the number NB of frame skip insertions is output as “1” to the frame skip control unit 8 (step S3).
  • the encoding controller 9 causes the encoder 3 to perform frame skip without outputting the encoding method and the quantization parameter (step S7), and prepares for encoding of the next frame. (Step S8). Then, regarding the encoding of the next frame, an intra-frame encoding is instructed, and the quantization parameter is initialized (for example, without referring to the code amount QB of the previous frame input from the code amount detection unit 5). Is set to a predetermined initial value.
  • the input image analysis unit 7 does not calculate the inter-frame variation amount VA, and the frame skip control unit 8 outputs “0” as the frame skip insertion enable / disable information SK. Then, switch 2 is turned on. Then, using the encoding method set in the previous frame, which is the output of the encoding control unit 9 (instructing intra-frame encoding), and the initially set quantization parameter, the encoder 3 will perform the encoding process.
  • the notifier 4 outputs the encoded bit stream
  • the code amount detection unit 5 detects the code amount QB of the bit stream received from the buffer 4, and outputs the detected value to the code in the code frame of the next frame.
  • the method of determining the number of frame skip insertions NA, the number of frame skip insertions NB, and the frame skip insertion availability information SK is not limited to the above method.
  • the number of frame skip insertions NA is Therefore, the number of times may be set in multiple stages based on the force between frames that takes “0” or “1”. That is, the number of frame skip insertions NA may be increased or decreased according to the magnitude of the inter-frame variation VA.
  • the number of frame skip insertions NB is “0” by combining the inter-frame change amount VA and the provisional target code amount QT, or the force inter-frame change amount VA is set to “1”. Based on the combination with the provisional target code amount QT, the number of times of frame skip insertion may be set in multiple stages (one of a plurality of values is selected). Further, the number NB of frame skip insertions may be increased or decreased according to the size of the provisional target code amount QT. In addition, the number of frame skip insertions NA is always assumed to be “0”, and only the frame skip insertion number NB may be used, or vice versa. You can use!
  • the average value of the number of frame skip insertions NA and the number of frame skip insertions NB was calculated and rounded down to the decimal point. It is also possible to perform a logical OR operation or the like by limiting the number of frame skip insertions NA and NB to “0” or “1”. These are all included in the present invention.
  • FIG. 7 and 9 show an example of a frame sequence including a plurality of frames, an inter-frame variation VA with respect to a previous frame in the frame sequence, and an encoding method determined for each frame.
  • FIG. 8 and FIG. 10 show the target code amount at each time point of the frame sequence as a bar-drag, together with the coding method.
  • the inter-frame variation VA is 0 Zpixel, which is less than the first threshold TV.
  • the inter-frame coding is performed with the frame target code amount without extra (the target target code amount without extra as the final target code amount).
  • the inter-frame variation VA force OZpixel is equal to or higher than the first threshold TV and lower than the second threshold TW.
  • the code amount is increased, and inter-frame coding is performed.
  • the inter-frame coding is performed by doubling the frame target code amount.
  • the inter-frame variation VA is lOZpixel, which is less than the first threshold TV.
  • the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 8, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame variation VA is 15Zpixel, which is less than the first threshold TV. In this case, even if the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 8, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame variation VA is 15Zpixel, which is less than the first threshold TV. In this case, even if the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 8, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame variation VA is 15Zpixel, which is less than the first threshold TV. In this case, even if the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 10, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame variation VA is 15Zpixel, which is less than the first threshold TV. In this case, even if the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 10, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame change amount VA is lOOZpixel, which is equal to or greater than the second threshold value TW.
  • the code amount at this time is transferred to the next frame without performing the encoding process.
  • the code amount is “0” in the same frame.
  • the quantization parameter is set to a predetermined initial value, and intra-frame encoding is performed.
  • the correlation between the next frame after the frame where the inter-frame change amount VA is large and the previous frame is low, and it is not necessary to refer to the quantization parameter of the past frame. Then, an appropriate quantization parameter is given to the next frame, and intra-frame encoding is performed, thereby performing encoding with little deterioration in image quality.
  • intra-frame coding requires a larger amount of code than inter-frame coding. Since the frame skip was intentionally performed in the previous frame, the available code amount has not decreased, and The code amount can be added to the encoding of the next frame, and a sufficient code amount can be allocated so that the deterioration of the image quality is reduced even if the intra-frame encoding is performed in the next frame.
  • the inter-frame variation VA is lOZpixel, which is less than the first threshold TV. In this case, even if the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 10, in the same frame, inter-frame coding is performed with a target code amount without extra charge.
  • the inter-frame variation VA force is 0Zpixel, which is equal to or higher than the first threshold TV and lower than the second threshold TW. In this case, it is necessary to perform an encoding process using a larger code amount than usual to suppress image quality deterioration. Therefore, in the same frame, the code amount is increased, and inter-frame coding is performed. For example, as shown in FIG. 10, the inter-frame coding is performed by doubling the frame target code amount.
  • the thresholds for the inter-frame change amount VA are set in the order of the threshold from the lowest to the first through the second.
  • the threshold values Ta, Tb, Tc, and Td of 4 are set, and if the inter-frame change amount VA is less than the first threshold value Ta, inter-frame coding is performed with a code amount without extra charge. If it is less than the second threshold value Tb, the coding amount is increased and inter-frame coding is performed. If it is equal to or more than the second threshold value Tb and less than the third threshold value Tc, the quantization parameter is initialized and the intra-frame coding is performed.
  • the frame skip number is set to "1", if the fourth threshold Td or more, the frame skip number is set to "3", etc.
  • the configuration is different from the one described above.
  • a threshold value setting for the inter-frame change amount VA a plurality of threshold values may be prepared and selected for each frame. Furthermore, by changing the setting of the threshold value every several frames, it is also possible to use an appropriate threshold value every several frames.
  • the quantization parameter is set to a predetermined initial value without referring to the quantization parameter used in the previous frame, and intraframe coding is performed.
  • the quantization parameter is reduced to prevent the image quality from deteriorating.
  • the code amount increases.
  • the code amount of the previous frame is Obit, and the code amount allocated in the previous frame can be used in addition to the code amount allocated in the current frame. Even if the code is inserted, the overall code amount does not increase, and the deterioration of the image quality is small.
  • the video is discontinuous with a large inter-frame variation VA, and the video does not look unnatural even if frame skipping is performed.
  • inter-frame encoding is performed while periodically inserting intra-frame encoding.
  • frame skipping is intentionally introduced using the inter-frame change amount VA as an index to perform encoding with less image quality degradation.
  • Embodiment 1 when encoding a frame, if the inter-frame variation amount VA is large, a frame skip is intentionally generated, and the frame is skipped without encoding the frame. Since the frame target code amount scheduled to be allocated to the frame can be reduced to the frame target code amount planned to be allocated to the skipped frame, a sufficient code amount is required for the skipped frame. This makes it possible to perform coding with little deterioration in image quality, thereby achieving stable image quality and code amount control. [0108] Also, as described above, the number of frame skip insertions NA and the number of frame skip insertions NB can be set in multiple stages other than "1" or "0".
  • the frame target code amount setting unit 6 For example, in the frame target code amount setting unit 6, Then, based on the temporarily determined target code amount QT, the number of frame skip insertions NB is determined to be one of multiple values, and the frame skip control means 8 sets the determined number of frame skip insertions NB to one. If the content of the frame skip insertion enable / disable information is determined so that the frame skip is performed based on the frame skip, the number of frame skips can be increased or decreased according to the value of the provisionally determined target code amount. Code amount control can be realized.
  • the input image analysis means 7 determines the number of frame skip insertions NA to one multi-valued medium value based on the detected inter-frame change amount VA, and the frame skip control means 8 If the content of the frame skip insertion enable / disable information SK is determined so that the frame skip is performed based on the determined number of frame skip insertions NA, the frame skip is determined according to the value of the inter-frame variation (VA). The number of times can be increased or decreased, and stable image quality and code amount control can be realized.
  • the frame target code amount setting section 6 sets the inter-frame change amount VA to be smaller than the first threshold value TV. If a larger amount of code is allocated as compared with the case where the code size is also small, coding can be performed with less deterioration in image quality, and as a result, stable image quality and code amount control can be realized.
  • FIG. 12 shows the configuration of the moving picture coding apparatus according to the second embodiment.
  • the device in FIG. 12 is generally the same as the device in FIG. 1, but the configurations of the input image analysis unit 7 and the frame skip control unit 8 are different.
  • FIG. 13 shows a configuration of the input image analysis unit 7 of FIG.
  • the input image analysis unit 7 shown in FIG. 13 is also capable of detecting the intra-frame complexity FH.
  • the input image analysis unit 7 shown in FIG. A terminal 25, an input terminal 26 for inputting the current frame image, an N-frame previous image input from the input terminal 25, and a change amount between the current frame image input from the input terminal 26 are extracted.
  • the change amount extraction unit 22, a threshold value setting unit 23 for setting a first threshold TV, and the change amount extraction unit 22 calculates the inter-frame change amount VA whose power is also output by the first threshold value set by the threshold value setting unit 23. It has a comparator 24 that outputs the number of frame skip insertions NA compared to TV, an output terminal 27 that outputs the number of frame skip insertions NA, and an output terminal 28 that outputs the inter-frame variation VA.
  • the input image analysis unit 7 shown in FIG. 13 further includes a complexity extraction unit 51 for extracting the complexity FH of the current frame image input from the input terminal 26, and a threshold setting for setting a threshold (complexity threshold) TH.
  • Unit 52 and compares the intra-frame complexity output from the complexity extraction unit 51 with the threshold TH output from the threshold setting unit 52, and outputs the number of frame skip insertions NC.
  • the frame skip insertion number NA output from the comparator 53 and the frame skip insertion number NC output from the comparator 53 are input, and the frame skip insertion number ND is determined and output based on the input.
  • an output terminal 29 for outputting the number ND of frame skip insertions.
  • the number of frame skip insertions NA output from the output terminal 27 and the number of frame skip insertions ND output to the output terminal 29 are supplied to the frame skip control unit 8.
  • the complexity extraction unit 51 of FIG. 13 includes an input terminal 71, an edge extraction unit 72, a sum operation unit 73, an average operation unit 74, and an output terminal 75. Prepare.
  • the edge extraction unit 72 extracts an edge of the current frame image input from the input terminal 71. That is, the presence or absence of an edge is detected for each pixel.
  • the sum adder 73 adds the edge extracted by the edge extractor 72 as an input. That is, the number of pixels detected as edges is obtained.
  • the average calculator 74 divides the total number of edges output from the sum calculator 73 by the number of pixels in the frame, and outputs a value obtained by multiplying the result by 100. The reason for multiplying by 100 is to make the value easy to handle.
  • the value output from the averaging unit 74 represents the ratio of the edges included in the current frame, that is, a value proportional to the number of edges per pixel (a value obtained by multiplying the number of edges per pixel by 100). This is output from the output terminal 75 as a signal indicating the intra-frame complexity FH.
  • the frame power is temporarily stored in the frame memory 1 input by a higher-level control system that integrally controls each unit of the video encoding device 100.
  • the continuous current frame and the previous frame stored in the frame memory 1 are input to the input image analysis unit 7, the amount of change in the feature amount between both frames is detected, and the number of frame skip insertions NA is calculated. And outputs it from the output terminal 27 to the frame skip control unit 8. Further, the complexity extraction unit 51 detects the intra-frame complexity FH for the current frame, and obtains the number of frame skip insertions NC. The frame skip insertion number provisional determination unit 54 determines the frame skip insertion number ND based on the frame skip insertion number NA and the frame skip insertion number NC, and outputs the frame skip insertion number ND from the output terminal 29 to the frame skip control unit 8.
  • Embodiment 2 uses the number of edges included in one pixel of the current frame image for the luminance signal. For example, the chrominance signal is used without using the luminance signal. After performing detection processing on multiple small areas that can be detected within a small area that occupies a part of the frame, and then combining them (for example, by averaging), Can be considered. There are various methods for evaluating the intra-frame complexity, such as calculating the variance of the image and evaluating the high frequency range of the DCT coefficient.
  • the intra-frame complexity FH is equal to or larger than the threshold TH (TH ⁇ 0, TH is an integer) and the inter-frame variation VA is equal to or larger than the first threshold TV
  • the number of frame skip insertions ND is set to “1”
  • a frame skip is intentionally generated for the current frame to perform frame coding.
  • the frame target code amount scheduled to be allocated to the skipped frame is reduced to the frame target code amount scheduled to be allocated to the skipped frame. For this, intra-frame coding is applied to perform coding with little image quality degradation.
  • Embodiment 2 if the number ND of frame skip insertions from the input image analysis unit 7 is "1", the frame skip control unit 8 determines the number of frame skip insertions from the frame target code amount setting unit 6. Regardless of the value of NB, the frame skip insertion enable / disable information SK is set to “1” and the frame is Make skips.
  • the intra-frame complexity FH is not greater than or equal to the threshold value TH, the same encoding as in Embodiment 1 is performed. That is, the frame skip control unit 8 is described in Embodiment 1 based on the number of frame skip insertions NA from the input image analysis unit 7 and the number of frame skip insertions NB from the frame target code amount setting unit 6. A similar decision is made to skip the frame.
  • the threshold TH for the intra-frame complexity FH is set to 20.
  • the inter-frame variation VA is 15Zpixel and the intra-frame complexity FH, which is smaller than the threshold TV, is 3Zpixel and smaller than the threshold TH.
  • the encoding is performed by the normal processing, the deterioration of the image quality is small. Therefore, as shown in FIG. 15, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame variation VA is 15Zpixel, which is smaller than the threshold TV
  • the intra-frame complexity FH is 5Zpixel, which is smaller than the threshold TH.
  • the inter-frame variation is equal to or greater than the second threshold TV at lOOZpixel, and the intra-frame complexity FH is 25Zpixel and is equal to or greater than the threshold TH.
  • the frame skip is intentionally performed, and the encoding process is not performed, and the code amount at this time is transferred to the next frame.
  • the code amount is “0” in the same frame.
  • the intra-frame coding requires a larger code amount than the inter-frame coding, and the available code amount does not decrease because the frame skip was intentionally performed in the previous frame.
  • the amount can be allocated to the encoding of the next frame, and a sufficient amount of code can be allocated so that the deterioration of the image quality is small even if the intra-frame encoding is performed in the next frame.
  • the inter-frame variation VA is lOZ pixels, which is smaller than the threshold TV.
  • the intra-frame complexity FH is also 15 / pixel, which is smaller than the threshold TH. In this case, even if the encoding is performed by the normal processing, the image quality degradation is small. Therefore, as shown in FIG. 15, in the same frame, inter-frame coding is performed with a frame target code amount without extra charge.
  • the inter-frame change amount VA force OZpixel is equal to or more than the first threshold TV and less than the second threshold TW, and the intra-frame complexity FH is set to 20Zpixel and the threshold TH. Is over. In this case, unless a code amount larger than usual is used, it is considered that image quality degradation occurs. Therefore, as shown in FIG. 15, the inter-frame coding is performed by increasing the code amount to, for example, twice the normal amount.
  • the threshold value TH in the intra-frame complexity FH an appropriate value can be selected for a frame that does not have a limited value. It is also possible to set the threshold value TH in multiple stages to increase or decrease the number of frame skip insertions.
  • the time point T Ic takes a small value because of the quantization parameter used for intra-frame coding inserted periodically. That is, fine quantization is performed, and the code amount increases.
  • the parameter is increased. In other words, coarse quantization is performed and the code amount is small. Also, the quantization parameter is obtained by referring to the quantization parameter used in the previous frame.
  • the quantization parameter is set to a predetermined initial value without referring to the quantization parameter used in the previous frame, and intraframe coding is performed.
  • the quantization parameter is reduced to prevent the image quality from deteriorating.
  • the code amount increases.
  • the code amount QB of the previous frame is Obit, and the code amount allocated in the previous frame can be used in addition to the code amount allocated in the current frame.
  • the intra-frame coding is inserted, the overall code amount does not increase, and the image quality does not deteriorate much.
  • the inter-frame variation VA is large and is a discontinuous image, and even if the frame skip is performed, the image does not become unnatural.
  • the quantization parameter is similarly controlled to perform encoding.
  • Embodiment 2 when encoding a frame, if frame-to-frame variation VA is larger than the threshold and intra-frame complexity FH is larger than the threshold, frame skipping is intentionally performed.
  • the frame target code amount that is scheduled to be assigned to the skipped frame without performing coding of the frame is changed to the target frame code amount that is scheduled to be assigned to the skipped frame. Since it can be added, the effect described in the first embodiment can be added, and the code can be encoded with less image quality degradation on the skipped frame. As a result, a stable image quality can be obtained. Code amount control can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　入力画像解析部（７）においてフレーム間変化量（ＶＡ）に基づいて決定された第１のフレームスキップ挿入回数（ＮＡ）と、フレーム目標符号量設定部（６）においてフレーム間変化量（ＶＡ）及び仮決定された目標符号量に基づいて決定された第２のフレームスキップ挿入回数（ＮＢ）とに基づいて、フレームスキップ挿入可否情報（ＳＫ）を設定し、これにより符号化手段（１０）における符号化のフレーム単位でのスキップを制御する。例えば仮決定された目標符号量が所定値未満でフレーム間変化量（ＶＡ）が第２の閾値以上のときはフレームスキップを行う。フレーム間変化量（ＶＡ）が第２の閾値未満で第１の閾値以上のときは符号量の割増しを行う。上記の構成により、フレーム間の画像の変化に対して、符号量の割り当て、及び符号化のスキップを適切に行うことができ、これにより画質の維持を行うことができる。

Description

明 細 書
動画像符号化装置
技術分野
[0001] 本発明は、動画像の符号化に関し、 ITU— T勧告 H. 26xや ISOZIEC標準 MPE G等に代表される動画像符号ィ匕方式により符号ィ匕を行う動画像符号ィ匕装置及び動 画像符号ィ匕方法に関するものであり、特に、携帯電話などに搭載される装置に関す る。
背景技術
[0002] 以下、 MPEG— 4を例に取り説明する。一般に、 MPEG— 4に代表される動画像符 号ィ匕方式は、入力される画像信号に対して空間的 *時間的相関関係を利用してデー タの圧縮を行う。そして、この空間的圧縮 ·時間的圧縮により得られるデータをもとに 、所定の順序に従ってさらに可変長符号ィ匕を行い、ビットストリームを生成する。
[0003] ここで以下の説明のため、 MPEG— 4のフレームの概念について述べておく。 MPE G— 4では、表示される画像全体 (合成画像）は、複数の画像系列の画像 (物体）によ り構成されることから、各画像系列の、各表示時刻における画面をビデオ 'ォブジェク ト 'プレーンと呼び、 MPEG—1, 2におけるフレームと区別している。なお、表示画像 の全体が 1つの画像系列の画像により構成される場合には、ビデオ'オブジェクト'プ レーンとフレームは一致することとなる（以下、表示画像の全体が 1つの画像系列の 画像により構成されるとし、ビデオ 'オブジェクト 'プレーンを「フレーム」と記す。 ) o
[0004] フレームは輝度信号と色差信号をもち、複数のマクロブロックカゝら構成される。マク ロブロックは、輝度信号に対して縦横それぞれ 16画素から成り、 MPEG— 4における 画像符号ィ匕では、このマクロブロック単位で空間的圧縮、時間的圧縮等の手法により 情報量の圧縮が行われる。
[0005] 空間的圧縮は、直交変換の一種である離散コサイン変換 (Discrete Cosine Tr ansfornio以下、「DCT」と記す。）により時間領域力も周波数領域に変換した後の 信号を量子化することにより行われ、時間的圧縮には、動き補償が用いられる。
[0006] また、フレーム単位のデータ圧縮方法には、同一画面内の空間的圧縮のみで符号 ィ匕される空間的画面内符号化 (以下、「フレーム内符号化」と記す。）と、画面間の相 関力も時間的圧縮を用いて符号化される画面間符号化 (以下、「フレーム間符号化」 と記す。）とがある。
[0007] 動画像符号化装置では、所定の符号化パラメータに従って、指定された符号量の ビットストリームを出力しなければならない。さらにビットストリームを受け取る復号ィ匕装 置側のバッファ (仮想バッファ検証器、以下、「VBVバッファ」と記す。）においてォー バーフローやアンダーフローが生じないように、符号化装置側で VBVバッファの占有 量を想定して発生符号量を制御しなくてはならない。
[0008] 発生符号量の制御は、フレームを構成するマクロブロック毎に設定される、 DCT係 数を量子化するために用いる、量子化パラメータにより行う。従って、発生符号量の 制御はフレーム単位で行われることとなる。一般に、量子化パラメータを大きくすると 発生符号量は小さくなり、量子化パラメータを小さくすると発生符号量は多くなる。つ まり、発生符号量と量子化パラメータとは反比例の関係にある。この性質を用いて発 生符号量を変化させることが可能である。
[0009] しかし、量子化パラメータが取り得る範囲には制限があるため、量子化パラメータだ けで適正な発生符号量に制御することは難しい場合がある。そこで、発生符号量が 目標値より多い場合は、すべてのフレームについて符号ィ匕処理を行うのではなぐ符 号化処理を行わな ヽフレーム、即ち符号化処理をスキップするフレームスキップを作 り、全体の発生符号量を抑制する一方、発生符号量が目標値よりも小さい場合は、ビ ットストリームに冗長なビットを挿入し、発生符号量を増力！]させる処理を行う。
[0010] 上記のような、一部のフレームの符号ィ匕処理をスキップし、発生符号量を抑制する 技術につ 、ては、例えば特許文献 1に記載されて 、る。
[0011] また、入力される画像信号に対して符号化処理を行う装置において、連続したフレ ーム間の映像が不連続であり、シーンが変わったと考えられる場合、フレーム間符号 化の画質劣化を改善するために、シーンが変わった直後の画像に多くの符号量を割 当てる符号量制御方法にっ 、て、例えば特許文献 2に記載されて 、る。
[0012] 特許文献 1 :特開 2002-262297号公報 (第 4-7頁、第 3図）
特許文献 2 :特開平 6-54319号公報 (第 4-5頁、第 2図） 発明の開示
発明が解決しょうとする課題
[0013] 従来の MPEG— 4で符号ィ匕処理を行う動画像符号ィ匕装置では、フレーム間の相関 性が低い場合、フレームの目標符号量よりも多い符号量を割当てなければ、画質の 劣化を抑えて符号ィ匕を行うことができない。そこで符号量を割増して符号ィ匕を行うと、 1秒間でのビット数が予め設定されており、幾フレームかの符号ィ匕処理をスキップし、 ビットレートに合わせた符号ィ匕処理を行わなければならない。このとき、フレーム間符 号ィ匕を行うと、フレームがスキップしていること力 フレーム間の相関性が低ぐさらに 符号量を割増さなければならず悪循環となる。
上記特許文献 1ではフレームのスキップ数がある所定値を超えると、直後のフレー ムでフレーム内符号化処理を行い画質の劣化を抑えている。し力し、フレームのスキ ップが起きて力も対応しているため、上述した問題を解消することはできない。また、 フレームスキップが起きず、かつフレーム間の変化が大きくなる場合は、通常の符号 化処理を行ってしまうため、画質劣化を生じる可能性がある。
また、上記特許文献 2では、フレーム間の相関性が低いことを検出した場合、その 直後の画像には多くの符号量を割増して、フレーム内符号ィ匕を行うことによって画像 の劣化を防止する符号ィ匕処理を行っている。しかし、連続するフレームにフレームの 変化が多く検出される場合、連続して符号量を多く割増すこととなり、全体として適切 な符号量の割当てを行うことができないという問題がある。
[0014] 本発明は、上記の問題点を解決するもので、その目的は、フレーム間の画像の変 化に対して、符号量の割り当て、及び符号ィ匕のスキップを適切に行うことができ、これ により画質の維持を行うことができる動画像符号ィ匕装置を提供することにある。
課題を解決するための手段
[0015] 本発明の動画像符号化装置は、
入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力 画像解析手段と、
前記入力された動画像を符号ィヒする符号ィヒ手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量 とにより、前記符号ィ匕手段で符号ィ匕するフレームの目標符号量を仮決定するフレー ム目標符号量設定手段と、
前記符号ィ匕手段における符号ィ匕をフレーム単位でスキップさせるフレームスキップ 制御手段と
を備えた動画像符号ィ匕装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第 1のフレームスキップ 挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定され た目標符号量に基づ 、て第 2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が前記第 1のフレームスキップ挿入回数と前記第 2 のフレームスキップ挿入回数とに基づいてフレームスキップ挿入可否情報を設定し、 これにより前記符号ィ匕手段における符号ィ匕のフレーム単位でのスキップを制御する ことを特徴とする。
発明の効果
[0016] 本発明によれば、フレームを符号化する際、フレーム間変化量 (VA)が大き 、場合 、フレームスキップを意図的に発生させて、フレームの符号ィ匕を行わず、スキップした フレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレーム への割当てが予定されていたフレーム目標符号量に加えることができるので、スキッ プ後のフレームでは、十分な目標符号量を用いて画質劣化の少な!/、符号ィヒを行うこ とができ、その結果、安定した画質の維持と符号量制御を実現することができる。 図面の簡単な説明
[0017] [図 1]実施の形態 1の動画像符号ィ匕装置の全体的構成を示すブロック図である。
[図 2]図 1のフレームメモリの構成を示す図である。
[図 3]図 1の動画像符号化装置における入力画像解析部 7の構成を示すブロック図 である。
[図 4]図 3の入力画像解析部 7における変化量抽出部 22の構成を示すブロック図で ある。
[図 5]図 1の動画像符号ィ匕装置におけるフレーム目標符号量設定部 6の構成を示す ブロック図である。
圆 6]実施の形態 1の動画像符号ィ匕装置における符号ィ匕処理の動作の手順を示す 図である。
[図 7]実施の形態 1において、符号量割増しが発生するフレームシーケンス中のフレ ーム間変化量 VA及び各フレームの符号ィ匕方法を示す図である。
[図 8]実施の形態 1における図 7の各時点での目標符号量を示す図である。
[図 9]実施の形態 1において、フレームスキップ及び符号量割増しが発生するフレー ムシーケンス中のフレーム間変化量 VA及び各フレームの符号化方法を示す図であ る。
[図 10]実施の形態 1における図 9の各時点での目標符号量を示す図である。
圆 11]実施の形態 1における量子化パラメータの推移を示す図である。
圆 12]実施の形態 2の動画像符号ィ匕装置の全体的構成を示すブロック図である。
[図 13]実施の形態 2における動画像符号化装置中の入力画像解析部 7の構成を示 すブロック図である。
圆 14]図 13の入力画像解析部 7における複雑度抽出部 51の構成を示すブロック図 である。
[図 15]実施の形態 2において、フレームスキップ及び符号量割増しが発生するフレー ムシーケンス中のフレーム間変化量 VA、並びに各フレームのフレーム内複雑度 FH 及び符号化方法を示す図である。
[図 16]実施の形態 2における図 15の各時点での目標符号量を示す図である。
圆 17]実施の形態 2における量子化パラメータの推移を示す図である。
符号の説明
1 フレームメモリ、 2 スィッチ、 3 符号化器、 4 バッファ、 5 符号量検出部 、 6 フレーム目標符号量設定部、 7 入力画像解析部、 8 フレームスキップ制 御部、 9 符号化制御部、 10 符号化手段、 22 変化量抽出部、 23 閾値設 定部、 24 比較器、 31 絶対値演算部、 32 和演算部、 33 平均演算部、 5 1 複雑度抽出部、 52 閾値設定部、 53 比較器、 54 フレームスキップ挿入回 数仮決定部、 72 エッジ抽出部、 73 和演算部、 74 平均演算部、 100 動 画像符号化装置。
発明を実施するための最良の形態
[0019] 本発明に係る動画像符号ィ匕装置は、符号化処理対象のフレーム (以下、「現フレー ム画像」と記す。）と、現フレームより時間的に N (Nは 1以上の整数)フレーム前にある フレーム（以下、「Nフレーム前画像」と記す。）とのフレーム間の輝度信号や色差信 号等の特徴量の変化量が、所定の閾値以上であるか否力の判定結果を参照するこ とにより、フレームスキップ挿入可否情報 SK、符号化方法、目標符号量 QUを設定 する。以下に、実施の形態について図面を参照して説明する。
[0020] 実施の形態 1.
図 1は、実施の形態 1における動画像符号ィ匕装置の構成を示すブロック図である。 図 1に示す動画像符号化装置 100は、有線通信や無線通信により伝送される画像 信号がフレームとして入力され、この入力されるフレームに対する画像符号化処理を 行うもので、入力されるフレームをマクロブロックに分割して符号ィ匕処理を行い、ビット ストリームとして出力するものであり、入力端子 11と、フレームメモリ 1と、スィッチ 2と、 符号化器 3と、バッファ 4と、符号量検出部 5と、出力端子 12と、フレーム目標符号量 設定部 6と、入力画像解析部 7と、フレームスキップ制御部 8と、符号化制御部 9とを 備えている。
[0021] フレームメモリ 1は、入力端子 11から順次入力される画像信号を例えば 2フレーム 分を一時的に蓄積する。
[0022] 図 2は、フレームメモリ 1の一例を図示したもので、第 1の領域 laと第 2の領域 lbとを 有する。図示の例では、 N= lであり、第 1の領域 laには、 i番目のフレーム、即ち 1フ レーム前のデータが記憶され、第 2の領域 lbには、（i+ 1)番目のフレーム、即ち現フ レームのデータが記憶される。以下の説明では、 1フレーム前のフレームを前フレー ムと呼ぶ。
[0023] スィッチ 2は、後述のフレームスキップ挿入可否情報 SKを入力として開閉する。具 体的には、フレームスキップ挿入可否情報 SKが「1」のとき（フレームスキップを行う場 合）は、オフ（開状態）となり、フレームスキップ挿入可否情報 SKが「0」のとき（フレー ムスキップを行わないとき）は、オン（閉状態)となる。 [0024] 符号化器 3は、スィッチ 2を介して供給されるデータに対し、符号化制御部 9により 指定される符号化方法、量子化パラメータで符号化及び量子化を行う。符号化方法 としてフレーム内符号ィ匕が指示されているときは、フレーム内符号ィ匕を行い、フレーム 間符号ィ匕が指示されているときは、フレーム間符号ィ匕を行う。ここで符号ィ匕は DCT符 号化であり、量子化された DCT係数が符号として得られる。また、供給された量子化 ノ ラメータに基づいて量子化ステップを定めて、それによつて DCT係数の量子化を 行う。
[0025] ノッファ 4は、符号化器 3から出力されたビットストリームを一時的に蓄積して、出力 する。バッファ 4から出力されたビットストリームは、出力端子 12を介して出力される。
[0026] 符号量検出部 5は、ノ ッファ 4に蓄積され、ノ ッファ 4から出力されるビットストリーム 力 各フレームの発生符号量を計算により検出し、検出値を、符号化における符号 量制御のための情報として、フレーム目標符号量設定部 6及び符号化制御部 9に出 力する。
[0027] 入力画像解析部 7は、フレームメモリ 1に蓄積された Nフレーム前画像 (本例では N
= 1)と、入力端子 11から入力される現フレーム画像とのフレーム間変化量 VAを検 出して出力するとともに、フレーム間変化量 VAに基づいて第 1のフレームスキップ挿 入回数（「フレームスキップ挿入回数 NA」と呼ぶ）を設定して出力する。
[0028] 入力画像解析部 7は例えば図 3に示されるように構成される。図 3に示される入力画 像解析部 7は、フレームメモリ 1から読み出された Nフレーム前画像 (本例では N= 1) を入力する入力端子 25と、図 1の入力端子 11に接続され、現フレーム画像を入力す る入力端子 26と、入力端子 25から入力された Nフレーム前画像と、入力端子 26から 入力された現フレーム画像間の変化量を抽出する変化量抽出部 22とを有する。
[0029] 図 3の変化量抽出部 22は例えば図 4に示すように構成される。図 4に示される変化 量抽出部 22は、フレーム間輝度変化平均値を求めるものであり、フレームメモリ 1から の Nフレーム前画像 (本例では N= 1)を入力する入力端子 34と、入力端子 11からの 現フレーム画像を入力する入力端子 35と、入力端子 34から入力された Nフレーム前 画像と、入力端子 35から入力された現フレーム画像のフレーム間の差を演算する減 算器 37と、減算器 37の出力の絶対値を求める絶対値演算器 31と、絶対値演算部 3 1から出力される絶対値を表すデータの合計を計算する和演算器 32と、入力値をデ ータ数で割って平均値を求める平均演算部 33と、フレーム間輝度変化平均値を出 力する出力端子 36とを備える。本実施の形態では、出力端子 36から出力されるフレ ーム間輝度変化平均値がフレーム間変化量 VAとして用いられる。
[0030] 入力画像解析部 7はさらに、第 1の閾値 (変化量閾値) TVを設定する閾値設定部 2 3と、変化量抽出部 22から出力されたフレーム間変化量 VAを、閾値設定部 23で設 定された第 1の閾値 TVと比較する比較器 24と、フレームスキップ挿入回数 NAを出 力する出力端子 27と、フレーム間変化量 VAを出力する出力端子 28とを備える。 変化量抽出部 22から出力されるフレーム間変化量 VAが第 1の閾値 TV以上であ れば、フレームスキップ挿入回数 NAが「1」となり、フレーム間変化量 VAが第 1の閾 値 TV未満であれば、フレームスキップ挿入回数 NAが「0」となる。
変化量抽出部 22から出力されるフレーム間変化量 VAはまた、そのまま出力端子 2 8から出力される。
[0031] フレーム目標符号量設定部 6は、入力画像解析部 7の出力信号であるフレーム間 変化量 VAと、符号量検出部 5で検出された前フレームの符号量 QBと、所定の基準 符号量 QRとを入力とし、目標符号量 QTを仮決定する (この仮決定された目標符号 量を「仮の目標符号量」と呼ぶこともある）とともに、仮決定された目標符号量 (仮の目 標符号量) QTと、フレーム間変化量 VAとに基づいて第 2のフレームスキップ挿入回 数 NBを決定するとともに、現フレームの符号化方法を決定するとともに、後述のよう にして目標符号量を最終決定する。決定されたフレームスキップ挿入回数 NBはフレ 一ムスキップ制御部 6へ供給され、決定された符号化方法及び最終決定された目標 符号量は符号化制御部 9に供給される。
[0032] フレーム目標符号量設定部 6の内部構成の一例が図 5に示されている。
図示のようにこのフレーム目標符号量設定部 6は、メモリ 61と、目標符号量演算部 6 2と、判定部 63と、乗算部 64と、選択部 65とを有する。
[0033] メモリ 61には、所定の基準符号量 QRと、前フレームの目標符号量とを記憶してい る。前フレームの目標符号量は、前フレームについての目標符号量の決定に際し、 後述のように選択部 65から出力されたもの力 メモリ 61に書込まれる。 目標符号量演算部 62は、例えばメモリ 61に記憶された所定の基準符号量 QRと、 同じくメモリ 61に記憶された前フレームの目標符号量と、符号量検出部 5で検出され た前フレームの符号量（「発生符号量」とも言う） QBとに基づ 、て現フレームのための 仮の目標符号量 QTを算出する。
判定部 63は、後述の判定を行って、フレームスキップ挿入回数 NBを「1」とするか「 0」とするかの判定、符号量の割増しを行うかどうかの判定を行う。
乗算部 64は、仮の目標符号量 QTに「1」より大き 、係数 kを掛けて割増した目標符 号量 k X QTを発生する。
選択部 65は、判定部 63から出力される割増しの要否を示す信号 WMに従って、割 増す前の目標符号量 QT又は割増した目標符号量 k X QTの 、ずれかを選択し、選 択したものを最終の目標符号量 QUとして出力する。（「最終の目標符号量」と呼ぶの は、上記した「仮の目標符号量」との区別のためであり、両者の混同が生じないときは 単に「目標符号量」と呼ぶこともある。 )
割増し要のときは、割増した目標符号量 kX QTを選択し、割増し不要のときは、割 増す前の目標符号量 QTを選択する。
[0034] 判定部 63は、入力画像解析部 7から供給されるフレーム間変化量 VAが、第 2の閾 値 (変化量閾値) TW以上であり、かつ仮の目標符号量 QTが所定の閾値 (符号量閾 値) TM未満であるときはフレームスキップ挿入回数 NBを「1」とする。
本例では、第 2の閾値 TWは第 1の閾値 TVよりも大きい。しかし、第 2の閾値 TWが 第 1の閾値よりも小さくても良ぐまた第 2の閾値 TWが第 1の閾値 TVと等しくても良い 判定部 63は、フレーム間変化量 VAが第 1の閾値以上で、第 2の閾値 TW未満であ るとき、或いは、仮の目標符号量 QTが閾値 TM以上であるときは、フレームスキップ 挿入回数 NBを「0」とする。
判定部 63は、さらにフレーム間変化量 VAが第 1の閾値 TV以上であるが第 2の閾 値 TW未満であるときは、割増し要否を示す信号 WMを「1」（割増し要であることを示 す値）にする。
[0035] フレームスキップ制御部 8は、入力画像解析部 7からのフレームスキップ挿入回数 N Aと、フレーム目標符号量設定部 6からのフレームスキップ挿入回数 NBを入力とし、 フレームスキップ挿入可否情報 SKを出力する。
より具体的には、フレームスキップ制御部 8は、フレームスキップ挿入回数 NAとフレ 一ムスキップ挿入回数 NBの平均値を計算して小数点未満を切り捨て、その結果をフ レームスキップ挿入可否情報 SKとして出力する。
本例では、フレームスキップ挿入回数 NA及びフレームスキップ挿入回数 NBの両 方が「1」であれば、フレームスキップ挿入可否情報 SKが「1」となり、それ以外のとき はフレームスキップ挿入可否情報 SKは「0」となる。
[0036] 符号ィ匕制御部 9は、フレームスキップ制御部 8から出力されるフレームスキップ挿入 可否情報 SKと、フレーム目標符号量設定部 6から出力される目標符号量 QUと、符 号量検出部 5で検出された符号量とを入力とし、符号化器 3に対し、フレームスキップ の制御及び符号化方法及び量子化パラメータの設定を行う。
[0037] 具体的には、フレームスキップ制御部 8からのフレームスキップ挿入可否情報 SKが
「 1」であれば、符号化器 3に対してフレームスキップを指示する。
また、フレームスキップ挿入可否情報 SKによりフレームスキップを行ったときは、次 のフレームでフレーム内符号化を指示する。フレームスキップ挿入可否情報 SKによ るフレームスキップを行わない場合にも、周期的に、即ち所定のフレーム数（「フレー ム内符号化周期」と言うことがある）毎にフレーム内符号ィ匕を指示する。
[0038] 符号化制御部 9はさらに、以下のようにして量子化パラメータ（量子化のステップサ ィズ)を決定する。
[0039] まず、周期的にフレーム内符号化されるフレームについては、先頭のマクロブロック の量子化パラメータ（量子化パラメータの初期値)を以下のようにして決める。即ち、 1 フレーム内符号ィ匕周期前にフレーム内符号ィ匕されたフレームの各マクロブロックで用
V、た量子化パラメータの平均を求めて整数ィ匕し、これを当該フレームの量子化パラメ ータの初期値とする。但し、この場合、符号量検出部 5で検出された、 1フレーム内符 号ィ匕周期前のフレームにおける発生符号量と、当該 1フレーム内符号ィヒ周期前のフ レームの目標符号量とに基づいて、量子化パラメータの初期値に修正をカ卩える。即 ち、 1フレーム内符号ィ匕周期前のフレームの発生符号量が目標符号量よりも多けれ ば、量子化パラメータを小さくする修正をカ卩え、 1フレーム内符号ィ匕周期前のフレー ムの発生符号量が目標符号量よりも少なければ、量子化パラメータを大きくする修正 を加える。
[0040] フレームスキップを行った場合、スキップされたフレームの次にフレームについては 、フレーム内符号ィ匕を行うが、その場合には、量子化パラメータを初期設定する。この 場合、例えば、予め定められた量子化パラメータを初期値として用いる。なお、予め 定めた初期値を用いる代わりに、上記のように、周期的に行われるフレーム内符号ィ匕 の場合と同様に量子化パラメータの初期値を定めても良い。
[0041] フレーム内符号ィ匕されるフレーム以外については、フレーム目標符号量設定部 6か ら供給された目標符号量 QUと、前フレームの目標符号量と、前フレームの量子化パ ラメータに基づいて量子化パラメータを決定して出力する。
[0042] 符号ィ匕制御部 9は、このようにして定められた量子化パラメータに基いて、各マクロ ブロック毎の量子化パラメータを定めて符号化器 3に対して量子化パラメータを指示 する。
[0043] 符号化器 3は、符号ィ匕制御部 9からフレームスキップを指示されたときは、そのフレ ームの符号ィ匕を行わない。符号化器 3はまた、符号ィ匕制御部 9からフレーム内符号 化を指示されたときは、フレーム内符号ィ匕を行い、フレーム内符号ィ匕を指示されない ときはフレーム間符号ィ匕を行う。符号化器 3はさらに、符号化制御部 9から指示された 量子化パラメータで量子化を行う。
[0044] 符号化制御部 9と符号化器 3とで、スィッチ 2を介して供給される動画像をフレーム 内符号化またはフレーム間符号化に基づき、量子化された DCT係数を符号化する 符号ィ匕手段 10が構成されている。
[0045] 以上のように構成される動画像符号ィ匕装置において、フレーム間変化量 VAと閾値 TW、 TV (TW, TVは整数、 TW≥TV>0)との比較により、符号化方法及び量子化 パラメータの決定、フレームスキップ挿入の要否の決定を行って 、る。
[0046] 要約すれば、フレーム間変化量 VAが第 2の閾値 TW以上であり（この場合本例で は第 1の閾値 TV以上である）かつ仮の目標符号量 QTが所定の閾値 TM未満である ときは、フレームスキップを行い、次のフレームでフレーム内符号化を行い、量子化パ ラメータを初期設定する。
フレーム間変化量 VAが第 1の閾値 TV以上であると言う条件は満たされるものの、 フレーム間変化量 VAが第 2の閾値 TW未満である力、仮の目標符号量 QTが閾値 T M以上であるときは、目標符号量の割増しを行って、フレーム間符号化を行う。 フレーム間変化量 VAが第 1の閾値 TV未満のときはフレームスキップも目標符号量 の割増しも行わず、フレーム間符号化を行う。
[0047] 以下、図 6を参照して符号ィ匕処理の概要を説明する。ここでは、 N = 1とし、 Nフレー ム前のフレームを単に前フレームと呼ぶ。
[0048] まず、前フレームと現フレームとがフレームメモリ 1に格納される（ステップ S 1)。
[0049] 入力画像解析部 7で、現フレームと前フレームとのフレーム間変化量 VAが検出さ れ、これによりフレーム間の相違が定量的に判定される。そして検出されたフレーム 間変化量 VAに基づ ヽてフレームスキップ挿入回数 NAが設定され出力される (ステ ップ S2)。即ち、フレーム間変化量 VAが第 1の閾値 TV以上であればフレームスキッ プ挿入回数 NAを「1」に設定する。
[0050] 次に、フレーム目標符号量設定部 6で、所定の基準符号量 QR、前フレームの目標 符号量 QU及び実際に発生した符号量 QBから仮の目標符号量 (現フレームで使用 が可能である符号量)を求め、さらに、求めた仮の目標符号量につき、フレーム間変 化量 VAを考慮に入れ、仮の目標符号量が所定値よりも少なければフレームスキップ を考慮し、フレームスキップ挿入回数 NBを設定する（ステップ S3)。即ち、フレーム間 変化量 VAが第 2の閾値 TW以上で、かつ、仮の目標符号量 QTが閾値 TM未満で あればフレームスキップ挿入回数 NBを「 1」に設定する。
[0051] 次に、ステップ S2で算出したフレームスキップ挿入回数 NAと、ステップ S3で算出 したフレームスキップ挿入回数 NBをフレームスキップ制御部 8にお!/、て組み合わせ ることにより、フレームスキップ挿入可否情報 SKを設定する (ステップ S4)。
[0052] ステップ S4におけるフレームスキップ制御部 8の動作とともに、フレーム目標符号量 設定部 6及び符号化制御部 9では、フレーム間変化量 VA及び仮の目標符号量 QT につ 、ての判定結果に基づ 、て目標符号量の制御、割増しの要否の決定などを行 う（ステップ S5, S6)。 フレーム間変化量 VAが第 1の閾値 TV未満である場合 (ステップ S5で NO)、フレ ーム間における映像の変化量が小さいと考えられるため、フレーム間符号ィ匕で符号 量を増やす必要は無い。そこで、符号量を割り増しを行わず、フレーム目標符号量 設定部 6で定められた目標符号量に基づいて、さらに前フレームで用いた量子化パ ラメータを参照して新たに量子化パラメータを設定し、現フレームに対して符号ィ匕手 段 10でフレーム間符号ィ匕を行う（ステップ S12)。
[0053] 符号ィ匕手段 10でフレーム間符号ィ匕されたビットストリームはバッファ 4に格納され（ ステップ S13)、符号量検出部 5で符号量 QBが検出される (ステップ S14)。
これにより、一つのフレームに対する処理が終わり、次のフレームに対する処理が 始まる。
[0054] フレーム間変化量 VAが第 1の閾値 TV以上であると言う条件は満たされる (ステツ プ S5で YES)ものの、フレーム間変化量 VAが第 2の閾値 TW未満である力、仮の目 標符号量 QTが閾値 TM以上である (ステップ S6で NO)場合には、現フレームに対 して符号量を割増し、割増した目標符号量に基づいて、さらに前フレームで用いた量 子化パラメータを参照して、フレーム間符号ィ匕を行う (ステップ S9)。符号量を割増す のは、フレーム間における映像の変化量が大きいためである。
[0055] フレーム間符号ィ匕されたビットストリームをバッファへ格納し (ステップ S10)、符号量 QBを検出して (ステップ S11)、現フレームの処理を終了とし、次フレームの符号ィ匕 処理へ進む。
[0056] フレーム間変化量 VAが第 2の閾値 TW以上であり、仮の目標符号量 QTが閾値 T M未満であれば (ステップ S6で YES)場合には、上記のように、フレームスキップ制 御部 8から出力されるフレームスキップ挿入可否情報 SKが「1」となるので、これに基 づき符号ィ匕手段 10ではフレームの符号ィ匕をスキップし、符号ィ匕処理を行わない (ス テツプ S7)。
[0057] スキップしたフレームの次フレームでは、前フレームで用いた量子化パラメータを参 照せずに、量子化パラメータを所定の初期値に設定し、フレーム内符号ィ匕を行う (ス テツプ S8)。
[0058] 本発明は、以上の符号ィ匕手順の中で、フレーム間での画像の変化量が多い場合、 フレーム間変化量 VAに応じてフレームスキップ挿入の要否を判定し、判定結果に応 じてフレームスキップを意図的に発生させて、フレームの符号ィ匕を行わないことにより 、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキッ プ後のフレームへの割当てが予定されていたフレーム目標符号量に加え、スキップ 後のフレームに対して画質劣化の少ない符号ィ匕を行う。
なお、フレームスキップ挿入回数 NAは「1」に限らず、フレーム間変化量 VAの大き さに応じてその数を増減させるようにすることもできる。また、フレームスキップ挿入回 数 NBは「1」に限らず、仮の目標符号量 QTの大きさに応じてその数を増減させるよう にすることちでさる。
[0059] ここで、スキップしたフレームへの割当てが予定されていたフレーム目標符号量の、 スキップ後のフレームへの割増しのための付カ卩の方法について述べる。
まず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、ス キップ直後のフレームにすべて付加し、符号ィ匕を行うことができる。さらには、スキップ 直後のフレーム力 数フレームに渡って符号量を均等に分配して付加することもでき る。また、スキップ直後のフレーム力も数フレームに渡り、フレーム毎に異なる符号量 を分配して付加することもできる。このとき、入力画像解析部 7の出力を考慮して、フ レーム間変化量 VAが大きいときにより多くの符号量を分配することもできる。
[0060] 次に、図 1乃至図 6を用いて、動画像符号化装置 100のフレーム符号化処理動作 について詳細に説明する。
まず、本実施の形態 1における動画像符号ィ匕装置 100の各部を統括して制御する 上位の制御系（図示しない）により入力端子 11を介して入力された一連のフレームが 、順次フレームメモリ 1に格納され、現フレームと前フレームとがそれぞれ領域 lbと la とに格納された状態が維持される (ステップ SI)。
[0061] フレームメモリ 1内に記憶された相連続する現フレームと前フレームとは、入力画像 解析部 7に入力され、両フレーム間における特徴量の変化量が図 3の変化量抽出部 22で検出され、検出されたフレーム間変化量 VAが比較器 24において予め設定さ れた第 1の閾値 TVと比較されて、その結果によって、フレームスキップ挿入回数 NA が設定され、フレームスキップ制御部 8へ出力する (ステップ S 2)。 [0062] フレーム間変化量 VAの検出には、図 4に示すように、フレーム間輝度変化平均を 用いている。具体的には、連続するフレーム間の輝度信号のみに注目し、各画素で 差の絶対値を取り、さらに画素全体の和を取ることによってフレーム間変化量 VAとす る。
[0063] ここで、連続するフレーム間変化量 VAの検出は、上記の方法に限るものでは無ぐ フレーム間変化量 VAを例えば色信号により検出しても良い。
[0064] また、フレーム間変化量の検出は現フレームと前フレームとの間で行っているが、 現フレームと比較するフレームは複数のフレームであっても構わない。また、フレーム 間の誤差分散や画面内の信号値の最大値、最小値、中央値など、画面の特徴値を 用いることもできる。また、連続するフレーム間の変化量の計算を画面全体について 行っている力 これに限るものではなぐ画面をいくつかの部分に分割して、分割した 小領域内で計算し、比較してもよい。また、これら全てのフレーム間変化量の検出方 法を組み合わせてもよぐこれらの組み合わせで、各方法が当てはまるかどうかの多 数決によりフレーム間変化量と閾値との比較をする方法、各方法に重みをつけて当 てはまるかどうかの多数決によりフレーム間変化量と閾値との比較をする方法、所定 数以上の方法でフレーム間変化量 VAと閾値との比較をする方法、特定の方法でフ レーム間変化量と閾値との比較をする方法等があるが、これらも本発明に包含される
[0065] 次に、フレーム目標符号量設定部 6では、所定の基準符号量 QRと、符号量検出部 5で検出された前フレームの符号量 QBとから、現フレームの目標符号量 QTを仮決 定する。
また、仮決定された目標符号量 (仮の目標符号量）にっき、入力画像解析部 7から 得られるフレーム間変化量 VAを考慮にいれて、割増しを行って最終の目標符号量 を定める。さらに、フレームスキップを行う判定を行い、フレームスキップ制御部 8にフ レームスキップ挿入回数 NBを出力する。符号ィ匕制御部 9では、目標符号量から量子 ィ匕パラメータを算出し、符号化器 3に量子化パラメータと符号ィ匕方法を出力する (ステ ップ S3)。
[0066] 例えば、仮の目標符号量 QTが閾値 TM未満であり、フレーム間変化量 VAが第 2 の閾値 TW以上である場合、フレームスキップ挿入回数 NBを「1」として出力し、そう でないときは、フレームスキップ挿入回数 NBを「0」として出力する。
[0067] 但し、フレームスキップ挿入回数 NBの設定は上述の手法に限るものでは無ぐフレ ーム間変化量 VAの大きさに応じてフレームスキップ挿入回数 NBを変化させることと しても良い。
[0068] 次に、ステップ S2で出力されたフレームスキップ挿入回数 NA、ステップ S3で出力 されたフレームスキップ挿入回数 NBをフレームスキップ制御部 8に入力し、フレーム スキップ制御部 8においてフレームスキップ挿入可否情報 SKを設定してスィッチ 2に 出力する (ステップ S4)。
[0069] 最初に、フレーム間変化量 VAが第 1の閾値 TVよりも小さい場合について説明する この場合には、入力画像解析部 7からフレームスキップ制御部 8へ、フレームスキッ プ挿入回数 NAを「0」として出力する (ステップ S2)。また、入力画像解析部 7から第 1 の閾値 TVよりも小さ 、フレーム間変化量 VAを入力したフレーム目標符号量設定部 6は、符号量検出部 5から前フレームの符号量 QBに基づいて目標符号量を求め、求 めた目標符号量を符号ィ匕制御部 9へ伝え、さらに、フレームスキップ制御部 8へフレ 一ムスキップ挿入回数 NBを「0」として出力する（ステップ S3)。
[0070] フレームスキップ制御部 8は、入力画像解析部 7から入力したフレームスキップ挿入 回数 NA( = 0)と、フレーム目標符号量設定部 6から入力したフレームスキップ挿入 回数 NB ( = 0)の平均値（ = 0)を計算し、小数点未満の切り捨てを行い、その結果（ 0)をフレームスキップ挿入可否情報 SK( = 0)として符号ィ匕制御部 9及びスィッチ 2へ 出力する (ステップ S4)。
[0071] 符号化制御部 9は、フレーム目標符号量設定部 6からの目標符号量に基づき、さら に前フレームを参照して量子化パラメータを決定し、符号化器 3へ符号化方法と量子 ィ匕パラメータを出力し、符号化器 3でこれに従って現フレームのフレーム間符号ィ匕を 行う（ステップ S 12)。
[0072] ノッファ 4は符号ィ匕されたビットストリームを出力し (ステップ S13)、符号量検出部 5 はバッファ 4から受け取ったビットストリームの符号量 QBを検出し、この検出値を次フ レームの符号ィ匕における符号量制御のための発生符号量検出値として、フレーム目 標符号量設定部 6に出力する (ステップ S14)。
[0073] 次に、入力画像解析部 7から出力されたフレーム間変化量 VAが、第 1の閾値 TV 以上であると言う条件は満たされるものの、フレーム間変化量 VAが第 2の閾値 TW 未満であるか、仮の目標符号量 QTが閾値 TM以上である場合について説明する。 入力画像解析部 7はフレーム間変化量 VAが第 1の閾値 TVよりも大きいので、フレ 一ムスキップ制御部 8へフレームスキップ挿入回数 NAを「1」として出力する（ステツ プ S2)。入力画像解析部 7からフレーム間変化量 VAを入力したフレーム目標符号量 設定部 6は、符号量検出部 5から前フレームの符号量 QBに基づ 、て目標符号量を 求め、求めた目標符号量を符号化制御部 9へ伝え、フレームスキップ制御部 8へフレ 一ムスキップ挿入回数 NBを「0」として出力する（ステップ S3)。
[0074] フレームスキップ制御部 8は、入力画像解析部 7から入力したフレームスキップ挿入 回数 NA( = 1)と、フレーム目標符号量設定部 6から入力したフレームスキップ挿入 回数 NB ( = 0)の平均値（ = 0. 5)を計算し切り捨てを行い、その結果 (0)をフレーム スキップ挿入可否情報 SK( = 0)として符号ィ匕制御部 9及びスィッチ 2へ出力する (ス テツプ S4)。
[0075] 符号化制御部 9は、フレーム目標符号量設定部 6からの目標符号量に基づき、さら に前フレームを参照して量子化パラメータを決定し、符号化器 3へ符号化方法と量子 ィ匕パラメータを出力し、符号化器 3でこれに従って現フレームのフレーム間符号ィ匕を 行う（ステップ S 9)。
[0076] ノッファ 4は符号ィ匕されたビットストリームを出力し (ステップ S 10)、符号量検出部 5 はバッファ 4から受け取ったビットストリームの符号量 QBを検出し、この検出値を次フ レームの符号ィ匕における符号量制御のための情報として、フレーム目標符号量設定 部 6に出力する (ステップ S 11)。
[0077] 次に、フレーム間変化量 VAが第 2の閾値 TWよりも大きく（本例では TW>TVであ るので、 VA≥TW以上であれば、 VA>TVである）、かつ仮の目標符号量 QTが閾 値 TM未満である場合にっ 、て説明する。
入力画像解析部 7はフレーム間変化量 VAが第 1の閾値 TVよりも大きいので、フレ 一ムスキップ制御部 8へフレームスキップ挿入回数 NAを「1」として出力する（ステツ プ S2)。入力画像解析部 7からフレーム間変化量 VAを入力したフレーム目標符号量 設定部 6は、フレーム間変化量 VAが第 2の閾値 TWよりも大きぐかつ仮の目標符号 量 QTが閾値 TM未満であるので、フレームスキップ制御部 8へフレームスキップ挿入 回数 NBを「1」として出力する (ステップ S3)。
[0078] フレームスキップ制御部 8は、入力画像解析部 7から入力したフレームスキップ挿入 回数 NA( = 1)と、フレーム目標符号量設定部 6から入力したフレームスキップ挿入 回数 NB ( = 1)の平均値（ = 1)を計算し切り捨てを行!ヽ、その結果（ = 1)をフレーム スキップ挿入可否情報 SK( = 1)として符号ィ匕制御部 9及びスィッチ 2へ出力する (ス テツプ S4)。
[0079] 符号ィ匕制御部 9は、符号化器 3へ符号ィ匕方法と量子化パラメータを出力せずにフレ 一ムスキップを行わせ (ステップ S 7)、次フレームの符号化の準備をする（ステップ S8 )。そして次のフレームの符号ィ匕に関し、フレーム内符号ィ匕を指示し、量子化パラメ一 タを初期設定する（例えば、符号量検出部 5から入力された前フレームの符号量 QB を参照せずに量子化パラメータを所定の初期値に設定する)。
[0080] フレームスキップを行った場合、次フレームでは、入力画像解析部 7ではフレーム 間変化量 VAの算出は行わず、フレームスキップ制御部 8はフレームスキップ挿入可 否情報 SKとして「0」を出力し、スィッチ 2がオンとなる。そして、符号化制御部 9の出 力である、前フレーム時に設定した符号ィ匕方法 (フレーム内符号ィ匕を指示して 、る） と初期設定された量子化パラメータを用いて、符号化器 3が符号ィ匕処理を行うことと なる。
[0081] ノッファ 4は符号ィ匕されたビットストリームを出力し、符号量検出部 5はバッファ 4から 受け取ったビットストリームの符号量 QBを検出し、この検出値を次フレームの符号ィ匕 における符号量制御のための情報として、フレーム目標符号量設定部 6に出力する
[0082] ここで、フレームスキップ挿入回数 NA、フレームスキップ挿入回数 NB、フレームス キップ挿入可否情報 SKの決定手法は上記の方法に限らない。
上記の例では、フレームスキップ挿入回数 NAがフレーム間変化量 VAの大きさに よって「0」、あるいは「1」を取ることとした力 フレーム間変化量 VAに基づいて回数を 多段に設定させても良い。即ち、フレーム間変化量 VAの大きさに応じてフレームス キップ挿入回数 NAを増減させることとしても良 、。
実施の形態 1では、フレームスキップ挿入回数 NBがフレーム間変化量 VAと仮の 目標符号量 QTとを組み合わせて「0」ある 、は「 1」を取ることとした力 フレーム間変 化量 VAと仮の目標符号量 QTとの組み合わせに基づ 、てフレームスキップ挿入回 数を多段に設定 (複数の値のうちの一つを選択)しても良い。また、仮の目標符号量 QTの大きさに応じてフレームスキップ挿入回数 NBを増減させることとしても良 、。 また、フレームスキップ挿入回数 NAは常に「0」を取るものとし、フレームスキップ揷 入回数 NBのみを用いてもよぐその逆としてフレームスキップ挿入回数 NBを常に「0 」としてフレームスキップ挿入回数 NAのみを用いても良!、。
また、フレームスキップ挿入可否情報 SKの決定において、実施の形態 1ではフレ 一ムスキップ挿入回数 NAとフレームスキップ挿入回数 NBの平均値を計算し小数点 未満の切り捨てを行ったが、それらの合計を求めてもよぐまたはそれらの最大値を 求めて良ぐまたはフレームスキップ挿入回数 NA、 NBを「0」あるいは「1」と限定して おき論理和演算などを行うことも可能である。これらはすべて本発明に包含される。
[0083] 次に、実施の形態 1にお!/、て連続して供給される一連のフレーム (フレームシーケ ンス）を順次符号化処理する具体例を図 7乃至図 10で示し、本実施の形態の処理を 説明する。
図 7及び図 9は、複数のフレームから成るフレームシーケンスの例と、該フレームシ 一ケンスにおける前フレームに対するフレーム間変化量 VA、各フレームに対して決 定される符号化方法を示す。
図 8及び図 10は、上記フレームシーケンスの各時点における目標符号量を棒ダラ フとして、符号ィ匕方法とともに示したものである。
フレーム間変化量 VAに対する閾値 TW、 TVはそれぞれ TW= 80、 TV= 20と設 定されている。
[0084] まず、図 7、図 8を参照して符号量の割増しが発生するフレームシーケンスについて 説明する。 最初に、図 7において、時点 T=aOから T=alにかけてフレーム間変化量 VAが 0 Zpixelであり、第 1の閾値 TV未満である。この場合、通常処理により符号化を行つ ても画質劣化は少ない。したがって、図 8で示すように同フレームでは、割増し無しの フレーム目標符号量で (割増し無しのフレーム目標符号量を最終の目標符号量とし て）フレーム間符号ィ匕を行っている。
[0085] 時点 T=al力も T=a2にかけてフレーム間変化量 VAが lOZpixelであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 8で示すように同フレームでは、割増し無しのフレーム目標符号量でフレ ーム間符号ィ匕を行っている。
[0086] 時点 T=a2から T=a3にかけてフレーム間変化量 VA力 OZpixelであり、第 1の 閾値 TV以上で第 2の閾値 TW未満である。この場合、通常より多い符号量を用いた 符号化処理し画質劣化を抑える必要がある。そこで、同フレームでは、符号量を割増 し、フレーム間符号ィ匕を行う。例えば、図 8で示すようにフレーム目標符号量を 2倍に 割増してフレーム間符号ィ匕を行う。
[0087] 時点 T=a3から T=a4にかけてフレーム間変化量 VAが lOZpixelであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 8で示すように同フレームでは、割増し無しのフレーム目標符号量でフレ ーム間符号ィ匕を行っている。
[0088] 時点 T=a4から T=a5にかけてフレーム間変化量 VAが 15Zpixelであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 8で示すように同フレームでは、割増し無しのフレーム目標符号量でフレ ーム間符号ィ匕を行っている。
[0089] 時点 T=a5から T=a6にかけてフレーム間変化量 VAが 15Zpixelであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 8で示すように同フレームでは、割増し無しのフレーム目標符号量でフレ ーム間符号ィ匕を行っている。
[0090] 次に、図 9、図 10を参照してフレームスキップ及び符号量割増しが発生するフレー ムシーケンスについて説明する。 最初に、時点 T=bOから T=blにかけてフレーム間変化量 VAが 15Zpixelであり 、第 1の閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化 は少ない。そこで、図 10で示すように同フレームでは、割増し無しのフレーム目標符 号量でフレーム間符号ィ匕を行って 、る。
[0091] 時点 T=blから T=b2にかけてフレーム間変化量 VAが 15Zpixelとであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 10で示すように同フレームでは、割増し無しのフレーム目標符号量でフ レーム間符号ィ匕を行って 、る。
[0092] 時点 T=b2から T=b3にかけてフレーム間変化量 VAが lOOZpixelであり、第 2の 閾値 TW以上である。この場合、通常処理により符号化を行うと画質が劣化してしまう 。そこで、仮の目標符号量が閾値 TM未満であることを条件として、フレームスキップ を意図的に行い、符号化処理を行わず、次フレームにこのときの符号量を回すことと する。この結果、図 10に示すように、同フレームでは、符号量が「0」となる。
[0093] T=b3力ら T=b4〖こ力けては、前フレームが符号化されておらず、 T=b4のフレー ムにおいて、前フレームで用いられた量子化パラメータを参照せず、量子化パラメ一 タを所定の初期値に設定し、フレーム内符号ィ匕を行う。
つまり、フレーム間変化量 VAが大きくなるフレームの次フレームは、前フレームとの 相関性が低くなり、過去のフレームの量子化パラメータを参照する必要性は少ないこ と力ら、前フレームとは独立に次フレームに適切な量子化パラメータを与え、フレーム 内符号ィ匕を行うことで、画質の劣化の少ない符号ィ匕を行う。一般的に、フレーム内符 号ィ匕はフレーム間符号ィ匕よりも多い符号量を要する力 前フレームで意図的にフレ 一ムスキップを行ったため利用可能な符号量が減っておらず、その分の符号量を次 フレームの符号化に付加することができ、次フレームでフレーム内符号化を行っても 画質の劣化が少なくなる十分な符号量を割当てることができる。
[0094] 時点 T=b4から T=b5にかけてフレーム間変化量 VAが lOZpixelであり、第 1の 閾値 TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない 。そこで、図 10で示すように同フレームでは、割増し無しの目標符号量でフレーム間 符号ィ匕を行っている。 [0095] 時点 T=a5から T=a6にかけてフレーム間変化量 VA力 0Zpixelであり、第 1の 閾値 TV以上で第 2の閾値 TW未満である。この場合、通常より多い符号量を用いた 符号化処理し画質劣化を抑える必要がある。そこで、同フレームでは符号量を割増 し、フレーム間符号ィ匕を行う。例えば、図 10に示すようにフレーム目標符号量を 2倍 に割増してフレーム間符号ィ匕を行う。
[0096] フレーム間変化量 VAに対する閾値の設定は、上記のように、第 1の閾値 TV及び 第 2の閾値 TWの 2つを用いる代わりに、閾値を値の低いものから順に第 1乃至第 4の 閾値 Ta、 Tb、 Tc、 Tdを設定し、フレーム間変化量 VAが第 1の閾値 Ta未満であれ ば割増し無しの符号量でフレーム間符号ィ匕を行い、第 1の閾値 Ta以上で第 2の閾値 Tb未満であれば符号量を割増してフレーム間符号ィ匕を行 、、第 2の閾値 Tb以上で 第 3の閾値 Tc未満であれば量子化パラメータを初期化してフレーム内符号ィ匕を行い 、第 3閾値 Tc以上で第 4の閾値 Td未満であれば、フレームスキップ数を「1」とし、第 4の閾値 Td以上であればフレームスキップ数を「3」とするなど、上記とは異なる構成 とすることちでさる。
[0097] また、フレーム間変化量 VAに対する閾値の設定として、複数個の閾値を用意して おき、フレーム毎に選んで用いることもできる。さらに、数フレーム毎に閾値の設定を 変化させて、数フレーム毎に適切な閾値を用いることもできる。
[0098] 実施の形態 1における量子化パラメータの推移を図 11を用いて説明する。
まず、時点 T=Iaは、周期的に挿入されるフレーム内符号ィ匕に用いる量子化パラメ ータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
[0099] 時点 T=Ia以降時点 T=Ibまでは、フレーム間変化量 VAが少なくフレーム間符号 化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことか ら、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。 また、前フレームで用いた量子化パラメータを参照して量子化パラメータを求める。
[0100] 時点 T=Ibでは、周期的に挿入されるフレーム内符号ィ匕に用いる量子化パラメータ のため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
[0101] さらに、時点 T=b2まではフレーム間符号ィ匕を行うため、比較的大きい量子化パラ メータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い 量子化を行っており符号量は少なくて済む。また、前フレームで用いた量子化パラメ ータを参照して量子化パラメータを求める。
[0102] 時点 T=b2と時点 T=b3間では、フレーム間変化量 VAが大となり、時点 T=b3で 意図的にフレームスキップをさせている。このとき、時点 T=b3では符号ィ匕が行われ ないため、量子化パラメータは設定されない。従って、図 11では量子化パラメータを 表す曲線が中断されることとなる。
[0103] 時点 T=b4では、前フレームで用いた量子化パラメータを参照せずに量子化パラメ ータを所定の初期値に設定し、フレーム内符号ィヒを行う。この場合、画質の劣化を防 ぐために量子化パラメータを小さくする。その結果、符号量は増加する。しかし前フレ ームで符号化を行わなかったため、前フレームの符号量は Obitであり、前フレームで 割当てられた符号量を現フレームで割当てられた符号量に加えて用いることができ、 フレーム内符号ィ匕を挿入しても全体的な符号量は増えず、画質の劣化も少ない。さ らに、フレーム間変化量 VAが大きぐ不連続な映像であると考えられ、フレームスキ ップを行っても不自然な映像とはならな ヽ。
[0104] 時点 T=Icまではフレーム間符号ィ匕を行うため、比較的大きい量子化パラメータを 用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化 を行っており符号量は少なくて済む。
[0105] 時点 T=Icでは、周期的に挿入されるフレーム内符号ィ匕のため、用いる量子化パラ メータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
[0106] 時点 T=Ic以降も同様にして、周期的にフレーム内符号ィ匕を挿入しつつフレーム 間符号化を行う。また、フレーム間変化量 VAを指標としてフレームスキップを意図的 に導入し、画質劣化の少ない符号化を行う。
[0107] 上記の実施の形態 1によれば、フレームを符号化する際、フレーム間変化量 VAが 大きい場合、フレームスキップを意図的に発生させて、フレームの符号化を行わず、 スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ 後のフレームへの割当てが予定されていたフレーム目標符号量にカ卩えることができる ので、スキップ後のフレームでは、十分な符号量を用いて画質劣化の少ない符号ィ匕 を行うことができ、その結果、安定した画質と符号量制御を実現することができる。 [0108] また、上記のようにフレームスキップ挿入回数 NAやフレームスキップ挿入回数 NB は「1」か「0」ではなぐ多段に設定することができ、例えば、フレーム目標符号量設定 部 6にお 、て、仮決定された目標符号量 QTに基づ 、てフレームスキップ挿入回数 N Bを多値の中から一つの値に決定し、フレームスキップ制御手段 8において、決定さ れたフレームスキップ挿入回数 NBに基づいてフレームスキップを行わせるようフレー ムスキップ挿入可否情報の内容を定めることとすれば、仮決定された目標符号量の 値に応じて、フレームスキップの回数を増減することができ、安定した画質と符号量 制御を実現することができる。同様に、入力画像解析手段 7が、検出したフレーム間 変化量 VAに基づ!/、てフレームスキップ挿入回数 NAを多値の中力 一つの値に決 定し、フレームスキップ制御手段 8において、決定されたフレームスキップ挿入回数 N Aに基づいてフレームスキップを行わせるよう前記フレームスキップ挿入可否情報 SK の内容を定めることとすれば、フレーム間変化量 (VA)の値に応じて、フレームスキッ プの回数を増減することができ、安定した画質と符号量制御を実現することができる
[0109] さらに、フレーム間変化量 VAが第 1の閾値 TVよりも大きいと判定されたときに、フ レーム目標符号量設定部 6において、前記フレーム間変化量 VAが前記第 1の閾値 TVよりも小さい場合に比べより多くの符号量を割当てることとすれば、画質劣化の少 ない符号ィ匕を行うことができ、その結果、安定した画質と符号量制御を実現すること ができる。
[0110] 実施の形態 2.
次に、実施の形態 2を説明する。実施の形態 2の動画像符号ィ匕装置の構成を図 12 に示す。図 12の装置は、図 1の装置と概して同じであるが、入力画像解析部 7及びフ レームスキップ制御部 8の構成が異なる。図 13は、図 12の入力画像解析部 7の構成 を示す。
[0111] 図 13に示される入力画像解析部 7は、フレーム内複雑度 FHをも検出できるように したものであり、図 3の入力画像解析部 7と同じぐ Nフレーム前画像を入力する入力 端子 25と、現フレーム画像を入力する入力端子 26と、入力端子 25から入力された N フレーム前画像と、入力端子 26から入力された現フレーム画像間の変化量を抽出す る変化量抽出部 22と、第 1の閾値 TVを設定する閾値設定部 23と、変化量抽出部 22 力も出力されたフレーム間変化量 VAを、閾値設定部 23で設定された第 1の閾値 TV と比較してフレームスキップ挿入回数 NAを出力する比較器 24と、フレームスキップ 挿入回数 NAを出力する出力端子 27と、フレーム間変化量 VAを出力する出力端子 28とを備える。
図 13に示される入力画像解析部 7はさらに、入力端子 26から入力された現フレー ム画像の複雑度 FHを抽出する複雑度抽出部 51と、閾値 (複雑度閾値) THを設定 する閾値設定部 52と、複雑度抽出部 51から出力されたフレーム内複雑度を閾値設 定部 52から出力された閾値 THと比較してフレームスキップ挿入回数 NCを出力する 比較器 53と、比較器 24から出力されたフレームスキップ挿入回数 NAと比較器 53か ら出力されたフレームスキップ挿入回数 NCを入力とし、これらに基づいてフレームス キップ挿入回数 NDを決定して出力するフレームスキップ挿入回数仮決定部 54と、フ レームスキップ挿入回数 NDを出力する出力端子 29とを備える。
出力端子 27から出力されるフレームスキップ挿入回数 NAと出力端子 29に出力さ れるフレームスキップ挿入回数 NDとがフレームスキップ制御部 8に供給される。
[0112] 図 13の複雑度抽出部 51は例えば図 14に示されるように、入力端子 71と、エッジ抽 出部 72と、和演算部 73と、平均演算部 74と、出力端子 75とを備える。
エッジ抽出部 72は、入力端子 71から入力された現フレーム画像のエッジ抽出する 。即ち、各画素についてエッジの有無を検出する。和加算部 73は、エッジ抽出部 72 により抽出されたエッジを入力として加算する。即ち、エッジとして検出された画素の 数を求める。平均演算部 74は、和演算部 73から出力されるエッジ総数をフレーム内 の画素数で割り、それを 100倍した値を出力する。 100倍するのは、取り扱いの容易 な数値とするためである。平均演算部 74から出力される値は、現フレームに含まれる エッジの割合、即ち 1画素当たりのエッジ数に比例した値（ 1画素当たりのエッジ数を 100倍した値)を表すものであり、これがフレーム内複雑度 FHを表す信号として出力 端子 75から出力される。
[0113] 次に、図 12、図 13、図 14を用いて実施の形態 2を説明する。実施の形態 1の符号 化処理と異なる部分のみ詳細に述べる。 まず、本実施の形態 1と同様、動画像符号化装置 100の各部を統括して制御する 上位の制御系により入力されたフレーム力 フレームメモリ 1に一時的に蓄積される。
[0114] フレームメモリ 1内に記憶された連続する現フレームと前フレームとを、入力画像解 析部 7に入力し、両フレーム間における特徴量の変化量を検出し、フレームスキップ 挿入回数 NAを求め、出力端子 27からフレームスキップ制御部 8に出力する。さらに 、複雑度抽出部 51で現フレームに対してフレーム内複雑度 FHを検出し、フレームス キップ挿入回数 NCを求める。そしてフレームスキップ挿入回数 NAとフレームスキッ プ揷入回数 NCとに基づきフレームスキップ挿入回数仮決定部 54でフレームスキッ プ挿入回数 NDを決定して出力端子 29からフレームスキップ制御部 8へ出力する。
[0115] フレーム間変化量 VAの検出には、実施の形態 1と同様に、様々な検出方法を用い ることができる。また、フレーム内複雑度の検出も同様であり、実施の形態 2では輝度 信号に対して現フレーム画像の一画素中含まれるエッジ数を用いている力 たとえば 輝度信号を用いずに、色信号を用いる方法や、フレームの一部を占める小領域内で 検出処理を行ってもよぐ複数の小領域に対して検出処理を行った後、それらを総合 して (例えば平均を取って)複雑度を検出する方法などが考えられる。また、フレーム 内複雑度の評価は画像の分散値を求めることや、 DCT係数の高周波域を評価する 方法など、様々な方法が考えられる。
[0116] 実施の形態 2では、フレーム内複雑度 FHが閾値 TH (TH≥0、 THは整数）以上で 、かつフレーム間変化量 VAが第 1の閾値 TV以上である場合において、現フレーム のフレーム間符号ィ匕には多くの符号量を要するものと判断し、フレームスキップ挿入 回数 NDを「1」として、現フレームに対してフレームスキップを意図的に発生させて、 フレームの符号化を行わな 、ことにより、フレームスキップしたフレームへの割当てが 予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定さ れて 、たフレーム目標符号量にカ卩え、スキップ後のフレームに対してフレーム内符号 化を適用し、画質劣化の少ない符号ィ匕を行う。即ち実施の形態 2では、フレームスキ ップ制御部 8は、入力画像解析部 7からのフレームスキップ挿入回数 NDが「1」であ れば、フレーム目標符号量設定部 6からのフレームスキップ挿入回数 NBの値の如何 を問わず、フレームスキップ挿入可否情報 SKを「1」として符号ィ匕手段 10にフレーム スキップを行わせる。ここで、フレーム内複雑度 FHが閾値 TH以上でなければ、実施 の形態 1と同様の符号ィ匕を行う。即ち、フレームスキップ制御部 8は、入力画像解析 部 7からのフレームスキップ挿入回数 NAとフレーム目標符号量設定部 6からのフレ 一ムスキップ挿入回数 NBとに基づいて実施の形態 1で説明したのと同様の判断を行 つて、フレームスキップを行わせる。
[0117] フレーム内複雑度 FHを用いることにより、フレーム間変化量 VAが少ない場合でも 、符号量が足りなくなり画質の劣化が生じてしまう符号ィ匕を回避することができる。
[0118] 以上に述べたことを、図 15、図 16に示される具体的なフレームシーケンスの例につ いて説明する。以下の説明でフレーム内複雑度 FHに対する閾値 THを 20とする。 まず、時点 T= cOから T= c 1にかけてフレーム間変化量 VAが 15Zpixelで閾値 T Vよりも小さぐフレーム内複雑度 FHが 3Zpixelであり閾値 THよりも小さい。この場 合、通常処理により符号化を行っても画質劣化は少ない。そこで、図 15に示すように 、同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号ィ匕を行ってい る。
[0119] 時点 T=clから T=c2にかけてフレーム間変化量 VAが 15Zpixelで閾値 TVより も小さぐフレーム内複雑度 FHが 5Zpixelであり閾値 THよりも小さい。この場合、通 常処理により符号化を行っても画質劣化は少ない。そこで、図 15に示すように、同フ レームでは、割増し無しのフレーム目標符号量でフレーム間符号ィ匕を行っている。
[0120] 時点 T=c2から T=c3にかけてフレーム間変化量が lOOZpixelで第 2の閾値 TV 以上であり、フレーム内複雑度 FHが 25Zpixelであり閾値 TH以上である。この場合 、通常処理により符号化を行うと画質が劣化してしまう。そこで、フレームスキップを意 図的に行い、符号化処理を行わず、次フレームにこのときの符号量を回すこととする 。この結果、図 15に示すように、同フレームでは、符号量が「0」となる。
[0121] T=c3から T=c4にかけては、前フレームが符号化されておらず、 T=c4のみのフ レームで符号ィ匕を行うため、前フレームで用いられた量子化パラメータを参照せずに 量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う。つまり、フレー ム間変化量 VAが大きくなるフレームの次フレームは、前フレームとの相関性が低くな り、過去のフレームの量子化パラメータを参照する必要性は少ない。従って、前フレ 一ムとは独立に次フレームに適切な量子化パラメータを与え、フレーム内符号化を行 うことで、画質の劣化の少ない符号ィ匕を行う。一般的に、フレーム内符号ィ匕はフレー ム間符号ィ匕よりも多い符号量を要する力 前フレームで意図的にフレームスキップを 行ったため利用可能な符号量が減っておらず、その分の符号量を次フレームの符号 化に割当てることができ、次フレームでフレーム内符号ィ匕を行っても画質の劣化が少 なくなる十分な符号量を割当てることができる。
[0122] 時点 T=c4力も T=c5にかけてフレーム間変化量 VAが lOZpixelで閾値 TVより も小さぐフレーム内複雑度 FHも 15/pixelと閾値 THよりも小さい。この場合、通常 処理により符号化を行っても画質劣化は少ない。そこで、図 15に示すように、同フレ ームでは、割増し無しのフレーム目標符号量でフレーム間符号ィ匕を行っている。
[0123] 時点 T=c5から T=c6にかけてフレーム間変化量 VA力 OZpixelで、第 1の閾値 TV以上でかつ第 2の閾値 TW未満となることと、フレーム内複雑度 FHが 20Zpixel と閾値 THを超えている。この場合、通常より多い符号量を用いなければ画質劣化が 起こると考えられる。そこで、図 15に示すように、符号量を通常よりも例えば 2倍に割 増してフレーム間符号ィ匕を行う。
[0124] フレーム内複雑度 FHにおける閾値 THの設定は、限定された値を持つわけでは無 ぐフレームに対して適切なものを選ぶことができる。また閾値 THを多段階に設定し 、フレームスキップ挿入回数を増減することも可能である。
[0125] 実施の形態 2において、量子化パラメータの推移を図 17に示すフレームシーケンス について説明する。
まず、時点 T=Icは、周期的に挿入されるフレーム内符号ィ匕に用いる量子化パラメ ータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
[0126] 時点 T=c2まではフレーム間符号ィ匕を行うため、比較的大きい量子化パラメータを 用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化 を行っており符号量は少なくて済む。また、前フレームで用いた量子化パラメータを 参照して量子化パラメータを求める。
[0127] 時点 T=c2と時点 T=c3間のフレーム間変化量 VAが大となり、かつ T=c3でフレ ーム内複雑度 FHが大となっているので、時点 T=c3で意図的にフレームスキップを させることとする。このとき、時点 T=c3では符号ィ匕が行われないため、量子化パラメ ータは設定されず、図 17に示すように、曲線が中断されることとなる。
[0128] 時点 T=c4では、前フレームで用いた量子化パラメータを参照せずに量子化パラメ ータを所定の初期値に設定し、フレーム内符号ィヒを行う。この場合、画質の劣化を防 ぐために量子化パラメータを小さくする。その結果、符号量は増加する。しかし前フレ ームで符号化を行わなかったため、前フレームの符号量 QBは Obitであり、前フレー ムで割当てられた符号量を現フレームで割当てられた符号量に加えて用いることが でき、フレーム内符号ィ匕を挿入しても全体的な符号量は増えず、画質の劣化も少な い。さらに、フレーム間変化量 VAが大きぐ不連続な映像であると考えられ、フレー ムスキップを行っても不自然な映像とはならな 、。
[0129] 時点 T=Idまではフレーム間符号ィ匕を行うため、比較的大きい量子化パラメータを 用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化 を行っており符号量は少なくて済む。
[0130] 時点 T=Idでは、周期的に挿入されるフレーム内符号ィ匕を行うので、量子化パラメ ータを小さくする。つまり、細かい量子化を行っており符号量は多くなる。
[0131] 時点 T=Id以降も同様にして量子化パラメータを制御し符号ィ匕を行う。
[0132] 上記の実施の形態 2によれば、フレームを符号化する際、フレーム間変化量 VAが 閾値よりも大きぐかつフレーム内複雑度 FHが閾値よりも大きい場合、フレームスキッ プを意図的に発生させて、フレームの符号ィ匕を行わず、スキップしたフレームへの割 当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが 予定されて 、たフレーム目標符号量に加えることができるので、実施の形態 1につ ヽ て述べた効果にカ卩え、スキップ後のフレームに対して画質劣化の少ない符号ィ匕を行 うことができ、その結果、安定した画質と符号量制御を実現することができる。

Claims

請求の範囲
[1] 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力 画像解析手段と、
前記入力された動画像を符号ィヒする符号ィヒ手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量 とにより、前記符号ィ匕手段で符号ィ匕するフレームの目標符号量を仮決定するフレー ム目標符号量設定手段と、
前記符号ィ匕手段における符号ィ匕をフレーム単位でスキップさせるフレームスキップ 制御手段と
を備えた動画像符号ィ匕装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第 1のフレームスキップ 挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定され た目標符号量に基づ 、て第 2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が前記第 1のフレームスキップ挿入回数と前記第 2 のフレームスキップ挿入回数とに基づいてフレームスキップ挿入可否情報を設定し、 これにより前記符号ィ匕手段における符号ィ匕のフレーム単位でのスキップを制御する ことを特徴とする動画像符号化装置。
[2] 前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定され た目標符号量に基づ!、て最終の目標符号量を決定し、
前記符号化手段は、
前記入力された動画像をフレーム内符号ィ匕またはフレーム間符号ィ匕により符号ィ匕 する符号化器と、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップ を行うかどう力 及び符号化をフレーム内符号化で行うかフレーム間符号化で行うか を決定し、前記最終の目標符号量に基づいて量子化パラメータを設定し、これらの 決定及び設定に基づいて前記符号化期を制御する符号化制御部と
を有する ことを特徴とする請求項 1に記載の動画像符号化装置。
[3] 前記符号化制御部は、現フレームの目標符号量と前フレームの量子化パラメータと に基づいて現フレームの量子化パラメータを定めることを特徴とする請求項 2に記載 の動画像符号化装置。
[4] 前記フレーム間変化量が前記第 1の変化量閾値以上であると判定されたときに、前 記フレーム目標符号量設定手段が、前記最終の目標符号量を、前記仮決定された 目標符号量よりも大きな値とすることを特徴とする請求項 2に記載の動画像符号ィ匕装 置。
[5] 前記符号化手段は、前記フレームスキップ挿入可否情報に基づいてスキップしたフ レームの次のフレームをフレーム内符号ィ匕で符号ィ匕を行うことを特徴とする請求項 1 に記載の動画像符号化装置。
[6] 前記符号化手段は、フレーム内符号化を行うときは、前フレームの量子化パラメ一 タを参照せずに設定された量子化パラメータを設定することを特徴とする請求項 5に 記載の動画像符号化装置。
[7] 前記フレームスキップ制御手段は、決定されたフレームスキップ挿入回数だけフレ 一ムスキップを行わせるよう前記フレームスキップ挿入可否情報の内容を定める ことを特徴とする請求項 1に記載の動画像符号化装置。
[8] 前記フレーム目標符号量設定手段は、前記仮決定された目標符号量が小さ 、ほど 前記第 1のフレームスキップ挿入回数を多くすることを特徴とする請求項 7に記載の 動画像符号化装置。
[9] 前記入力画像解析手段は、前記フレーム間変化量が大きいほど前記第 1のフレー ムスキップ挿入回数を多くすることを特徴とする請求項 7に記載の動画像符号ィ匕装置
[10] 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力 画像解析手段と、
前記入力された動画像を符号ィヒする符号ィヒ手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量 とにより、前記符号ィ匕手段で符号ィ匕するフレームの目標符号量を仮決定するフレー ム目標符号量設定手段と、
前記符号ィ匕手段における符号ィ匕をフレーム単位でスキップさせるフレームスキップ 制御手段と
を備えた動画像符号ィ匕装置において、
前記フレーム目標符号量設定手段において、前記フレーム間変化量が所定の第 1 の変化量閾値以上であり、且つ前記仮決定された目標符号量が所定の符号量閾値 未満であることが検出された場合に、前記フレームスキップ制御手段力 現フレーム の符号ィ匕をスキップさせるようフレームスキップ挿入可否情報を設定し、これにより前 記符号ィ匕手段における符号ィ匕のフレーム単位でのスキップを制御する
ことを特徴とする動画像符号化装置。
[11] 前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定され た目標符号量に基づ!/、て最終の目標符号量を決定し、
前記符号化手段は、
前記入力された動画像をフレーム内符号ィ匕またはフレーム間符号ィ匕により符号ィ匕 する符号化器と、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップ を行うかどう力 及び符号化をフレーム内符号化で行うかフレーム間符号化で行うか を決定し、前記最終の目標符号量に基づいて量子化パラメータを設定し、これらの 決定及び設定に基づいて前記符号化期を制御する符号化制御部と
を有する
ことを特徴とする請求項 10に記載の動画像符号ィ匕装置。
[12] 前記符号化制御部は、現フレームの目標符号量と前フレームの量子化パラメータと に基づ!/、て現フレームの量子化パラメータを定めることを特徴とする請求項 11に記 載の動画像符号化装置。
[13] 前記フレーム間変化量が前記第 1の変化量閾値以上であると判定されたときに、前 記フレーム目標符号量設定手段が、前記最終の目標符号量を、前記仮決定された 目標符号量よりも大きな値とすることを特徴とする請求項 12に記載の動画像符号ィ匕 装置。
[14] 前記フレーム目標符号量設定手段において、前記フレーム間変化量が、所定の第 2の変化量閾値 TW以上であり、かつ前記仮決定された目標符号量が所定の符号量 閾値未満であると判定されたときに、前記フレームスキップ制御手段 8は現フレーム の符号ィ匕をスキップさせるように前記フレームスキップ挿入可否情報を設定する ことを特徴とする請求項 10に記載の動画像符号ィ匕装置。
[15] 前記符号化手段は、前記フレームスキップ挿入可否情報に基づいてスキップしたフ レームの次のフレームをフレーム内符号ィ匕で符号ィ匕を行うことを特徴とする請求項 1 0に記載の動画像符号化装置。
[16] 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力 画像解析手段と、
前記入力された動画像を符号ィヒする符号ィヒ手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量 とにより、前記符号ィ匕手段で符号ィ匕するフレームの目標符号量を仮決定するフレー ム目標符号量設定手段と、
前記符号ィ匕手段における符号ィ匕をフレーム単位でスキップさせるフレームスキップ 制御手段と
を備えた動画像符号ィ匕装置において、
前記入力画像解析手段が、フレーム間変化量に加え、入力された動画像の現フレ ームにおけるフレーム内複雑度も検出するように構成され、
前記入力画像解析手段において、前記フレーム間変化量が所定の第 1の変化量 閾値以上であり、かつフレーム複雑度が所定の複雑度閾値以上であることが検出さ れた場合に、前記フレームスキップ制御手段力 現フレームの符号ィ匕をスキップさせ るようフレームスキップ挿入可否情報を設定し、これにより前記符号ィ匕手段における 符号化のフレーム単位でのスキップを制御する
ことを特徴とする動画像符号化装置。
[17] 前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定され た目標符号量に基づ!、て最終の目標符号量を決定し、
前記符号化手段は、 前記入力された動画像をフレーム内符号ィ匕またはフレーム間符号ィ匕により符号ィ匕 する符号化器と、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップ を行うかどう力 及び符号化をフレーム内符号化で行うかフレーム間符号化で行うか を決定し、前記最終の目標符号量に基づいて量子化パラメータを設定し、これらの 決定及び設定に基づいて前記符号化期を制御する符号化制御部と
を有する
ことを特徴とする請求項 16に記載の動画像符号ィ匕装置。
[18] 前記符号化制御部は、現フレームの目標符号量と前フレームの量子化パラメータと に基づいて現フレームの量子化パラメータを定めることを特徴とする請求項 17に記 載の動画像符号化装置。
[19] 前記フレーム間変化量が前記第 1の変化量閾値以上であると判定されたときに、前 記フレーム目標符号量設定手段が、前記最終の目標符号量を、前記仮決定された 目標符号量よりも大きな値とすることを特徴とする請求項 17に記載の動画像符号ィ匕 装置。
[20] 前記フレーム目標符号量設定手段において、前記フレーム間変化量が、所定の第 2の変化量閾値 TW以上であり、かつ前記仮決定された目標符号量が所定の符号量 閾値未満であると判定されたときに、前記フレームスキップ制御手段 8は現フレーム の符号ィ匕をスキップさせるように前記フレームスキップ挿入可否情報を設定する ことを特徴とする請求項 16に記載の動画像符号ィ匕装置。
PCT/JP2005/000645 2004-05-24 2005-01-20 動画像符号化装置 WO2005115008A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-152915 2004-05-24
JP2004152915A JP3889013B2 (ja) 2004-05-24 2004-05-24 動画像符号化装置及び動画像符号化方法

Publications (1)

Publication Number Publication Date
WO2005115008A1 true WO2005115008A1 (ja) 2005-12-01

Family

ID=35428690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/000645 WO2005115008A1 (ja) 2004-05-24 2005-01-20 動画像符号化装置

Country Status (2)

Country Link
JP (1) JP3889013B2 (ja)
WO (1) WO2005115008A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100463526C (zh) * 2006-12-11 2009-02-18 陈耀武 视频延时自适应矫正的解码装置
CN111193927A (zh) * 2018-11-14 2020-05-22 腾讯科技（深圳）有限公司 编码数据处理方法、装置、计算机设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236333A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 映像符号化装置及び映像符号化方法
JP5342391B2 (ja) * 2009-09-25 2013-11-13 株式会社メガチップス 画像処理装置
JP5451487B2 (ja) * 2010-03-31 2014-03-26 株式会社メガチップス 画像符号化装置
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
JP5635673B2 (ja) * 2013-12-05 2014-12-03 株式会社メガチップス 画像符号化装置
WO2016002140A1 (ja) * 2014-07-03 2016-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0479587A (ja) * 1990-07-20 1992-03-12 Kokusai Denshin Denwa Co Ltd <Kdd> 可変レートビデオ符号化制御方式
JPH04262694A (ja) * 1991-02-15 1992-09-18 Graphics Commun Technol:Kk 画像信号符号化装置
JPH06268997A (ja) * 1993-03-16 1994-09-22 Olympus Optical Co Ltd 動画像圧縮装置
JPH09168155A (ja) * 1995-12-15 1997-06-24 Kokusai Denshin Denwa Co Ltd <Kdd> 可変フレームレート動画像符号化方法
JPH1023433A (ja) * 1996-06-27 1998-01-23 Sanyo Electric Co Ltd 目標符号量計算装置及び符号量制御装置
JPH10229561A (ja) * 1997-02-13 1998-08-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化制御方法
JPH11122612A (ja) * 1997-10-17 1999-04-30 Kdd 動画像の圧縮符号化装置
JP2002101418A (ja) * 2000-09-25 2002-04-05 Canon Inc 画像符号化装置及び方法並びに記憶媒体
JP2003153259A (ja) * 2001-11-13 2003-05-23 Kddi Corp 動画像圧縮符号化レート制御装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0479587A (ja) * 1990-07-20 1992-03-12 Kokusai Denshin Denwa Co Ltd <Kdd> 可変レートビデオ符号化制御方式
JPH04262694A (ja) * 1991-02-15 1992-09-18 Graphics Commun Technol:Kk 画像信号符号化装置
JPH06268997A (ja) * 1993-03-16 1994-09-22 Olympus Optical Co Ltd 動画像圧縮装置
JPH09168155A (ja) * 1995-12-15 1997-06-24 Kokusai Denshin Denwa Co Ltd <Kdd> 可変フレームレート動画像符号化方法
JPH1023433A (ja) * 1996-06-27 1998-01-23 Sanyo Electric Co Ltd 目標符号量計算装置及び符号量制御装置
JPH10229561A (ja) * 1997-02-13 1998-08-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化制御方法
JPH11122612A (ja) * 1997-10-17 1999-04-30 Kdd 動画像の圧縮符号化装置
JP2002101418A (ja) * 2000-09-25 2002-04-05 Canon Inc 画像符号化装置及び方法並びに記憶媒体
JP2003153259A (ja) * 2001-11-13 2003-05-23 Kddi Corp 動画像圧縮符号化レート制御装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100463526C (zh) * 2006-12-11 2009-02-18 陈耀武 视频延时自适应矫正的解码装置
CN111193927A (zh) * 2018-11-14 2020-05-22 腾讯科技（深圳）有限公司 编码数据处理方法、装置、计算机设备和存储介质
US11431993B2 (en) 2018-11-14 2022-08-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing encoded data, computer device, and storage medium
CN111193927B (zh) * 2018-11-14 2022-09-23 腾讯科技（深圳）有限公司 编码数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP3889013B2 (ja) 2007-03-07
JP2005340896A (ja) 2005-12-08

Similar Documents

Publication Publication Date Title
KR100391027B1 (ko) 비디오정보를예측부호화하는방법및장치
KR100335052B1 (ko) 프레임 레벨 속도 제어 방법
KR100720842B1 (ko) 비디오 코딩 방법 및 대응 비디오 코더
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
WO2005115008A1 (ja) 動画像符号化装置
JP2000078588A (ja) 動画像符号化装置
EP1359764A2 (en) Video encoding method with fading compensation
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
US6748114B1 (en) Moving picture encoding method and moving picture encoding apparatus
JPH09154143A (ja) ビデオデータ圧縮方式
US8290041B2 (en) Communication terminal
EP3073737B1 (en) Video coding device, video coding program, video coding method, and video coding and decoding system
JP4073444B2 (ja) 動画像符号化装置
US7751474B2 (en) Image encoding device and image encoding method
JPH10229563A (ja) 動画像符号化方法、及び動画像符号化装置
US7133448B2 (en) Method and apparatus for rate control in moving picture video compression
US20040233984A1 (en) Apparatus for variable bit rate control in video compression and target bit allocator thereof
US6922490B2 (en) Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate
JP4399794B2 (ja) 画像符号化装置及び画像符号化方法
KR100613732B1 (ko) 디지털 영상압축 시스템 및 그 방법
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
JPH10224779A (ja) 動画像のシーン変化検出方法及び装置
US7327892B2 (en) JPEG2000 encoder
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
GB2393060A (en) Manipulation of video compression

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP