WO2009093436A1 - 動画像符号化方法 - Google Patents

動画像符号化方法 Download PDF

Info

Publication number
WO2009093436A1
WO2009093436A1 PCT/JP2009/000173 JP2009000173W WO2009093436A1 WO 2009093436 A1 WO2009093436 A1 WO 2009093436A1 JP 2009000173 W JP2009000173 W JP 2009000173W WO 2009093436 A1 WO2009093436 A1 WO 2009093436A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
quantization width
coding
encoding
luminance change
Prior art date
Application number
PCT/JP2009/000173
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Abe
Syouzou Fujii
Shinjiro Mizuno
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to JP2009521664A priority Critical patent/JP5059859B2/ja
Priority to US12/531,750 priority patent/US8179965B2/en
Priority to CN2009800001711A priority patent/CN101682782B/zh
Publication of WO2009093436A1 publication Critical patent/WO2009093436A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving picture coding method and a moving picture coding apparatus, and more particularly to a technique for suppressing coding noise generated when performing inter-screen prediction.
  • the amount of information is compressed by reducing redundancy in the time direction and the spatial direction.
  • motion detection and prediction image generation are performed in units of blocks with reference to forward or backward pictures.
  • encoding is performed on the difference value between the obtained predicted image and the encoding target picture.
  • picture is a term representing a single screen. In a progressive image, it means a frame, and in an interlaced image, it means a frame or a field.
  • An interlaced image is an image in which one frame is composed of two fields having different times.
  • one frame can be processed as a frame, processed as two fields, and processed as a frame structure or a field structure for each block in the frame.
  • a picture obtained by intra prediction encoding instead of inter prediction encoding is called an I picture.
  • a picture obtained by inter-picture predictive coding that refers to only one picture is called a P picture.
  • a picture obtained by inter-picture predictive coding capable of referring to up to two pictures at the same time is called a B picture.
  • the reference picture needs to be encoded and stored in the memory before the encoding target picture, and an appropriate one is selected and designated for each block which is a basic unit of encoding.
  • Motion compensation inter-picture prediction coding is used for coding a P picture or a B picture.
  • Motion compensated inter-picture predictive coding is a coding that improves the prediction accuracy and reduces the data amount by detecting the motion amount (motion vector) of each part in the picture and performing the prediction considering the motion amount. It is a method.
  • a motion vector is detected by finding the position of a block having the most similar pixel information on the reference picture side with respect to the encoding target block of the encoding target picture.
  • the prediction residual becomes small, and a high compression rate can be realized.
  • This coding noise is conspicuous in an area where pixel value variation is relatively small (hereinafter referred to as “flat area”). Therefore, a technique (first conventional technique) that detects a flat area in a picture to be encoded and sets the quantization width of the flat area to a relatively small value to suppress the generation of coding noise in the flat area.
  • first conventional technique detects a flat area in a picture to be encoded and sets the quantization width of the flat area to a relatively small value to suppress the generation of coding noise in the flat area.
  • a large luminance change in the moving image to be encoded is one of the factors that increase the prediction residual, and one of the factors that cause encoding noise.
  • FIG. 14 is a schematic diagram for explaining the behavior of conventional motion compensation when a luminance change occurs as an example of a situation in which the prediction residual increases.
  • P3-Org is a picture to be encoded
  • P1-Ref and P2-Ref are reference pictures.
  • the luminance changes with the passage of time. Specifically, the luminance gradually increases in the order of P1-Ref, P2-Ref, and P3-Org.
  • the prediction residual becomes large wherever it is predicted.
  • the encoding target block BL01 performs prediction from the position of BL21
  • the encoding target block BL02 performs prediction from the position of BL12
  • P3-Pred is generated as a predicted image.
  • Patent Document 1 discloses a method (second prior art) for detecting a block affected by a luminance change in a picture and increasing the amount of code allocated to the block.
  • the target region it is possible to specify the target region and improve the image quality only in the region if the luminance change occurs locally locally.
  • a moving image shot with a video camera has a characteristic that the brightness of the entire screen changes depending on the positional relationship between the light source and the shooting target of the camera.
  • the brightness of the entire screen frequently changes, such as when the camera or subject is moved or when the brightness of the light source changes.
  • the present invention suppresses an increase in code amount to a minimum and effectively suppresses encoding noise when there is a temporal luminance change in a moving image to be encoded.
  • An object of the present invention is to provide a moving image encoding method.
  • the moving picture coding method of the present invention performs moving picture coding by referring to coded pictures that are temporally forward or backward in block units.
  • a moving picture coding method for coding wherein a predetermined size is set between a coding target picture including a coding target block that is a target block of the predictive coding and a coded picture used for the reference.
  • a luminance change determination step for determining whether or not there is a possibility that a luminance change more than the threshold value has occurred, and a degree of variation in pixel values of a plurality of pixels constituting the encoding target block is greater than a predetermined threshold value
  • a flat area determination step for determining whether or not it is small, and a quantization width determination step for determining a quantization width used for quantization in the encoding for the encoding target block, the quantization width
  • the determining step it is determined in the luminance change determining step that there is a possibility that a luminance change equal to or greater than the predetermined magnitude has occurred, and in the flat region determining step, the variation degree is greater than the predetermined threshold value.
  • the quantization width is small, it is not determined that there is a possibility that a luminance change larger than the predetermined size has occurred, or it is determined that the variation degree is smaller than the predetermined threshold. A value smaller than the quantization width in the case of not being performed is determined.
  • This configuration improves the image quality of a flat region where deterioration of image quality is conspicuous when there is a temporal luminance change in the moving image to be encoded.
  • the flat area is an area that can be encoded with a small amount of code in the first place. For this reason, an increase in the code amount for suppressing the coding noise in the flat region has little influence on the entire code amount.
  • the moving picture coding method of the present invention it is possible to suppress the generation of coding noise only in a region where coding noise is conspicuous and has little influence on the increase in code amount.
  • encoding noise can be effectively suppressed while suppressing an increase in the code amount to a minimum.
  • the predetermined change It may be determined that there is a possibility that a luminance change larger than the size has occurred.
  • the moving picture coding method of the present invention is a moving picture coding that codes a moving picture by performing predictive coding by referring to a coded picture that is temporally forward or backward in units of blocks.
  • a coding structure determination step for determining whether or not a coding structure of a coding target picture including a coding target block that is a target block of the predictive coding is a P picture;
  • a flat region determination step for determining whether or not the variation degree of the pixel values of a plurality of pixels constituting the encoding target block is smaller than a predetermined threshold, and is used for quantization in the encoding for the encoding target block
  • a quantization width determination step for determining a quantization width, wherein in the quantization width determination step, the encoding structure is a P picture in the encoding structure determination step.
  • the quantization width when the degree of variation is determined to be smaller than the predetermined threshold in the flat region determination step is not determined that the coding structure is a P picture, or
  • the degree of variation may be determined to be a value smaller than the quantization width when it is not determined that the degree of variation is smaller than the predetermined threshold.
  • the present invention can be realized not only as any of the above-described moving image encoding methods, but also as a moving image encoding device including elements that execute each process included in the moving image decoding method of the present invention. It can also be realized as a program for causing a computer to execute each process included in the integrated circuit and the moving picture decoding method of the present invention.
  • the program can be widely distributed via a recording medium such as a DVD or a transmission medium such as the Internet.
  • the present invention can provide a moving picture encoding method that suppresses an increase in code amount to a minimum and effectively suppresses encoding noise.
  • the image quality of an area where deterioration of image quality is conspicuous and where the amount of increase in code amount accompanying improvement in image quality is small is improved.
  • FIG. 1 is a block diagram showing the main functional configuration of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2A is a flowchart showing a flow of processing related to the determination of the quantization width in the moving picture coding apparatus according to the first embodiment
  • FIG. 2B is camera control information related to a luminance change. It is a figure which shows the example of.
  • FIG. 3 is a schematic diagram for explaining the difference in the influence of the luminance change between the flat region and the non-flat region when the inter-screen prediction is performed when the luminance change occurs.
  • FIG. 4 is a schematic diagram for explaining a difference in code amount tendency generated by encoding between a flat region and a non-flat region.
  • FIG. 1 is a block diagram showing the main functional configuration of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2A is a flowchart showing a flow of processing related to the determination of the quantization width in the moving picture coding apparatus according to
  • FIG. 5 is a block diagram showing the main functional configuration of the moving picture coding apparatus according to Embodiment 2 of the present invention.
  • FIG. 6A is a flowchart showing a flow of processing related to the determination of the quantization width in the moving picture coding apparatus according to the second embodiment
  • FIG. 6B is a screen feature value related to a luminance change. It is a figure which shows the example of.
  • FIG. 7 is a block diagram showing the main functional configuration of the moving picture coding apparatus according to Embodiment 3 of the present invention.
  • FIG. 8A is a flowchart showing a first example of a process flow relating to the determination of the quantization width in the moving picture coding apparatus according to the third embodiment, and FIG.
  • FIG. 10 is a flowchart illustrating a second example of a flow of processing relating to determination of a quantization width in the moving image encoding device of FIG.
  • FIG. 9A is a diagram illustrating a general reference relationship in the case of frame coding
  • FIG. 9B is a diagram illustrating a general reference relationship in the case of field coding.
  • FIG. 10 is a flowchart illustrating an example of the flow of processing in a modification of the third embodiment.
  • FIG. 11 is a flowchart showing another example of the processing flow in the modification of the third embodiment.
  • FIG. 12 is a diagram illustrating an example of a quantization width control flow in which both camera control information and coding structure information are considered.
  • FIG. 13 is a diagram illustrating an example of integrated circuit implementation in the moving picture coding apparatus according to the first embodiment.
  • FIG. 14 is a schematic diagram for explaining a conventional influence on prediction between screens due to a luminance change.
  • FIG. 1 is a block diagram showing the main functional configuration of moving picture coding apparatus 100 according to Embodiment 1 of the present invention.
  • the moving image encoding apparatus 100 includes a picture memory 101, a quantization width determination unit 102, a prediction residual encoding unit 103, a code string generation unit 104, a prediction residual decoding unit 105, and a picture memory 106.
  • the moving image to be encoded is input to the picture memory 101 in units of pictures in the order of display, and the pictures are rearranged in the order of encoding.
  • each picture is divided into blocks called macroblocks, and the subsequent processing is performed in units of blocks.
  • the macro block is, for example, a block of 16 horizontal pixels ⁇ 16 vertical pixels.
  • the input image signal for each macroblock read from the picture memory 101 is input to the difference calculation unit 109.
  • the difference calculation unit 109 outputs the difference image signal obtained by taking the difference between the input image signal and the prediction image signal output from the motion compensation encoding unit 108 to the prediction residual encoding unit 103.
  • the prediction residual encoding unit 103 performs orthogonal transform on the difference image signal, further performs quantization using the quantization width determined by the quantization width determination unit 102, and outputs a residual encoded signal.
  • the residual encoded signal is input to the prediction residual decoding unit 105, subjected to inverse quantization, inverse orthogonal transformation, and the like, and the residual decoded signal is output from the prediction residual decoding unit 105.
  • the addition operation unit 110 adds the residual decoded signal and the predicted image signal to generate a reconstructed image signal.
  • a signal that may be referred to in the subsequent inter-screen prediction is stored in the picture memory 106. That is, a picture that may be referred to in the encoding process by the motion compensation encoding unit 108 is stored in the picture memory 106.
  • the input image signal for each macroblock read from the picture memory 101 is also input to the motion vector detection unit 107.
  • the motion vector detection unit 107 searches for a reference picture composed of the reconstructed image signal stored in the picture memory 106 and detects a motion vector indicating the position by detecting an image region closest to the input image signal. decide.
  • a reference index for designating a picture to be used as a reference picture is also determined at the same time.
  • the motion compensation encoding unit 108 generates a predicted image from the reference picture stored in the picture memory 106 using the motion vector and the reference index detected by the above processing.
  • Encoding information such as a residual encoded signal, a motion vector, and a reference index generated by a series of processes is input to the code string generation unit 104.
  • the code sequence generation unit 104 generates a code sequence output from the moving image encoding apparatus 100 by performing variable length encoding on the input encoded information.
  • the flat area determination unit 111 determines whether or not a macroblock to be encoded (hereinafter referred to as “encoding target block”) is a flat area.
  • the change determination unit 112 determines whether or not the amount of change in camera control information input from a camera that generates a moving image input to the moving image encoding device 100 is large.
  • Each determination result is input to the quantization width determination unit 102.
  • the quantization width determination unit 102 determines the quantization width using these determination results, and inputs the determined quantization width to the prediction residual encoding unit 103.
  • the change determination unit 112 is a first example of a processing unit that executes a luminance change determination step in the moving image encoding method of the present invention.
  • FIG. 2A is a flowchart showing a flow of processing related to determination of a quantization width in the moving picture coding apparatus 100 according to the first embodiment.
  • the change determination unit 112 determines whether or not the amount of change in the camera control information is equal to or greater than a predetermined threshold (S201).
  • the change determination unit 112 uses camera control information related to temporal luminance change in the moving image to be encoded for this determination.
  • An example of camera control information used for this determination is shown in FIG.
  • FIG. 2B is a diagram illustrating an example of camera control information related to a luminance change.
  • the change determination unit 112 performs the above determination using at least one of EV (Exposure Value), zoom position, shutter speed, aperture value, and gain value shown in FIG.
  • EV Exposure Value
  • zoom position zoom position
  • shutter speed shutter speed
  • aperture value gain value shown in FIG.
  • the luminance change of a predetermined magnitude or more between the encoding target picture and the reference picture It can be determined that or has occurred.
  • predetermined period is a period defined by, for example, time or the number of pictures.
  • the change determination unit 112 compares the change amount of the camera control information with a predetermined threshold in this way. As a result, it is determined whether or not there is a possibility that a luminance change of a predetermined magnitude or more has occurred between the picture to be encoded and the reference picture obtained by the previous encoding. .
  • the change determination unit 112 notifies the quantization width determination unit 102 to that effect.
  • the flat area determination unit 111 determines whether or not the encoding target block is a flat area (S202). This determination may be performed before the determination (S201) regarding the luminance change, or may be performed in parallel.
  • the flat area determination unit 111 calculates, for example, the degree of dispersion of pixel values in the block using the input image signal of the encoding target block.
  • the “pixel value variation degree” is, for example, a physical quantity that can be obtained by summing up absolute values of differences between pixel values of adjacent pixels in an encoding target block.
  • the flat area determination unit 111 calculates the degree of variation of the pixel value, and compares the calculated value with a predetermined threshold value.
  • the flat area determination unit 111 determines that the block is a flat area (YES in S202).
  • the flat area determination unit 111 determines that the block is a non-flat area (NO in S202).
  • the flat area determination unit 111 may determine whether or not the encoding target block is a flat area using the difference image signal calculated by the difference calculation unit 109 instead of the input image signal.
  • the flat area determination unit 111 may perform the above determination using a coefficient value for each frequency component generated by the orthogonal transform performed by the prediction residual encoding unit 103. In this case, if the coefficients are concentrated in the low frequency region, it can be determined as a flat region, and if the coefficients are dispersed up to the high frequency region, it can be determined as a non-flat region.
  • the flat area determination unit 111 may determine whether or not the encoding target block is a flat area by another method.
  • the quantization width determination unit 102 is only when the change amount of the camera control information is equal to or greater than a predetermined threshold (YES in S201) and only when the encoding target block is a flat region (YES in S202).
  • the quantization width is determined to be smaller than the quantization width for the macroblock that is a non-flat region (S203).
  • the quantization width determined by the quantization width determination unit 102 is used for quantization by the prediction residual encoding unit 103 as described above.
  • the quantization width determination unit 102 determines that a flat region where coding noise is conspicuous is quantized with a smaller quantization width than when a non-flat region is quantized.
  • the quantization width determination unit 102 sets the quantization width for the block to a value smaller than a predetermined quantization width (reference quantization width) used as a reference for quantization of the encoding target block. Process to make.
  • a predetermined quantization width reference quantization width
  • the quantization width is reduced to a specific value that realizes a level that makes it difficult for human vision to recognize noise. This makes it possible to suppress noise that is always conspicuous without depending on the bit rate.
  • control may be performed such that the value subtracted from the reference quantization width is variable according to the reference quantization width.
  • FIG. 3 is a schematic diagram for explaining the difference in the influence of the luminance change between the flat region and the non-flat region when inter-screen prediction is performed when the luminance change occurs.
  • P2-Org is an encoding target picture
  • P1-Ref is a reference picture
  • P1-Ref has a lower luminance than P2-Org. That is, these brightnesses are different.
  • the encoding target block BL01 belongs to a non-flat region, and prediction is performed from the position of BL11. Also, the encoding target block BL02 belongs to a flat region, and prediction is performed from the position of BL12.
  • P2-Pred is generated as a predicted image.
  • the encoded image finally generated is obtained by adding a residual signal to the predicted image.
  • the accuracy in decoding the residual signal (identity between the pixel value before encoding and the pixel value after decoding) is limited by the quantization width at the time of encoding. Therefore, the prediction error eventually becomes the cause of deterioration of the image quality of the encoded image as encoding noise.
  • the moving picture coding apparatus 100 uses this characteristic to improve the image quality by reducing the quantization width by narrowing down to a flat area where noise is easily noticeable when a luminance change occurs. This achieves effective image quality improvement.
  • the code amount when the flat region is encoded is smaller than the code amount when the non-flat region is encoded. That is, the flat region has a characteristic that an increase in code amount due to an improvement in image quality is relatively small.
  • FIG. 4 is a schematic diagram for explaining a difference in code amount tendency generated by encoding between a flat region and a non-flat region.
  • the encoding of the prediction residual was obtained by performing orthogonal transform on the input prediction residual coefficient to calculate the orthogonal transform coefficient, and performing quantization on the specified quantization width. This is done by variable length coding the coefficient values.
  • the prediction residual coefficient of the flat area block has the same value over the entire surface, and the coefficient value tends to vary in the non-flat area block.
  • the orthogonal transform coefficients obtained by orthogonal transform of these prediction residuals are concentrated in the low frequency region (around the (0, 0) coefficient position) in the flat region block. Further, in the non-flat region block, the coefficients tend to be dispersed to a place close to the high frequency region (around the coefficient position of (3, 3)) away from the low frequency region.
  • the moving picture coding apparatus 100 improves the image quality by reducing the quantization width to a flat area as described above. That is, the increase in the code amount accompanying the improvement of the image quality is minimized by using the characteristics of the flat region.
  • the moving picture coding apparatus 100 of the present embodiment when a moving picture is coded, an area where deterioration of image quality is conspicuous and the amount of increase in code amount accompanying improvement in image quality is increased. For a region with a small amount, the quantization width at the time of encoding is reduced. Thereby, an efficient and effective image quality improvement is realized.
  • FIG. 5 is a block diagram showing the main functional configuration of moving picture coding apparatus 500 according to Embodiment 2 of the present invention.
  • the basic processing content by the addition operation unit 510 is the same as the basic processing content of the moving picture coding apparatus 100 (see FIG. 1) in the first embodiment.
  • the flat area determination unit 511 determines whether or not the encoding target block is a flat area.
  • the feature value size determination unit 512 determines whether the size of the screen feature value extracted by the screen feature value extraction unit 513 from the input image is greater than or equal to a predetermined threshold value.
  • the quantization width determination unit 502 determines the quantization width using these determination results, and inputs the determined quantization width to the prediction residual encoding unit 503.
  • the feature value size determination unit 512 is a second example of a processing unit that executes a luminance change determination step in the moving image encoding method of the present invention.
  • FIG. 6A is a flowchart showing a flow of processing related to determination of the quantization width in the moving picture coding apparatus 500 according to the second embodiment.
  • the feature value size determination unit 512 determines whether the size of the screen feature value input from the screen feature value extraction unit 513 is equal to or greater than a predetermined threshold (S601).
  • the feature value size determination unit 512 uses a screen feature value related to a temporal luminance change in the moving image to be encoded for this determination.
  • An example of the screen feature value used for this determination is shown in FIG.
  • FIG. 6B is a diagram illustrating an example of screen feature values related to luminance change.
  • the feature value magnitude determination unit 512 performs the above determination using at least one of the screen luminance change amount, the estimated screen zoom speed, and the estimated motion speed of the screen shown in FIG.
  • the predetermined zoom factor is a predetermined factor due to a rapid expansion or reduction of the shooting range between the encoding target picture and the reference picture. It can be determined that there is or is likely to have a luminance change that is greater than or equal to.
  • the predetermined motion is caused by a rapid switching of the photographing target between the encoding target picture and the reference picture. It can be determined that there is or is likely to have a luminance change that is greater than or equal to.
  • the feature value size determination unit 512 compares the screen feature value with a predetermined threshold in this way. Thereby, it is determined whether or not a luminance change of a predetermined magnitude or more has occurred between the picture to be coded and the reference picture obtained by previous coding.
  • the feature value size determination unit 512 notifies the quantization width determination unit 502 to that effect.
  • the flat area determination unit 511 determines whether or not the encoding target block is a flat area (S602).
  • the method used by the flat region determining unit 511 for determining whether or not the encoding target block is a flat region is the same as that of the flat region determining unit 111 of the first embodiment.
  • the flat area determination unit 511 calculates, for example, the degree of dispersion of pixel values in the block using the input image signal of the encoding target block. Further, the calculated variation degree is compared with a predetermined threshold value. If the pixel value variation degree is smaller than the threshold value as a result of the comparison, the flat area determination unit 511 determines that the block is a flat area (YES in S602), and the pixel value variation degree is equal to or greater than the threshold value. In this case, it is determined that the block is a non-flat region (NO in S602).
  • the flat area determination unit 511 is similar to the flat area determination unit 111 of the first embodiment except that the difference image signal calculated by the difference calculation unit 509 or the prediction residual encoding unit 503 is used instead of the input image signal.
  • the coefficient value for each frequency component generated by the orthogonal transformation performed may be used to determine whether or not the current block is a flat region.
  • the flat area determination unit 511 may determine whether or not the encoding target block is a flat area by another method.
  • the quantization width determination unit 502 quantizes only when the screen feature value is equal to or larger than a predetermined threshold (YES in S601) and the encoding target block is a flat region (YES in S602). The width is determined to be smaller than the quantization width for the macroblock that is a non-flat region (S603).
  • the quantization width determined by the quantization width determination unit 502 is used for quantization by the prediction residual encoding unit 503.
  • the quantization width determination unit 502 determines that a flat area where coding noise is conspicuous is quantized with a smaller quantization width than when a non-flat area is quantized.
  • the quantization width determination unit 502 performs processing for setting the quantization width for the block to a value smaller than a preset reference quantization width.
  • control such that the size is always reduced to a certain quantization width or less regardless of the reference quantization width.
  • control may be performed such that the quantization width, which is the modulation width, is reduced by a specific fixed value.
  • control may be performed such that the value subtracted from the reference quantization width is variable according to the reference quantization width.
  • the moving image coding apparatus 500 is a flat region in which a target to be quantized with a small quantization width is a region having a large luminance change between the reference destination and a flat region. Limited to. Thereby, like the moving picture encoding apparatus 100 of Embodiment 1, it is possible to suppress an increase in the code amount to the minimum and to effectively suppress the encoding noise.
  • the video encoding device 500 of the second embodiment does not require camera control information acquired from the camera.
  • an encoding device in a digital video recorder and an encoding device that cannot acquire camera control information, such as an encoding device in a digital video camera that does not have a function linked to the camera.
  • the image quality can be improved efficiently and effectively.
  • the moving image coding apparatus 500 increases the code amount by improving the image quality of a flat area where noise is easily noticeable when a change in luminance occurs even when camera control information cannot be acquired.
  • the image quality is effectively improved while minimizing the image quality.
  • FIG. 7 is a block diagram showing the main functional configuration of moving picture coding apparatus 700 according to Embodiment 3 of the present invention.
  • the basic processing content by the addition operation unit 710 is the same as the basic processing content of the moving picture coding apparatus 100 (see FIG. 1) in the first embodiment.
  • the flat area determination unit 711 determines whether the encoding target block is a flat area. The determination result obtained by this determination is input to the quantization width determination unit 702. Further, the coding structure information is further input to the quantization width determination unit 702.
  • “coding structure information” means the type (I, P, or B) of a picture to be coded, and frame coding and field coding for the picture to be coded. Information indicating which is executed.
  • coding structure information is input to the quantization width determination unit 702 from a control unit (not shown) that controls the operation of the moving picture coding apparatus 700.
  • the quantization width determination unit 702 determines the quantization width using these determination results and coding structure information, and inputs the determined quantization width to the prediction residual coding unit 703.
  • the quantization width determination unit 702 is a third example of a processing unit that executes a luminance change determination step in the moving image encoding method of the present invention. Specifically, the quantization width determination unit 702 can determine whether or not a luminance change having a predetermined size or more has occurred by referring to the coding structure information.
  • FIG. 1 An example of the above processing flow is shown in FIG. 1
  • FIG. 8A is a flowchart illustrating a first example of a flow of processing relating to determination of a quantization width in the moving picture coding apparatus 700 according to the third embodiment.
  • the quantization width determination unit 702 refers to the coding structure information, and determines whether or not the coding target block is a block included in a picture to be coded as a P picture (S801A).
  • the flat area determination unit 711 determines whether or not the encoding target block is a flat area (S802).
  • the method used by the flat region determination unit 711 to determine whether or not the encoding target block is a flat region is the same as that of the flat region determination unit 111 of the first embodiment.
  • the flat area determination unit 711 calculates the degree of dispersion of pixel values in the block using, for example, the input image signal of the encoding target block. Further, the calculated variation degree is compared with a predetermined threshold value. If the pixel value variation degree is smaller than the threshold value as a result of the comparison, the block is determined to be a flat region (YES in S802). If the pixel value variation degree is equal to or greater than the threshold value, the block is non-flat. It is determined that it is an area (NO in S802).
  • the flat area determination unit 711 is similar to the flat area determination unit 111 of the first embodiment except that the difference image signal calculated by the difference calculation unit 709 or the prediction residual encoding unit 703 is used instead of the input image signal.
  • the coefficient value for each frequency component generated by the orthogonal transformation performed may be used to determine whether or not the current block is a flat region.
  • the flat area determination unit 711 may determine whether or not the encoding target block is a flat area by another method.
  • the quantization width determining unit 702 determines that the encoding target block is a block included in a picture to be encoded as a P picture (YES in S801A) and the encoding target block is a flat region (S802). Only), the quantization width is determined to be smaller than the quantization width for the macroblock which is a non-flat region.
  • the quantization width determined by the quantization width determination unit 702 is used for quantization by the prediction residual encoding unit 703.
  • the quantization width determination unit 702 determines that a flat region where coding noise is conspicuous is quantized with a smaller quantization width than when a non-flat region is quantized.
  • the quantization width determination unit 702 determines the quantization width for the block to a value smaller than a preset reference quantization width.
  • control such that the size is always reduced to a certain quantization width or less regardless of the reference quantization width.
  • control may be performed such that the quantization width, which is the modulation width, is reduced by a specific fixed value.
  • control may be performed such that the value subtracted from the reference quantization width is variable according to the reference quantization width.
  • the quantization width determination unit 702 refers to the coding structure information, so that the coding target is a field structure and the picture to be coded as a P picture. Of the two fields, it may be determined whether the block is included in the field encoded first in the encoding order (S802B).
  • the block to be encoded is a block included in a picture encoded as a P picture and a block included in a field encoded earlier in the encoding order, both are up to the reference picture.
  • the time interval is relatively long.
  • the moving picture encoding apparatus 700 handles the encoding structure information about the encoding target block as one piece of reference information for controlling the encoding width.
  • FIG. 9A and FIG. 9B are schematic diagrams for explaining the ease of the influence of the luminance change due to the coding structure.
  • FIG. 9A is a diagram showing a general reference relationship in the case of frame coding
  • FIG. 9B is a diagram showing a general reference relationship in the case of field coding.
  • 9A and 9B show that the picture indicated by the tip of the arrow is referred to when the picture located at the start of the arrow is encoded.
  • FIGS. 9A and 9B in order to explain the most common reference relationship, only pictures that can be used for reference are an I picture and a P picture, and P is used as a reference destination picture.
  • the picture refers to the closest picture in front in time
  • the B picture refers to the closest picture in front and back in time.
  • FIG. 9A shows an example in which all frames are encoded. Specifically, B picture B3 refers to I1 and P4, and P picture P7 refers only to P4.
  • the influence of the luminance change becomes larger and the prediction error increases as the time interval between the encoding target picture and the reference picture becomes wider.
  • P4 whose time interval with B3 is one frame can be referred to.
  • P7 there is no choice but to refer to P4 whose time interval with P7 is three frames. That is, the P picture tends to be more affected by the luminance change.
  • FIG. 9B shows an example in which all field coding is performed. Specifically, B3T, which is the first field of B picture, refers to P1B and P4T, P7T, which is the first field of P picture, refers only to P4B, and P7B, which is the subsequent field of P picture, refers only to P7T. ing.
  • P4T with a time interval of 2 fields for B3T can be referred to
  • P7B P7T with a time interval of 1 field for P7B can be referred to.
  • P7T there is no choice but to refer to P4B whose time interval with P7T is for 5 fields. That is, in the case of the field structure, the first field of the P picture tends to be most affected by the luminance change.
  • the subsequent field is encoded first among the first field and the subsequent field constituting one P picture, the subsequent field is most affected by the luminance change.
  • the encoding target is encoded as a part of a P picture, or a field encoded in the encoding order first among the two fields constituting the P picture (hereinafter referred to as “preceding field”).
  • the encoding target is a P picture or a preceding field”.
  • the time interval between the encoding target and the reference picture is Relatively long.
  • the P picture and the preceding field are strongly affected by the luminance change.
  • a luminance change of a predetermined magnitude or more has occurred between the P picture or the preceding field to be encoded and the reference picture.
  • the moving picture encoding apparatus 700 uses this characteristic to improve the image quality efficiently and effectively. Specifically, when encoding a series of moving images, the moving image encoding device 700 increases the image quality by reducing the quantization width of the flat region only to the P picture or the preceding field.
  • Embodiment 3 (Modification of Embodiment 3)
  • the quantization width is reduced only for the P picture or the preceding field.
  • FIG. 10 is a flowchart showing an example of the flow of processing in the modification of the third embodiment.
  • the quantization width determination unit 702 determines that the encoding target is a P picture (YES in S1001), and the flat region determination unit 711 determines that the encoding target block is a flat region. Is determined (YES in S1002), the quantization width determination unit 702 determines the quantization width to be a value smaller by X than the reference quantization width.
  • the quantization width determining unit 702 determines that the encoding target is not a P picture (NO in S1001) but a B picture (YES in S1004), and the flat region determining unit 711 determines that the encoding target block is If it is determined that the region is a flat region (YES in S1005), the quantization width determination unit 702 determines the quantization width to be a value smaller by Y than the reference quantization width.
  • said X and Y are the relationship of X> Y. That is, the quantization width when the encoding target is a block included in a P picture is Q1, the quantization width when the encoding target block is a block included in a B picture is Q2, and the reference quantization width is Assuming Q0, if the current block to be coded is a flat region, the quantization width for the current block to be coded is determined so that Q0> Q2> Q1.
  • FIG. 11 is a flowchart showing another example of the processing flow in the modification of the third embodiment.
  • the quantization width determination unit 702 determines that the encoding target is the first field of the P picture (YES in S1101), and the flat region determination unit 711 determines that the encoding target block is flat. If it is determined that the region is a region (YES in S1102), the quantization width determination unit 702 determines the quantization width to be a value smaller by X than the reference quantization width.
  • the quantization width determining unit 702 determines that the encoding target is not the first field of the P picture, but a P picture or B picture (NO in S1101) (YES in S1104), and a flat region determining unit 711 Thus, when it is determined that the block to be encoded is a flat region (YES in S1105), the quantization width determination unit 702 determines the quantization width to be a value smaller by Y than the reference quantization width.
  • the “P picture” in the determination in S1104 is an expression including a frame structure P picture and a subsequent field of the field structure P picture.
  • the above X and Y have a relationship of X> Y. That is, the quantization width when the encoding target block is a block included in the first field of the P picture is Q1, and the quantization width when the encoding target block is a block included in the P picture or B picture is Q2. Assuming that the reference quantization width is Q0, when the current block to be encoded is a flat region, the quantization width for the current block is determined such that Q0> Q2> Q1.
  • the encoding target is the first field of the P picture (S1101). This determination is based on the premise that the first field (preceding field) of the first field and the subsequent field is the first field.
  • the process proceeds to the determination of whether the target block is a flat region (S1102).
  • the image quality can be improved by greatly reducing the quantization width for the flat area included in the P picture or the preceding field that is most affected when the luminance change occurs.
  • the quantization width of the flat region is slightly reduced to improve the image quality.
  • the image quality can be effectively reduced while minimizing the increase in the code amount. The effect is improved.
  • processing content described in the third embodiment can be performed in combination with the processing content described in the first embodiment or the second embodiment.
  • the encoding target described in the third embodiment is a P picture or P It may be determined whether or not it is the first field of the picture (S1001 in FIG. 10 or S1101 in FIG. 11).
  • FIG. 12 is a diagram illustrating an example of the flow of quantization width control in which both camera control information and coding structure information are considered.
  • the amount of change in camera control information is greater than or equal to a threshold (YES in S1201)
  • the encoding target block is a flat area (YES in S1202)
  • the encoding target is a P picture.
  • the quantization width for the encoding target block is determined to be a small value (S1204).
  • blocks quantized with a smaller quantization width than others that is, blocks to which a larger code amount is assigned than other blocks are narrowed down compared to the first to third embodiments.
  • the encoding target described in the third embodiment is a P picture.
  • the recording medium is not limited to a flexible disk, but can be similarly implemented as long as it can record a program such as an optical disk, an IC card, and a ROM cassette.
  • an LSI which is an integrated circuit, may perform processing for realizing the moving picture coding method described in each of the above embodiments. Moreover, it may be integrated into one chip so as to include a part or all of a plurality of processes included in the moving image encoding method.
  • An LSI may also be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • FIG. 13 is a diagram showing an example of integrated circuit formation in the moving picture coding apparatus 100 according to the first embodiment.
  • An LSI 150 illustrated in FIG. 13 is an example of an integrated circuit including a plurality of functional blocks included in the moving image encoding apparatus 100.
  • the plurality of functional blocks may be included in a plurality of LSIs instead of one LSI.
  • each of the moving picture coding apparatus 500 according to the second embodiment and the moving picture coding apparatus 700 according to the third embodiment a part or all of the functional blocks included in them can be integrated into an integrated circuit.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a part or all of the constituent elements constituting each of the above apparatuses may be configured from an IC card or a single module that can be attached to and detached from each apparatus.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be a computer program that realizes the above-described moving image coding method of the present invention by a computer, or may be a digital signal composed of the computer program.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
  • the moving image encoding method of the present invention is useful as a method for generating a code string by encoding each picture constituting a moving image in, for example, a video camera, a video recorder, a DVD device, a mobile phone, and a personal computer. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像を符号化する動画像符号化方法であって、符号化対象ピクチャと参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップ（Ｓ２０１）と、符号化対象ブロックにおける画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップ（Ｓ２０２）と、所定の大きさ以上の輝度変化が発生している可能性があると判定され（Ｓ２０１でＹＥＳ）、かつ、ばらつき度が所定の閾値よりも小さいと判定された場合（Ｓ２０２でＹＥＳ）の量子化幅を、所定の大きさ以上の輝度変化が発生している可能性があると判定されず（Ｓ２０１でＮＯ）、または、ばらつき度が所定の閾値よりも小さいと判定されなかった場合（Ｓ２０２でＮＯ）の量子化幅よりも小さな値に決定する量子化幅決定ステップ（Ｓ２０３）とを含む。

Description

動画像符号化方法
　本発明は、動画像符号化方法および動画像符号化装置に関し、特に画面間予測を行う際に発生する符号化ノイズを抑制するための技術に関する。
　一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。例えば、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行う。さらに、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。
　ここで、“ピクチャ”とは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
　インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化処理においては、１つのフレームをフレームのまま処理すること、２つのフィールドとして処理すること、および、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理することができる。
　画面間予測符号化ではなく、画面内予測符号化によって得られるピクチャをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照する画面間予測符号化によって得られるピクチャをＰピクチャと呼ぶ。また、同時に２枚までピクチャを参照可能な画面間予測符号化によって得られるピクチャをＢピクチャと呼ぶ。
　なお、参照ピクチャは符号化対象ピクチャよりも先に符号化されメモリに格納されている必要があり、符号化の基本単位であるブロックごとに適切なものが選択され指定される。
　Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、ピクチャ内の各部の動き量（動きベクトル）を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす符号化方式である。
　具体的には、動き補償画面間予測符号化では、符号化対象ピクチャの符号化対象ブロックに対し、参照ピクチャ側で最も画素情報が似通ったブロックの位置を見つけて動きベクトルを検出する。
　さらに、参照ピクチャ側のその位置のブロックの画素値と符号化対象ブロックの画素値との差分（予測残差）のみを符号化する。動き補償画面間予測符号化ではこのようにしてデータ量を削減する。
　従って、符号化対象ブロックとより似通ったブロックを検出することができれば予測残差が小さくなるため高い圧縮率を実現することができる。
　逆に似通ったブロックを検出できなかった場合は予測残差を符号化するために必要な情報量が多くなる。そのため、特に低ビットレートで充分な符号量を予測残差に割り当てることが出来ない状況下では予測残差を充分に再現することができず、これにより発生した歪みが符号化ノイズとして画質を劣化させる原因となる。
　この符号化ノイズは、画素値のばらつきが比較的少ない領域（以下、「平坦領域」という。）で目立ちやすい。そこで、符号化対象ピクチャ内で平坦領域を検出し、平坦領域については量子化幅を比較的小さな値に設定することで当該平坦領域内の符号化ノイズの発生を抑制する技術（第一の従来技術）がある。
　また、符号化対象ピクチャと参照ピクチャとの間での輝度変化が比較的大きい場合、符号化対象ブロックに似通ったブロックを参照ピクチャ内で検出することが困難である。つまり、符号化対象の動画像における大きな輝度変化は予測残差を増大させる要因の一つであり、符号化ノイズの発生要因の一つである。
　図１４は、予測残差が大きくなる状況の例としての、輝度変化が発生した場合の従来の動き補償の振る舞いを説明する模式図である。
　図１４において、Ｐ３－Ｏｒｇが符号化対象ピクチャであり、Ｐ１－ＲｅｆおよびＰ２－Ｒｅｆが参照ピクチャである。
　図１４に示す例では、時間の経過とともに輝度が変化していることを示している。具体的には、Ｐ１－Ｒｅｆ、Ｐ２－Ｒｅｆ、Ｐ３－Ｏｒｇの順に輝度が次第に高くなっている。
　このようなシーンではどこから予測したとしても予測残差が大きくなってしまう。例えば、符号化対象ブロックＢＬ０１はＢＬ２１の位置から予測を行い、符号化対象ブロックＢＬ０２はＢＬ１２の位置から予測を行い、その結果、予測画像としてＰ３－Ｐｒｅｄが生成された場合を想定する。
　この場合、動き補償を行ったブロック間の画素値の差が大きいため、Ｐ３－Ｏｒｇ内のＢＬ０１およびＢＬ０２の画素値と、予測画像であるＰ３－Ｐｒｅｄ内の各該当ブロックの画素値とが大きく異なることになる。これにより、Ｐ３－Ｏｒｇ内の各ブロックについての予測残差は大きくなり、結果として符号化ノイズが発生し易い状況が生まれる。
　このような課題に対して、例えば特許文献１では、ピクチャ内で輝度変化の影響を受けたブロックを検出して当該ブロックに割り当てる符号量を増やす方法（第二の従来技術）が開示されている。
特開２００７－２７４６７１号公報
　しかしながら、上記第一の従来技術では、例えば平坦領域が占める割合の大きなピクチャが連続する場合、符号量を増やす対象となるブロック数が大幅に増加することになる。
　その結果、全体として必要な符号量が増大することにより充分な圧縮効率を実現できなくなるという問題が生じる。
　また、上記第二の従来技術では、局所的に激しく輝度変化が発生した場合であれば対象領域を特定してその領域のみ画質を上げることが可能である。
　しかし、画面全体で輝度変化が発生した場合や、緩やかな輝度変化が数フレームに渡って発生した場合は、符号量を増やす対象となるブロック数が大幅に増加する。
　その結果、上記第一の従来技術と同じく、全体として必要な符号量が増加することにより充分な圧縮効率を実現できなくなるという問題が生じる。
　例えば、ビデオカメラで撮影された動画像においては、光源とカメラの撮影対象の位置関係とにより画面全体の輝度が変化する特性がある。これにより、カメラや撮影対象が移動したときや光源の明るさが変わったときなど、頻繁に画面全体の輝度変化が発生する。
　本発明は、上記従来の課題を考慮し、符号化対象の動画像に時間的な輝度変化がある場合に、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することを目的とする。
　上記の目的を達成するために、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する。
　本構成により、符号化対象の動画像に時間的な輝度変化がある場合において、画質の劣化が目立ちやすい平坦領域の画質が改善される。
　また、平坦領域はそもそも少ない符号量で符号化可能な領域である。そのため、平坦領域における符号化ノイズの抑制のための符号量の増加が全体の符号量に与える影響は少ない。
　つまり、本発明の動画像符号化方法では、符号化ノイズが目立ちやすい領域であり、かつ、符号量の増加に与える影響の少ない領域に限定して符号化ノイズの発生を抑制することができる。
　このように、本発明は、符号量の増加を最小限に抑制しながら効果的に符号化ノイズを抑制することができる。
　また、前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定するとしてもよい。
　本構成により、画像を解析して輝度変化を検出するという負荷の高い処理を行うことなく、高い精度で輝度変化を検出することが可能となる。
　また、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定するとしてもよい。
　このような処理によっても、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することができる。
　なお、本発明は、上記のいずれかの動画像符号化方法として実現することができるだけでなく、本発明の動画像復号化方法が含む各処理を実行する要素で構成される動画像符号化装置および集積回路、並びに、本発明の動画像復号化方法が含む各処理をコンピュータに実行させるためのプログラムとしても実現することができる。
　また、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができる。
　本発明は、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することができる。
　具体的には、本発明の動画像符号化方法によれば、画質の劣化が目立ち易い領域であって、画質の改善に伴う符号量の増加量が少ない領域の画質を改善する。これにより、人間の視覚で捉えられる画質の向上と、符号量の増加の抑制との両立が実現される。
図１は、本発明の実施の形態１における動画像符号化装置の主要な機能構成を示すブロック図である。 図２（ａ）は、実施の形態１の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。 図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。 図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。 図５は、本発明の実施の形態２における動画像符号化装置の主要な機能構成を示すブロック図である。 図６（ａ）は、実施の形態２の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。 図７は、本発明の実施の形態３における動画像符号化装置の主要な機能構成を示すブロック図である。 図８（ａ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートであり、図８（ｂ）は、実施の形態３の動画像符号化装置における、量子化幅の決定に係る処理の流れの第二の例を示すフローチャートである。 図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。 図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。 図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。 図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。 図１３は、実施の形態１の動画像符号化装置における集積回路化の一例を示す図である。 図１４は、従来の、輝度変化による画面間予測への影響を説明するための模式図である。
符号の説明
　　１００、５００、７００　　動画像符号化装置
　　１０１、１０６、５０１、５０６、７０１、７０６　　ピクチャメモリ
　　１０２、５０２、７０２　　量子化幅決定部
　　１０３、５０３、７０３　　予測残差符号化部
　　１０４、５０４、７０４　　符号列生成部
　　１０５、５０５、７０５　　予測残差復号化部
　　１０７、５０７、７０７　　動きベクトル検出部
　　１０８、５０８、７０８　　動き補償符号化部
　　１０９、５０９、７０９　　差分演算部
　　１１０、５１０、７１０　　加算演算部
　　１１１、５１１、７１１　　平坦領域判定部
　　１１２　　変化判定部
　　１５０　　ＬＳＩ
　　５１２　　特徴値大きさ判定部
　　５１３　　画面特徴値抽出部
　以下本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１における動画像符号化装置１００の主要な機能構成を示すブロック図である。
　動画像符号化装置１００は、図１に示すようにピクチャメモリ１０１、量子化幅決定部１０２、予測残差符号化部１０３、符号列生成部１０４、予測残差復号化部１０５、ピクチャメモリ１０６、動きベクトル検出部１０７、動き補償符号化部１０８、平坦領域判定部１１１、および、変化判定部１１２を備えている。
　符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えが行われる。
　さらに各々のピクチャはマクロブロックと呼ばれるブロックに分割されブロック単位で以降の処理が行われる。マクロブロックは、例えば水平１６画素×垂直１６画素のブロックである。
　ピクチャメモリ１０１から読み出された、マクロブロック単位の入力画像信号は差分演算部１０９に入力される。
　差分演算部１０９は、入力画像信号と、動き補償符号化部１０８の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０３に出力する。
　予測残差符号化部１０３は差分画像信号に対して直交変換を行い、さらに量子化幅決定部１０２で決定された量子化幅を用いて量子化を行い残差符号化信号を出力する。
　残差符号化信号は予測残差復号化部１０５に入力され、逆量子化、逆直交変換等が行われ、残差復号化信号が予測残差復号化部１０５から出力される。
　加算演算部１１０は残差復号化信号と予測画像信号との加算を行い、再構成画像信号を生成する。
　また、生成された再構成画像信号の中で、以降の画面間予測で参照される可能性がある信号はピクチャメモリ１０６に格納される。つまり、動き補償符号化部１０８による符号化処理の際に参照される可能性のあるピクチャがピクチャメモリ１０６に格納される。
　一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０７にも入力される。
　動きベクトル検出部１０７は、ピクチャメモリ１０６に格納されている再構成画像信号から構成される参照ピクチャを探索対象とし、入力画像信号に最も近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。
　また、例えばＨ．２６４では複数のピクチャを参照ピクチャとして使用することができる。そのため参照ピクチャとして用いるピクチャを指定するための参照インデックスも同時に決定される。
　動き補償符号化部１０８は、前記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０６に格納されている参照ピクチャから予測画像を生成する。
　一連の処理によって生成された残差符号化信号、動きベクトル、参照インデックス等の符号化情報は符号列生成部１０４に入力される。符号列生成部１０４は、入力された符号化情報に可変長符号化を施すことによって、動画像符号化装置１００から出力される符号列を生成する。
　次に、予測残差符号化部１０３が量子化を行う際に使用する量子化幅の値を決定するための、変化判定部１１２、平坦領域判定部１１１および量子化幅決定部１０２の処理を詳しく説明する。
　平坦領域判定部１１１は、符号化対象のマクロブロック（以下、「符号化対象ブロック」という。）が平坦領域であるか否かを判定する。変化判定部１１２は、動画像符号化装置１００に入力される動画像を生成するカメラから入力された、カメラ制御情報の変化量が大きいか否かを判定する。
　それぞれの判定結果は、量子化幅決定部１０２に入力される。量子化幅決定部１０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部１０３に入力する。
　なお、変化判定部１１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第一の例である。
　上記の処理の流れをまとめると図２（ａ）のフローチャートのようになる。
　図２（ａ）は、実施の形態１の動画像符号化装置１００における、量子化幅の決定に係る処理の流れを示すフローチャートである。
　変化判定部１１２はカメラ制御情報の変化量が所定の閾値以上か否かを判定する（Ｓ２０１）。
　変化判定部１１２は、具体的には、符号化対象の動画像における時間的な輝度変化に関与するカメラ制御情報をこの判定に使用する。この判定に使用されるカメラ制御情報の例を図２（ｂ）に示す。
　図２（ｂ）は、輝度変化に関与するカメラ制御情報の例を示す図である。
　変化判定部１１２は、図２（ｂ）に示す、ＥＶ（Ｅｘｐｏｓｕｒｅ　Ｖａｌｕｅ：露出値）、ズーム位置、シャッター速度、絞り値、ゲイン値のうちの少なくとも１つを用いて上記判定を行う。
　例えば、所定の期間内でのＥＶの増加量または減少量の絶対値が、ＥＶについての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
　なお、上記の「所定の期間」は、例えば、時間またはピクチャの枚数などにより規定される期間である。
　変化判定部１１２は、このようにカメラ制御情報の変化量と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かが判定される。
　変化判定部１１２はさらに、カメラ制御情報の変化量が所定の閾値より大きな場合（Ｓ２０１でＹＥＳ）、その旨を量子化幅決定部１０２に通知する。
　次に、平坦領域判定部１１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ２０２）。なお、この判定は、輝度変化についての判定（Ｓ２０１）より前に行われてもよく、並行して行われてもよい。
　平坦領域判定部１１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。
　なお、「画素値のばらつき度」とは、例えば、符号化対象ブロック内の隣接する画素の画素値間の差分の絶対値を合計することにより得ることのできる物理量である。平坦領域判定部１１１はこの画素値のばらつき度を算出し、算出した値と所定の閾値とを比較する。
　比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、平坦領域判定部１１１は、当該ブロックは平坦領域であると判定する（Ｓ２０２でＹＥＳ）。
　また、比較の結果、画素値のばらつき度が当該閾値以上の場合、平坦領域判定部１１１は、当該ブロックは非平坦領域であると判定する（Ｓ２０２でＮＯ）。
　なお、平坦領域判定部１１１は、入力画像信号の代わりに差分演算部１０９で算出された差分画像信号を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
　また、平坦領域判定部１１１は、予測残差符号化部１０３が行う直交変換によって生成された周波数成分毎の係数値を用いて上記判定を行ってもよい。この場合、低周波数領域に係数が集中していれば平坦領域、高周波数領域まで係数が分散していれば非平坦領域として判定することができる。
　また、平坦領域判定部１１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
　量子化幅決定部１０２は、カメラ制御情報の変化量が所定の閾値以上である場合（Ｓ２０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ２０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ２０３）。
　量子化幅決定部１０２により決定された量子化幅は、上述のように、予測残差符号化部１０３による量子化に用いられる。
　つまり、量子化幅決定部１０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
　例えば、量子化幅決定部１０２は、当該ブロックについての量子化幅を、予め設定された、符号化対象ブロックに対する量子化の際の基準となる量子化幅（基準量子化幅）よりも小さい値にする処理を行う。
　なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
　例えば、上記の基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。平坦領域では量子化幅とノイズの見え方に相関関係がある。そこで、人の視覚ではノイズを認識し難いレベルを実現する特定の値まで量子化幅を小さくする。これにより、ビットレートに依存せず常に目立ちやすいノイズを抑制することが可能となる。
　また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
　図３は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。
　なお、図３において、Ｐ２－Ｏｒｇが符号化対象ピクチャであり、Ｐ１－Ｒｅｆが参照ピクチャである。また、Ｐ１－ＲｅｆはＰ２－Ｏｒｇよりも輝度が低い。つまりこれらの輝度は異なっている。
　各ピクチャでは画面の右上にエッジまたはテクスチャが存在している。符号化対象ブロックＢＬ０１は非平坦領域に属し、ＢＬ１１の位置から予測が行われる。また、符号化対象ブロックＢＬ０２は平坦領域に属し、ＢＬ１２の位置から予測が行われる。
　その結果、予測画像としてＰ２－Ｐｒｅｄが生成されたとする。最終的に生成される符号化画像はこの予測画像に対して残差信号を加算したものとなる。
　ここで、残差信号の復号化における精度（符号化前の画素値と復号化後の画素値との同一性）は、符号化の際の量子化幅により制限される。そのため、予測誤差は最終的に符号化ノイズとして符号化画像の画質劣化の原因となる。
　しかし同じような輝度変化によって生じた予測誤差でも、ＢＬ０１の位置のような非平坦領域では他のエッジやテクスチャの情報によって人の視覚には判別し難くなる傾向がある。
　それに対してＢＬ０２の位置のような平坦領域では少しでも誤差があると人の視覚に目立つノイズとなってしまう。
　本実施の形態の動画像符号化装置１００では、この特性を利用して輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域に絞って量子化幅を小さくして画質を向上させる。これにより、効果的な画質の改善を実現している。
　また、一般に、平坦領域を符号化した際の符号量は、非平坦領域を符号化した際の符号量よりも小さな値に収まる。つまり、平坦領域は、画質の向上による符号量の増加が比較的小さいという特性を有している。
　図４は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。
　予測残差の符号化は、入力された予測残差係数に対して直交変換を行って直交変換係数を算出し、これに対して指定された量子化幅で量子化を行うことによって得られた係数値を可変長符号化することによってなされる。
　図４に示すように、平坦領域ブロックの予測残差係数は全面に渡って同じような値となり、非平坦領域ブロックでは係数値がばらつく傾向がある。
　これらの予測残差を直交変換して得られた直交変換係数は、平坦領域ブロックでは低周波数領域（（０，０）の係数位置周辺）に値が集中する。また、非平坦領域ブロックでは低周波数領域から離れた高周波数領域（（３，３）の係数位置周辺）に近いところまで係数が分散する傾向がある。
　従って、平坦領域ブロックを符号化する場合に量子化幅を小さくしたとしても符号化しなくてはならない非０の直交変換係数の数が少ない。そのため、符号量が大幅に増加することはない。
　それに対して、非平坦領域ブロックを符号化する場合に量子化幅を小さくしてしまうと非０の直交変換係数の数が多いため急激に符号量が増加してしまうことになる。
　本実施の形態の動画像符号化装置１００は、上述のように平坦領域に絞って量子化幅を小さくして画質を向上させている。つまり、上記の平坦領域の特性を利用して、画質の向上に伴う符号量の増加を最小限に抑えている。
　このように、本実施の形態の動画像符号化装置１００によれば、動画像を符号化する際に、画質の劣化が目立ち易い領域であって、かつ画質の改善に伴う符号量の増加量が少ない領域については、符号化の際の量子化幅を小さくする。これにより、効率的かつ効果的な画質の改善が実現される。
　（実施の形態２）
　図５は、本発明の実施の形態２における動画像符号化装置５００の主要な機能構成を示すブロック図である。
　なお、ピクチャメモリ５０１、予測残差符号化部５０３、符号列生成部５０４、予測残差復号化部５０５、ピクチャメモリ５０６、動きベクトル検出部５０７、動き補償符号化部５０８、差分演算部５０９および加算演算部５１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。
　そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部５０３で量子化を行う際に使用する量子化幅の値を決定するための、特徴値大きさ判定部５１２、平坦領域判定部５１１および量子化幅決定部５０２の処理を詳しく説明する。
　平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する。特徴値大きさ判定部５１２は、入力画像から画面特徴値抽出部５１３が抽出した画面特徴値の大きさが所定の閾値以上か否かを判定する。
　それぞれの判定結果は、量子化幅決定部５０２に入力される。量子化幅決定部５０２は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部５０３に入力する。
　なお、特徴値大きさ判定部５１２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第二の例である。
　上記の処理の流れをまとめると図６（ａ）のフローチャートのようになる。
　図６（ａ）は、実施の形態２の動画像符号化装置５００における、量子化幅の決定に係る処理の流れを示すフローチャートである。
　特徴値大きさ判定部５１２は、画面特徴値抽出部５１３から入力される画面特徴値の大きさが所定の閾値以上か否かを判定する（Ｓ６０１）。
　具体的には、特徴値大きさ判定部５１２は、符号化対象の動画像における時間的な輝度変化に関与する画面特徴値をこの判定に使用する。この判定に使用される画面特徴値の例を図６（ｂ）に示す。
　図６（ｂ）は、輝度変化に関与する画面特徴値の例を示す図である。
　特徴値大きさ判定部５１２は、図６（ｂ）に示す、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを用いて上記判定を行う。
　例えば、ある時点での画面の推定ズーム速度が、ズーム速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影範囲の急激な拡大または縮小を要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
　また、例えば、ある時点での画面の推定動き速度が、動き速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影対象の急激な切り替わりを要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
　特徴値大きさ判定部５１２は、このように画面特徴値と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生しているか否かが判定される。
　特徴値大きさ判定部５１２はさらに、画面特徴値が所定の閾値より大きな場合（Ｓ６０１でＹＥＳ）、その旨を量子化幅決定部５０２に通知する。
　次に平坦領域判定部５１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ６０２）。
　なお、平坦領域判定部５１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。
　すなわち、平坦領域判定部５１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。平坦領域判定部５１１は、この比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ６０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ６０２でＮＯ）。
　なお、平坦領域判定部５１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部５０９で算出された差分画像信号、または、予測残差符号化部５０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
　また、平坦領域判定部５１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
　量子化幅決定部５０２は、画面特徴値が所定の閾値以上である場合（Ｓ６０１でＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ６０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する（Ｓ６０３）。
　量子化幅決定部５０２により決定された量子化幅は、予測残差符号化部５０３による量子化に用いられる。
　つまり、量子化幅決定部５０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
　例えば、量子化幅決定部５０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値にする処理を行う。
　なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
　例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
　実施の形態２の動画像符号化装置５００は、以上説明したように、小さな量子化幅で量子化する対象を、参照先との間での輝度変化が大きな領域であって、かつ、平坦領域に限定する。これにより、実施の形態１の動画像符号化装置１００と同じく、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することが可能である。
　しかし、実施の形態２の動画像符号化装置５００は、実施の形態１の動画像符号化装置１００とは異なり、カメラから取得されるカメラ制御情報を必要としない。
　そのため、例えばデジタルビデオレコーダにおける符号化装置、および、カメラと連動する機能を持たない、デジタルビデオカメラにおける符号化装置のように、カメラ制御情報を取得することが出来ない符号化装置であっても、動画像符号化装置５００の構成を採用することにより、効率的かつ効果的に画質を改善することができる。
　つまり、動画像符号化装置５００は、カメラ制御情報を取得できない場合であっても、輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域の画質を向上させることによって、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。
　（実施の形態３）
　図７は、本発明の実施の形態３における動画像符号化装置７００の主要な機能構成を示すブロック図である。
　なお、ピクチャメモリ７０１、予測残差符号化部７０３、符号列生成部７０４、予測残差復号化部７０５、ピクチャメモリ７０６、動きベクトル検出部７０７、動き補償符号化部７０８、差分演算部７０９および加算演算部７１０による基本的な処理内容は、実施の形態１における動画像符号化装置１００（図１参照）の基本的な処理内容と同一である。
　そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部７０３で量子化を行う際に使用する量子化幅の値を決定するための、平坦領域判定部７１１および量子化幅決定部７０２の処理を詳しく説明する。
　平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する。この判定により得られた判定結果は、量子化幅決定部７０２に入力される。また、量子化幅決定部７０２にはさらに符号化構造情報が入力される。
　なお、「符号化構造情報」とは、本実施の形態においては、符号化対象ピクチャの種類（Ｉ、Ｐ、またはＢ）、並びに、符号化対象のピクチャに対しフレーム符号化およびフィールド符号化のいずれが実行されるかを示す情報である。
　例えば、動画像符号化装置７００の動作を制御する制御部（図示せず）から、符号化構造情報が量子化幅決定部７０２に入力される。
　量子化幅決定部７０２は、これら判定結果および符号化構造情報を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部７０３に入力する。
　なお、量子化幅決定部７０２は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第三の例である。量子化幅決定部７０２は、具体的には、符号化構造情報を参照することで、所定の大きさ以上の輝度変化の発生の有無を判断することができる。
　上記の処理の流れの一例を図８（ａ）に示す。
　図８（ａ）は、実施の形態３の動画像符号化装置７００における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートである。
　量子化幅決定部７０２は、符号化構造情報を参照することで、符号化対象ブロックがＰピクチャとして符号化を行うピクチャに含まれるブロックか否かを判定する（Ｓ８０１Ａ）。
　次に平坦領域判定部７１１は、符号化対象ブロックが平坦領域であるか否かを判定する（Ｓ８０２）。
　なお、平坦領域判定部７１１が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態１の平坦領域判定部１１１と同じである。
　すなわち、平坦領域判定部７１１は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し（Ｓ８０２でＹＥＳ）、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する（Ｓ８０２でＮＯ）。
　なお、平坦領域判定部７１１は、実施の形態１の平坦領域判定部１１１と同じく、入力画像信号の代わりに差分演算部７０９で算出された差分画像信号、または、予測残差符号化部７０３が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
　また、平坦領域判定部７１１は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
　量子化幅決定部７０２は、符号化対象ブロックがＰピクチャとして符号化するピクチャに含まれるブロックである場合（Ｓ８０１ＡでＹＥＳ）であって、かつ、符号化対象ブロックが平坦領域である場合（Ｓ８０２でＹＥＳ）にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する。
　量子化幅決定部７０２により決定された量子化幅は、予測残差符号化部７０３による量子化に用いられる。
　つまり、量子化幅決定部７０２は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
　例えば、量子化幅決定部７０２は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値に決定する。
　なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法であってもよい。
　例えば、実施の形態１と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
　また、量子化幅決定部７０２は、図８（ｂ）に示すように、符号化構造情報を参照することで、符号化対象がフィールド構造であり、かつ、Ｐピクチャとして符号化を行うピクチャの２つのフィールドのうち、符号化順で先に符号化するフィールドに含まれるブロックであるか否か（Ｓ８０２Ｂ）を判定してもよい。
　つまり、符号化対象ブロックが、Ｐピクチャとして符号化されるピクチャに含まれるブロックである場合、および、符号化順で先に符号化するフィールドに含まれるブロックである場合は、ともに、参照ピクチャまでの時間間隔が比較的に長い。
　また、符号化対象のピクチャと参照ピクチャまでの時間間隔が長いほど、これらの間で、所定の大きさ以上の輝度変化が発生している可能性が高いと考えることができる。そのため、実施の形態３の動画像符号化装置７００は、符号化対象ブロックについての符号化構造情報を、符号化幅の制御のための参照情報の１つとして扱う。
　図９（ａ）および図９（ｂ）は、符号化構造による輝度変化の影響の受け易さを説明するための模式図である。
　なお、図９（ａ）は、フレーム符号化の場合の一般的な参照関係を示す図であり、図９（ｂ）は、フィールド符号化の場合の一般的な参照関係を示す図である。
　また、図９（ａ）および図９（ｂ）において、矢印の始端に位置するピクチャが符号化される際に、矢印の先端が示すピクチャが参照されることを示している。
　また、図９（ａ）および図９（ｂ）では、最も一般的な参照関係を説明するため、参照に使用することのできるピクチャをＩピクチャとＰピクチャのみとし、さらに参照先のピクチャとしてＰピクチャは時間的に前方の最も近い１枚のピクチャを、Ｂピクチャは時間的に前方および後方のそれぞれで最も近い１枚ずつのピクチャを参照している。
　図９（ａ）は全てフレーム符号化を行った場合の例を示している。具体的には、ＢピクチャであるＢ３はＩ１とＰ４を参照し、ＰピクチャであるＰ７はＰ４のみを参照している。
　ここで、輝度変化が発生するようなシーンでは、符号化対象ピクチャと参照ピクチャとの時間間隔が広くなるほど輝度変化の影響が大きくなり予測誤差が増加する。
　例えば、Ｂ３であれば、Ｂ３との時間間隔が１フレーム分であるＰ４を参照することができる。しかし、Ｐ７の場合は、Ｐ７との時間間隔が３フレーム分であるＰ４を参照するしかない。つまりＰピクチャの方が輝度変化の影響を強く受ける傾向がある。
　また、図９（ｂ）は全てフィールド符号化を行った場合の例を示している。具体的には、Ｂピクチャの先頭フィールドであるＢ３ＴはＰ１ＢとＰ４Ｔを参照し、Ｐピクチャの先頭フィールドであるＰ７ＴはＰ４Ｂのみを参照し、Ｐピクチャの後続フィールドであるＰ７ＢはＰ７Ｔのみを参照している。
　例えば、Ｂ３Ｔであれば、Ｂ３Ｔとの時間間隔が２フィールド分であるＰ４Ｔを、Ｐ７Ｂであれば、Ｐ７Ｂとの時間間隔が１フィールド分であるＰ７Ｔを参照することができる。
　しかし、Ｐ７Ｔの場合は、Ｐ７Ｔとの時間間隔が５フィールド分であるＰ４Ｂを参照するしかない。つまりフィールド構造の場合はＰピクチャの先頭フィールドが最も輝度変化の影響を強く受ける傾向がある。
　なお、１つのＰピクチャを構成する先頭フィールドおよび後続フィールドのうち、先に後続フィールドが符号化される場合は、後続フィールドが最も輝度変化の影響を強く受けることになる。
　このように、符号化対象が、Ｐピクチャの一部として符号化される場合、または、Ｐピクチャを構成する２つのフィールドのうち符号化順で先に符号化されるフィールド（以下、「先行フィールド」という。）の一部として符号化される場合、（これらの場合を、「符号化対象がＰピクチャまたは先行フィールドである場合」という。）当該符号化対象と、参照ピクチャとの時間間隔が比較的に長い。
　そのため、Ｐピクチャおよび先行フィールドは、輝度変化の影響を強く受けることになる。言い換えると、符号化対象であるＰピクチャまたは先行フィールドと、参照ピクチャとの間で所定の大きさ以上の輝度変化が発生している可能性があると言える。
　本実施の形態の動画像符号化装置７００は、この特性を利用して効率的かつ効果的な画質の改善を行う。具体的には、動画像符号化装置７００は、一連の動画像を符号化する際に、Ｐピクチャまたは先行フィールドに限定して平坦領域の量子化幅を小さくして画質を向上させる。
　これにより、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。また、カメラ制御情報や画面特徴値を用いる必要がないため、これらの情報を利用することの出来ない符号化装置であっても、動画像符号化装置７００の構成を採用することにより効率的かつ効果的に画質を改善することができる。
　（実施の形態３の変形例）
　実施の形態３では、Ｐピクチャまたは先行フィールドのみについて量子化幅を小さくするとした。
　しかし、Ｐピクチャまたは先行フィールドでは量子化幅を小さくする際の変位を大きくし、それ以外のピクチャでは量子化幅を小さくする際の変位を小さくすることにより、効率的かつ効果的な画質の向上を実現することもできる。そこで、この処理の流れを実施の形態３の変形例として説明する。
　図１０は、実施の形態３の変形例における処理の流れの一例を示すフローチャートである。
　図１０に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャであると判定され（Ｓ１００１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。
　また、量子化幅決定部７０２により、符号化対象がＰピクチャではなく（Ｓ１００１でＮＯ）Ｂピクチャであると判定され（Ｓ１００４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１００５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。
　なお、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象がＰピクチャに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。
　図１１は、実施の形態３の変形例における処理の流れの別の一例を示すフローチャートである。
　図１１に示すように、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドであると判定され（Ｓ１１０１でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０２でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＸだけ小さい値に決定する。
　また、量子化幅決定部７０２により、符号化対象がＰピクチャの先頭フィールドではなく、（Ｓ１１０１でＮＯ）ＰピクチャまたはＢピクチャであると判定され（Ｓ１１０４でＹＥＳ）、かつ、平坦領域判定部７１１により、符号化対象ブロックが平坦領域であると判定された場合（Ｓ１１０５でＹＥＳ）、量子化幅決定部７０２は、量子化幅を基準量子化幅からＹだけ小さい値に決定する。
　なお、Ｓ１１０４の判断における“Ｐピクチャ”とは、フレーム構造のＰピクチャ、および、フィールド構造のＰピクチャの後続フィールドを含む表現である。
　また、上記のＸとＹとは、Ｘ＞Ｙの関係である。つまり、符号化対象ブロックがＰピクチャの先頭フィールドに含まれるブロックである場合の量子化幅をＱ１とし、符号化対象ブロックがＰピクチャまたはＢピクチャに含まれるブロックである場合の量子化幅をＱ２とし、基準量子化幅をＱ０とすると、当該符号化対象ブロックが平坦領域である場合、Ｑ０＞Ｑ２＞Ｑ１となるように、符号化対象ブロックについての量子化幅が決定される。
　また、図１１に示す処理では、符号化対象がＰピクチャの先頭フィールドであるか否かを判断している（Ｓ１１０１）。これは、先頭フィールドおよび後続フィールドのうち、先に符号化されるフィールド（先行フィールド）が先頭フィールドであることを前提とした判断である。
　つまり、先行フィールドが後続フィールドである場合は、符号化対象が後続フィールドである場合に、対象ブロックが平坦領域であるか否かの判断（Ｓ１１０２）に移行する。
　これら図１０および図１１に示す処理では、輝度変化が発生した場合に最も影響を受け易いＰピクチャまたは先行フィールドに含まれる平坦領域についての量子化幅を大幅に小さくして画質を向上させるだけでなく、それ以外のピクチャでも平坦領域の量子化幅を若干小さくして画質を向上させている。
　これにより、例えば、符号化ピクチャと参照ピクチャとの時間間隔が小さいにもかかわらず画質劣化が激しくなるような輝度変化が発生した場合に、符号量の増加を最小限に抑えながら効果的に画質が改善されるという効果が発揮される。
　なお、実施の形態３に記載の処理内容は、実施の形態１または実施の形態２に記載の処理内容と組み合わせて実施することも可能である。
　例えば、実施の形態１に記載のカメラ制御情報の変化量が閾値以上か否かの判定（図２（ａ）のＳ２０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるかどうかの判定（図１０のＳ１００１または図１１のＳ１１０１）の判定を行ってもよい。
　図１２は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。
　図１２に示すように、カメラ制御情報の変化量が閾値以上であり（Ｓ１２０１でＹＥＳ）、符号化対象ブロックが平坦領域であり（Ｓ１２０２でＹＥＳ）、かつ、符号化対象がＰピクチャである場合（Ｓ１２０３でＹＥＳ）、当該符号化対象ブロックについての量子化幅が小さな値に決定される（Ｓ１２０４）。
　この処理により、他よりも小さな量子化幅で量子化されるブロック、つまり、他よりも多くの符号量が割り当てられるブロックが、実施の形態１～３よりも絞り込まれる。
　そのため、例えば実施の形態１～３よりも画質の改善に伴う符号量の増加が抑制される。
　また、例えば、実施の形態２に記載の画面特徴値の大きさが閾値以上か否かの判定（図６（ａ）のＳ６０１）に加え、実施の形態３に記載の符号化対象がＰピクチャもしくはＰピクチャの先頭フィールドであるか否かの判定（図１０のＳ１００１または図１１のＳ１１０１）の判定を行ってもよい。
　この処理でも、図１２に示す処理と同様に、例えば実施の形態１～３よりも画質の改善に伴う符号量の増加が抑制されるという効果が発揮される。
　（実施の形態４）
　さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録してもよい。これにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
　なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
　また、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるＬＳＩに行わせてもよい。また、動画像符号化方法に含まれる複数の処理の一部または全てを含むように１チップ化されてもよい。また、ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
　図１３は、実施の形態１の動画像符号化装置１００における集積回路化の一例を示す図である。
　図１３に示すＬＳＩ１５０は、動画像符号化装置１００が備える複数の機能ブロックを含む集積回路の一例である。
　なお、これら複数の機能ブロックは１つのＬＳＩではなく、複数のＬＳＩに分散して含まれてもよい。
　また、実施の形態２の動画像符号化装置５００および実施の形態３の動画像符号化装置７００のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
　（実施の形態１～４の補足事項）
　なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
　（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（３）本発明は、上記に示す本発明の動画像符号化方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（４）上記各実施の形態及び上記（１）～（３）に記載の技術内容をそれぞれ組み合わせてもよい。
　本発明の動画像符号化方法は、例えばビデオカメラ、ビデオレコーダ、ＤＶＤ装置、携帯電話、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。

Claims (16)

  1. 　時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
    　前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、
    　前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
    　前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
    　前記量子化幅決定ステップでは、
    　前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
    　前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
    　動画像符号化方法。
  2. 　前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    　請求項１記載の動画像符号化方法。
  3. 　前記輝度変化判定ステップでは、前記カメラ制御情報として、露出値、ズーム位置、シャッター速度、絞り値、およびゲイン値のうちの少なくとも１つを使用する
    　請求項２記載の動画像符号化方法。
  4. 　前記輝度変化判定ステップでは、入力される画像列から推定されるピクチャ単位の画面特徴値の大きさが、前記画面特徴値についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    　請求項１記載の動画像符号化方法。
  5. 　前記輝度変化判定ステップでは、前記画面特徴値として、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも１つを使用する
    　請求項４記載の動画像符号化方法。
  6. 　前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    　請求項１記載の動画像符号化方法。
  7. 　前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドである場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    　請求項６記載の動画像符号化方法。
  8. 　前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、
    　前記符号化対象ピクチャの符号化構造がフィールド符号化におけるＰピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、
    　前記符号化構造がフィールド符号化におけるＰピクチャではなく、または、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドでないときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
    　請求項７記載の動画像符号化方法。
  9. 　前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がＰピクチャまたはＢピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    　請求項１記載の動画像符号化方法。
  10. 　前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、前記符号化対象ピクチャの符号化構造がＰピクチャであるときは、基準となる量子化幅である基準量子化幅よりＸだけ小さな量子化幅を決定し、前記符号化構造がＢピクチャであるときは、前記基準量子化幅よりＹ（Ｘ＞Ｙ）だけ小さな量子化幅を決定する
    　請求項９記載の動画像符号化方法。
  11. 　前記量子化幅決定ステップでは、量子化幅を決定する場合、所定の量子化幅以下の値になるように量子化幅を決定する
    　請求項１記載の動画像符号化方法。
  12. 　さらに、符号化対象ピクチャの符号化構造がＰピクチャであるか否かを判定する符号化構造判定ステップを含み、
    　前記量子化幅決定ステップでは、
    　前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定され、かつ、前記符号化構造判定ステップにおいて、前記符号化構造がＰピクチャであると判定された場合の量子化幅を、
    　前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、前記ばらつき度が前記所定の閾値よりも小さいと判定されず、または、前記符号化構造がＰピクチャであると判定されなかった場合の量子化幅よりも小さな値に決定する
    　請求項１記載の動画像符号化方法。
  13. 　請求項１に記載の動画像符号化方法に含まれる、輝度変化判定ステップと、平坦領域判定ステップと、量子化幅決定ステップと
    　をコンピュータに実行させるためのプログラム。
  14. 　時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、
    　前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Ｐピクチャであるか否かを判定する符号化構造判定ステップと、
    　前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
    　前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
    　前記量子化幅決定ステップでは、
    　前記符号化構造判定ステップにおいて前記符号化構造がＰピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
    　前記符号化構造がＰピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
    　動画像符号化方法。
  15. 　時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化装置であって、
    　前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
    　前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
    　前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
    　前記量子化幅決定部は、
    　前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
    　前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
    　動画像符号化装置。
  16. 　時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する集積回路であって、
    　前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定部と、
    　前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
    　前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
    　前記量子化幅決定部は、
    　前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、
    　前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する
    　集積回路。
PCT/JP2009/000173 2008-01-23 2009-01-20 動画像符号化方法 WO2009093436A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009521664A JP5059859B2 (ja) 2008-01-23 2009-01-20 動画像符号化方法
US12/531,750 US8179965B2 (en) 2008-01-23 2009-01-20 Moving picture coding method
CN2009800001711A CN101682782B (zh) 2008-01-23 2009-01-20 运动图像编码方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-012993 2008-01-23
JP2008012993 2008-01-23

Publications (1)

Publication Number Publication Date
WO2009093436A1 true WO2009093436A1 (ja) 2009-07-30

Family

ID=40900948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000173 WO2009093436A1 (ja) 2008-01-23 2009-01-20 動画像符号化方法

Country Status (4)

Country Link
US (1) US8179965B2 (ja)
JP (1) JP5059859B2 (ja)
CN (1) CN101682782B (ja)
WO (1) WO2009093436A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661711B (zh) * 2011-11-08 2019-06-01 三星電子股份有限公司 視訊解碼方法、視訊編碼方法、裝置及非暫態電腦可讀儲存媒體

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
JPH11196423A (ja) * 1997-12-26 1999-07-21 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2006203597A (ja) * 2005-01-21 2006-08-03 Pioneer Electronic Corp ディジタル画像復号装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
US6865291B1 (en) * 1996-06-24 2005-03-08 Andrew Michael Zador Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
JP5006633B2 (ja) 2006-03-10 2012-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
JP4956612B2 (ja) * 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
JPH11196423A (ja) * 1997-12-26 1999-07-21 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2006203597A (ja) * 2005-01-21 2006-08-03 Pioneer Electronic Corp ディジタル画像復号装置及び方法

Also Published As

Publication number Publication date
US20100104011A1 (en) 2010-04-29
US8179965B2 (en) 2012-05-15
CN101682782A (zh) 2010-03-24
JPWO2009093436A1 (ja) 2011-05-26
CN101682782B (zh) 2013-03-20
JP5059859B2 (ja) 2012-10-31

Similar Documents

Publication Publication Date Title
JP4339680B2 (ja) ビデオ圧縮フレームの補間
JP4246723B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4901772B2 (ja) 動画像符号化方法及び動画像符号化装置
JP4820191B2 (ja) 動画像符号化装置及びプログラム
KR101388902B1 (ko) 모션 추정을 위한 기법들
WO2006101126A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
JP2009224854A (ja) 画像符号化装置及び方法
CN116547972A (zh) 用于视频编解码的基于网络的图像滤波
JP2007228519A (ja) 画像符号化装置及び画像符号化方法
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
JP5059859B2 (ja) 動画像符号化方法
JP2007124580A (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
US8306116B2 (en) Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008187220A (ja) 動画像符号化装置
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
JP4719108B2 (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP4829951B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010023782A1 (ja) 画像表示装置、録画再生装置、及び画像処理方法
JP2009177443A (ja) 符号化装置
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6016484B2 (ja) 符号化装置
JP5943757B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980000171.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009521664

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12531750

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704521

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09704521

Country of ref document: EP

Kind code of ref document: A1