WO2006049335A1 - 動画像符号化装置および動画像符号化処理プログラム - Google Patents

動画像符号化装置および動画像符号化処理プログラム Download PDF

Info

Publication number
WO2006049335A1
WO2006049335A1 PCT/JP2005/020689 JP2005020689W WO2006049335A1 WO 2006049335 A1 WO2006049335 A1 WO 2006049335A1 JP 2005020689 W JP2005020689 W JP 2005020689W WO 2006049335 A1 WO2006049335 A1 WO 2006049335A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coding
encoding
quantization error
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/020689
Other languages
English (en)
French (fr)
Inventor
Kouichi Nakagomi
Akira Hamada
Shinichi Matsui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of WO2006049335A1 publication Critical patent/WO2006049335A1/ja
Priority to US11/504,021 priority Critical patent/US8121193B2/en
Anticipated expiration legal-status Critical
Priority to US13/351,711 priority patent/US8824552B2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Definitions

  • the present invention relates to a moving image encoding method that compresses a moving image in consideration of human visual characteristics.
  • the present invention relates to an apparatus and a moving image encoding processing program.
  • FIG. 9 is a block diagram showing a schematic configuration of the moving picture coding apparatus.
  • the subtractor 10 subtracts the pixel value of the prediction block from the pixel value of the current block to generate a prediction error signal representing the luminance difference.
  • the transform / quantizer 1 1 performs integer DCT (discrete cosine transform) on the prediction error signal output from the subtractor 10 and quantizes the transform coefficient obtained by this with a predetermined quantization width to obtain coefficient data. Is generated.
  • the entropy coding unit 1 2 uses the variable-length coding VL C-based exponential Golomb code and the CA BAG (Context-based Adaptive Binary Arithmetic Coding) applied to the coefficient data generated by the transform quantization unit 1 1. Entropy coding using) and.
  • the frame memory 16 forms a local decoding unit.
  • the local decoding unit performs inverse quantization and inverse integer DCT on the coefficient data generated by the transform quantization unit 1 1 and then adds the pixel values of the previous prediction block to generate a decoded image.
  • Loop noise is applied to reduce block noise, and then temporarily stored in the frame memory 16.
  • the intra-frame prediction unit 17 calculates an intra-frame prediction block value using the decoded image read from the frame memory 16.
  • the motion detector 18 detects the motion vector of the current block.
  • the motion compensation unit 19 calculates the inter-frame prediction block value by performing motion compensation on the reference frame (the decoded image read from the frame memory 16) according to the motion vector detected by the motion detection unit 18. .
  • the selector 20 selects either the intra-frame prediction block value calculated by the intra-frame prediction unit 17 or the inter-frame prediction block value calculated by the motion compensation unit 19 according to the instruction of the determination unit 21.
  • the determination unit 21 estimates the generated code amount at the time of intraframe predictive encoding and the generated code amount of the interframe predictive encoding, and instructs the selector 20 to select an encoding method with a small generated code amount.
  • FIG. 10 is a flowchart showing the operation of the coding determination process executed for each block image input.
  • the process proceeds to step SF1 to initialize each part of the apparatus.
  • step SF 2 inter prediction processing for estimating the generated code amount at the time of inter-frame predictive coding is executed, and in subsequent step SF 3, the generated code amount at the time of intra-frame predictive coding is estimated and Intra prediction processing that performs encoding (integer D CT, quantization, inverse quantization, and inverse integer D CT) is executed.
  • step SF 4 the minimum difference absolute value sum S AD inter (corresponding to the generated code amount at the time of inter prediction) obtained in step SF 2 is the minimum difference absolute value obtained in step SF 3.
  • Value sum S AD intra (corresponds to the generated code amount for intra prediction) It is determined whether it is larger.
  • the moving image encoding apparatus compresses the moving image by the intra-frame encoding executed in step SF3.
  • step SF 4 if the generated code amount at the time of inter prediction is smaller than the generated code amount at the time of intra prediction, the judgment result of the above step SF 4 becomes “N0”, and the process proceeds to step SF 5 where interframe coding (integer D Executes inter D & Q processing that performs CT, quantization, inverse quantization, and inverse integer D CT). Therefore, in this combination, the moving image encoding apparatus compresses a moving image by inter-frame encoding.
  • interframe coding integer D Executes inter D & Q processing that performs CT, quantization, inverse quantization, and inverse integer D CT.
  • step SG 1 a macro block of 16 ⁇ 16 pixels is divided into 16 ⁇ 4 ⁇ Judge whether all four-pixel blocks have been processed.
  • the judgment result is “YE S” and this process is completed. Otherwise, the judgment result is “N ⁇ ”, and the process proceeds to Step SG2.
  • the relationship between the 16 X 16 pixel macroblock and the 4 X 4 pixel block is such that a 4 X4 pixel block is specified by the macroblock block number n, as shown in Figure 13 It has become.
  • step S G 2 the pixel value 0 rg of the 4 ⁇ 4 pixel block to be processed (hereinafter referred to as the current block) is calculated.
  • step S G 3 an MV search process for searching for a motion vector is executed.
  • the correlation with the current block is calculated while shifting the pixel around the reference block within the search range of the reference frame. The position of the pixel with the highest correlation is extracted as a motion vector.
  • the correlation between the reference block and the current block is evaluated using the sum of absolute differences SAD of both blocks. Therefore, when the position of the pixel with the highest correlation is extracted as a motion vector, the difference absolute value sum SAD is minimized.
  • the minimum sum of absolute differences S AD inter is used in step S F 4 (see FIG. 10) for determining whether or not to perform an int D & Q process.
  • step SJ 1 shown in FIG. 14 to divide the macro block of 16 ⁇ 16 pixels into 16 parts 4 X Determine if all 4 pixel blocks have been processed.
  • the judgment result is “YE S” and this process is completed. Otherwise, the judgment result is “N0” and the process proceeds to step SJ2.
  • step SJ2 for example, in the case of intra 4 X4 mode, mode 0 to m
  • the prediction block value of each mode is calculated by 9 kinds of prediction methods of ode 8 in total.
  • steps SJ 3 to SJ 5 the sum of absolute differences S AD between the current block and the predicted block value of each mode is calculated corresponding to all mo de 0 to mo de 8, and the smallest one of them is calculated.
  • the sum of absolute differences S AD intra is obtained.
  • the minimum sum of absolute differences S AD intra is used in step S F 4 (see FIG. 10) for determining whether or not to perform an int D D & Q process.
  • step SJ 3 When the calculation of the sum of absolute differences S AD is completed for all modes 0 to 8 and the smallest sum of absolute differences S AD intra is determined, the judgment result in step SJ 3 is “YES”, and step SJ Proceed to 6, and encode the current block in frame with mode that generates the minimum sum of absolute differences S AD intra. Thereafter, the above-described steps S J 1 to S J 6 are repeated until all the blocks are processed.
  • step SK 1 shown in FIG. 15 and a 16 ⁇ 16 pixel macroblock is divided into 16 4 X Determine if all 4 pixel blocks have been processed. If all the blocks have not been processed, the judgment result is “NO” and the process proceeds to step SK2.
  • steps SK 2 to SK 6 conversion processing to a prediction error signal generated by subtracting the inter-frame prediction block value ref (i, j) from the pixel value O rg (i, j) of the current block (integer D CT) Quantization processing Q, inverse quantization Q-1 and inverse transformation processing (integer D CT-1).
  • step SK 7 to increment the inter-frame prediction block value ref (i, j).
  • steps SK 1 to SK 7 are repeated until all blocks have been processed.
  • a moving image coding apparatus that selectively compresses a moving image by using intraframe coding that uses correlation in the spatial domain or interframe coding that uses correlation in the time domain, block image input
  • the smallest difference absolute value sum S AD inter corresponding to the generated code amount at the time of inter prediction and the smallest difference absolute value sum SAD intra corresponding to the generated code amount at the time of intra prediction are calculated and compared in magnitude. Therefore, compression encoding is performed by selecting an encoding method with a smaller sum of absolute differences SAD.
  • the moving picture coding apparatus that compresses a moving image by selectively using the above-described intraframe coding or interframe coding has the following problems.
  • a macro block to be coded is encoded.
  • the macroblock image to be coded is divided in units of block images.
  • F A first encoding determination means for determining whether or not there is a block image having visually noticeable noise when performing inter-frame encoding, and selecting intra-frame encoding when the corresponding block image exists; The second is to determine whether there is a block image that has visually noticeable noise in consideration of the size of the motion vector obtained in the prediction, and to select intra-frame coding when the corresponding block image exists.
  • coding determination means for determining whether or not there is a block image having visually noticeable noise when performing inter-frame encoding, and selecting intra-frame encoding when the corresponding block image exists.
  • the evaluation obtained by the motion vector search at the time of inter-frame prediction Error estimation means that estimates the magnitude of the quantization error of the entire macroblock image to be encoded using the value, and inter-frame encoding in units of block images obtained by dividing the macroblock image.
  • a first encoding determination means for determining whether or not there is a block image having visually noticeable noise and selecting intra-frame encoding when the corresponding block image exists; When the quantization error estimated by the error estimation means is larger than a predetermined value, the presence or absence of a block image having visually noticeable noise is determined from the estimated quantization error, and the corresponding block image exists. And a second coding determining means for selecting intra-frame coding when performing the above.
  • the evaluation obtained by the motion vector search at the time of inter-frame prediction Value is used to estimate the amount of quantization error in the entire macroblock image to be encoded.
  • An error estimation unit and when the quantization error estimated by the error estimation unit is smaller than a predetermined value, the flatness of each block image is calculated when inter-frame encoding is performed in units of block images obtained by dividing a macroblock image. Quantization error is detected, and the presence or absence of a block image having visually noticeable noise is judged from the relationship between the detected flatness and the quantization error, and intra-frame coding is performed when the corresponding block image exists.
  • a first encoding determination unit to be selected and if the quantization error estimated by the error estimation unit is greater than a predetermined value, the presence / absence of a block image having visually noticeable noise is determined from the estimated quantization error.
  • the first quantization determination unit that selects intra-frame coding if the error is conspicuous, and the estimated quantization error To determine whether there is visually noticeable noise in the macroblock image, and if there is no visually noticeable noise, select inter-frame coding. On the other hand, if there is visually noticeable noise, And second encoding determination means for selecting intra-frame encoding.
  • the second encoding determination means considers the size of the dynamic vector obtained by inter-frame prediction. The presence or absence of a block image having visually noticeable noise is judged.
  • the motion vector having the highest correlation with the evaluation obtained by the motion vector search at the time of inter-frame prediction is detected. It is characterized by the sum of absolute differences.
  • inter-frame coding is performed in units of block images obtained by dividing a macroblock image. And detecting the flatness and the quantization error for each block image and detecting the magnitude of the quantization error of the entire macroblock image, and the macroblock image detected by the detection unit. When the total quantization error is smaller than the predetermined value, it is determined whether there is a block image having visually noticeable noise from the relationship between the detected flatness and the quantization error, and the corresponding block image exists.
  • a first encoding determination unit that selects intra-frame encoding; and a quantization error of the entire macroblock image detected by the detection unit is greater than a predetermined value. If there is a block image that has visually noticeable noise, considering the size of the motion vector obtained by inter-frame prediction, And a second coding determination means for selecting inner coding.
  • a block image obtained by dividing a macroblock image to be encoded When performing inter-frame coding on an image basis, it is determined whether there is a block image having visually noticeable noise, and when the corresponding block image exists, the coding determination process for selecting intra-frame coding is executed by the computer. It is characterized by that.
  • a block image obtained by dividing a macroblock image to be encoded First encoding determination process that determines whether there is a block image with visually noticeable noise when inter-frame encoding is performed in units, and selects intra-frame encoding when the corresponding block image exists Considering the size of the motion vector obtained by inter-frame prediction, it is determined whether there is a block image with visually noticeable noise, and intra-frame coding is performed when the corresponding block image exists.
  • the second encoding determination process to be selected is executed by a computer.
  • a moving image coding processing program for compressing a moving image by selecting either intraframe coding or interframe coding it is obtained by motion vector search at the time of interframe prediction.
  • Error estimation processing that estimates the magnitude of the quantization error of the entire macroblock image to be encoded, and inter-frame encoding in units of block images obtained by dividing the macroblock image.
  • First coding that determines whether there is a block image with visually noticeable noise from the relationship with the error, and selects intra-frame coding when the corresponding block image exists
  • a constant process when the quantization error estimated by the error estimation process is greater than a predetermined value, estimated
  • the computer determines whether there is a block image with visually noticeable noise from the determined quantization error, and executes a second encoding determination process that selects intra-frame encoding when the corresponding block image exists. It is characterized by letting
  • a moving image coding processing program that compresses a moving image by selecting either intraframe coding or interframe coding, it is obtained by motion vector search at the time of interframe prediction.
  • An error estimation process for estimating the magnitude of the quantization error of the entire macroblock image to be encoded, and the quantization error estimated by the error estimation process is smaller than a predetermined value.
  • the second encoding determination process to be selected is executed by a computer.
  • the quantization error estimated by the estimation process is larger than the predetermined value, it is determined from the estimated quantization error whether a visually noticeable noise exists in the macroblock image, and there is no visually noticeable noise. For example, inter-frame coding is selected. On the other hand, if there is visually noticeable noise, a second coding determination process for selecting intra-frame coding is executed by a computer. In the invention according to claim 14 that depends on any one of claims 1 1 to 1 3, the second encoding determination process considers the size of a motion vector obtained by inter-frame prediction. Thus, the presence or absence of a block image having visually noticeable noise is judged.
  • the evaluation value obtained by the motion vector search at the time of inter-frame prediction is the motion having the highest correlation. It is characterized by the sum of absolute differences when a vector is detected.
  • a frame is divided in units of block images obtained by dividing a macro block image.
  • a detection process for detecting flatness and quantization error for each block image and detecting the magnitude of the quantization error for the entire macroblock image, and a macroblock detected by the detection process
  • the quantization error of the entire image is smaller than the predetermined value, it is determined whether there is a block image with visually noticeable noise from the relationship between the detected flatness and the quantization error.
  • the second encoding determination process for selecting the intra-frame encoding when the corresponding block image exists is executed by a computer. According to the inventions described in claims 1 and 9, when a block image having visually noticeable noise exists when inter-frame encoding is performed in units of divided block images of a macro block image to be encoded. Since intra-frame coding is selected, the intra-prediction processing (see Fig. 14) with a large amount of computation, which has been performed for coding determination even though the usage frequency is low, can be omitted. The coding mode can be determined at high speed in consideration of human visual characteristics without performing unnecessary calculations.
  • intra-frame coding is selected immediately, so that it is possible to quickly cut off the quantization error propagation when falling into the local minimum, and to avoid degradation of image quality.
  • intra-frame coding is selected, and intra-frame coding is selected when there is a block image with visually noticeable noise considering the size of the motion vector obtained by inter-frame prediction.
  • the intra prediction process see Fig. 14
  • the coding mode can be determined at high speed in consideration of visual characteristics.
  • intra-frame coding is performed immediately. Since it is selected, the quantization error propagation in the case of falling into the local minimum can be cut off quickly to avoid degradation of image quality.
  • the magnitude of the quantization error of the entire macroblock image to be encoded is calculated using the evaluation value obtained by the dynamic vector search at the time of inter-frame prediction. Estimate and detect the flatness and quantization error for each block image when inter-frame coding is performed in units of block images obtained by dividing the macro block image. If the estimated quantization error is smaller than a predetermined value, the presence or absence of a block image having visually noticeable noise is determined from the relationship between the detected flatness and the quantization error, and the corresponding block image is determined. Select intraframe coding when present.
  • the estimated quantization error is larger than a predetermined value, the presence of a block image having visually noticeable noise is judged from the estimated quantization error, and intra-frame coding is performed when the corresponding block image exists. select.
  • the coding mode can be determined at high speed in consideration of human visual characteristics.
  • the intra-frame coding is selected immediately, so that the quantization error propagation in the case of falling into the local minimum can be quickly cut off, and the degradation of image quality can be avoided.
  • the magnitude of the quantization error of the entire macro-picture image to be encoded is estimated using the evaluation value obtained by the dynamic vector search at the time of inter-frame prediction. If the estimated quantization error is smaller than the predetermined value, the block image When inter-frame coding is performed, the flatness and quantization error for each block image are detected, and the presence or absence of a block image having visually noticeable noise from the relationship between the detected flatness and the quantization error is detected. Judgment is made and intra-frame coding is selected when the corresponding block image exists.
  • the estimated quantization error is larger than a predetermined value, the presence of a block image having visually noticeable noise is judged from the estimated quantization error, and intra-frame coding is performed when the corresponding block image exists. Select.
  • the coding mode can be determined at high speed in consideration of human visual characteristics.
  • the intra-frame coding is selected immediately, so that the quantization error propagation in the case of falling into the local minimum can be quickly cut off, and the degradation of image quality can be avoided.
  • the magnitude of the quantization error of the entire macroblock image to be encoded is calculated using the evaluation value obtained by the dynamic vector search at the time of inter-frame prediction.
  • the flatness of the entire macroblock image is calculated to determine whether the flatness is visually inconspicuous, and the noise is visually If it is not noticeable, select inter-frame coding. If it is visually noticeable, select intra-frame coding.
  • the estimated quantization error is larger than a predetermined value, it is determined from the estimated quantization error whether visually noticeable noise exists in the macroblock image. If there is no visually noticeable noise, Select interframe coding and select intraframe coding if there is visually noticeable noise. Select.
  • the coding mode can be determined at high speed in consideration of human visual characteristics.
  • the intra-frame coding is selected immediately, so that the quantization error propagation in the case of falling into the local minimum can be quickly cut off, and the degradation of image quality can be avoided.
  • the quantization error of the entire detected macroblock image is larger than a predetermined value, the presence or absence of a block image having visually noticeable noise in consideration of the size of the motion vector obtained by inter-frame prediction.
  • the intra-frame coding is selected.
  • the intra-frame coding is selected immediately, so that the quantization error propagation in the case of falling into the local minimum can be quickly cut off, and the degradation of image quality can be avoided.
  • Human visual characteristics are broadly divided into spatial visual characteristics and temporal visual characteristics.
  • spatial visual characteristics it is known that the gradation sensitivity is higher than the resolution in the flat part of the image and the resolution sensitivity is higher than the gradation in the non-flat part. Therefore, when visualizing moving images as a sequence of still images, it is necessary to consider spatial visual characteristics.
  • the quantization error that occurs during encoding is added to the predicted image after being subjected to inverse DCT, so that it is finally added to each pixel of the decoded image obtained by adding the decoded differential signal to the predicted image. Will remain. If the difference value for each pixel generated in the encoding / decoding process is added up in units of blocks, the amount of noise generated in that block is obtained.
  • the gradation sensitivity is higher than the resolution in the flat part of the image, when comparing blocks with the same amount of noise, the flatter the image, the more visually noticeable noise is.
  • noise is conspicuous in flat areas such as “human skin”, “sky” or “ground”, but noise in non-flat areas such as “audience seats” and “forest” is inconspicuous. . Therefore, if the amount of noise and flatness are detected in units of blocks, it can be estimated whether or not the noise generated in the block is visually noticeable.
  • the present invention determines whether or not visually noticeable noise exists in the current macroblock to be encoded. Intraframe coding is performed only when there is visually noticeable noise. This makes it possible to determine the coding mode at a high speed in consideration of human visual characteristics without performing useless computation. Also, as will be described later, it is possible to quickly cut off the quantization error propagation when falling into the local minimum, and to avoid degradation of image quality.
  • FIG. 1 is a block diagram showing the configuration of the first embodiment according to the present invention.
  • Fig. 2 is a diagram illustrating the correspondence between the m i N S A D value (x axis) of a general image such as a broadcast image and the total quantization error ⁇ ⁇ o i s e (y axis).
  • Figure 3 is a graph plotting the flatness f 1 at / min S A D value of a macroblock with visually noticeable noise and the flatness f l at / min S A D value of a macroblock without visually noticeable noise.
  • FIG. 4 is a flowchart showing the operation of the encoding determination process according to the first embodiment.
  • FIG. 5 is a flowchart showing the operation of the int D D & Q process according to the first embodiment.
  • FIG. 6 is a flowchart showing the operation of the encoding determination process according to the second embodiment.
  • FIG. 7 is a flowchart showing the operation of the encoding determination process according to the third embodiment.
  • FIG. 8 is a flowchart showing the operation of the encoding determination process according to the fourth embodiment.
  • FIG. 9 is a block diagram showing the configuration of a conventional moving picture coding apparatus.
  • FIG. 10 is a flowchart showing the operation of the conventional encoding determination process.
  • FIG. 11 is a flowchart showing the operation of the conventional Int er prediction process.
  • FIG. 12 is a flowchart showing the operation of the conventional MV search process.
  • FIG. 13 is a diagram showing the relationship between a 16 ⁇ 16 pixel macroblock and a 4 ⁇ 4 pixel block.
  • FIG. 14 is a flowchart showing the operation of the conventional Intra prediction process.
  • FIG. 15 is a flow chart showing the operation of the conventional Int D D & Q process. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram showing a schematic configuration of a moving picture encoding apparatus according to the first embodiment.
  • the video encoding apparatus shown in FIG. 1 is different from the conventional example of FIG. 9 in that a flatness calculation unit 30 and a noise calculation unit 40 are newly provided, while a flatness calculation unit 30 and a noise calculation unit are provided.
  • 4 Judgment unit 2 1 selects either intraframe coding or interframe coding according to each output of 0 There is.
  • the flatness calculation unit 30 calculates a flatness by performing a known Hadamard transform on a block image (current macroblock) input as an encoding target. Specifically, the absolute sum of the harmonic component coefficients of the Hadamard coefficient obtained by Hadamard transform for each block of 4 x 4 pixels obtained by dividing the current macro block of 16 x 16 pixels into 16 blocks.
  • the flatness of each macroblock is calculated as flatness f 1 at (0) to flat (15), and the flatness F of the current macroblock is calculated from the sum of flatness (0) to flat: 15 (5) for each sub-block. Get 1 at.
  • the 4 x 4 pixel Hadamard transform has a square wave resolution that is reduced to 1/4 compared to the 16 x 16 pixel Hadamard transform, but sufficient resolution is obtained for the flatness evaluation intended by the present invention. Be done.
  • the noise calculation unit 40 extracts the quantization error superimposed on the pixel value and generates noise Noise (0) to (15) for each block.
  • the quantization error for each pixel is the difference value An (i, j) between the pixel value 0 rg (i, j) of the current block and the pixel value ref (i, j) of the reference image (motion-compensated local decoded image).
  • j) and the difference Z n (i, j) between the difference value A 'n (i, j) after local decoding.
  • the difference Z n (i, j) Noise per block whose absolute value sum is 4 x 4 pixels. Noise (0) to (15).
  • the decision unit 2 1 uses the minimum absolute difference sum min obtained by the motion vector search during inter prediction as a substitute for the total quantization error ⁇ Noise (the sum of noise Noise (0) to (15)).
  • the error situation is judged using S AD (hereinafter abbreviated as min S AD value), and the first or second coding judgment is made according to the result of this error situation judgment.
  • the error situation determination is to determine whether or not the min SAD value of the current macroblock to be encoded is larger than a threshold TH 1 (described later). In this error situation determination, if the min S AD value is smaller than the threshold TH 1, the first encoding determination (described later) is performed. On the other hand, if the min SAD value is larger than the threshold TH 1, the second encoding is performed. Judgment (described later) is performed.
  • FIG. 1 shows the relationship between the min S AD value (x axis) and the total quantization error ⁇ Noise (y axis) obtained in macroblock units of 16 x 16 pixels in a general image such as a broadcast image.
  • FIG. 1 shows the relationship between the min S AD value (x axis) and the total quantization error ⁇ Noise (y axis) obtained in macroblock units of 16 x 16 pixels in a general image such as a broadcast image.
  • the m i n S AD value has a linear function K 1 as a boundary, and always takes a value exceeding the total quantization error ⁇ ⁇ 0 i s e. For this reason, it can be seen that even if the total quantization error ⁇ N 0 i s e is substituted with a mi n S A D value, there is no risk of overlooking the actual quantization error, and it can sufficiently withstand rough error determination. In addition, an increase in the amount of computation can be avoided by substituting the total quantization error ⁇ N o i se with a mi n SAD value.
  • the decision unit 2 1 performs the first coding decision considering “noise” and “flatness f 1 at” extracted in block units of 4 ⁇ 4 pixels obtained by dividing a macroblock into 16 blocks. I do. The details will be described later.
  • the first coding decision the presence or absence of visually noticeable noise is judged from “noise noise” and “flatness f 1 at”, and visually noticeable noise is generated. If it exists, intra-frame coding is selected.
  • the determination unit 21 performs the second encoding determination in consideration of “min S A D value”, “flatness f 1 at”, and “motion vector” in units of macro blocks of 16 X I 6 pixels.
  • FIG. Figure 3 shows the flatness and flatness of a macroblock (black square in the graph) with visually noticeable noise, and the flatness of the macroblock (white circle in the graph) without visually noticeable noise. It is a graph plotting the degrees f 1 at and min SAD values, respectively.
  • the straight line A corresponds to the threshold value T H 1 used for the error situation determination described above.
  • the second coding decision it is judged whether the flatness f 1 at and min SAD values of the current macroblock are in the area above line B (the area where visually noticeable noise appears). In the upper area of In some cases, intra-frame coding is selected.
  • the motion vector is large due to the movement of the object or camera pan, the current macroblock will be blurred, and in this case, the min SAD value will be smaller despite the quantization error being visually inconspicuous noise. There is a tendency to grow.
  • the decision content described above must be adaptively changed according to the motion vector (u, V) of the current macroblock. It is determined whether or not
  • FIG. 4 is a flowchart showing the operation of the coding determination process executed every time a block image is input.
  • this process is executed in response to block image input, first, each part of the device is initialized in step SA1, and then the process proceeds to step SA2, where inter prediction processing for estimating the amount of generated code at the time of interframe prediction encoding is executed. To do.
  • This inter prediction process is the same as the conventional example shown in Fig. 11.
  • the motion vector is searched for all 4 X 4 pixel blocks obtained by dividing the current macro block of 16 X 16 pixels into 16 parts.
  • MV search processing min S per block Get AD value.
  • step S A 3 the i nter D & Q process for performing interframe coding (integer DCT, quantization, inverse quantization, and inverse integer DCT) is executed.
  • step S A 4 whether or not the mi n S AD value obtained in the i n ter prediction process in step S A 2 exceeds the threshold value TH 1, that is, the aforementioned error situation determination is executed.
  • step S A 5 it is determined whether or not the flag I NTRA—F L G (described later) is “1”.
  • the flag I NT R A—F L G is a flag generated by the int D R & Q process (described later), and is set to “1” when visually noticeable noise exists in the current macroblock. Therefore, this step S A 5 corresponds to the first encoding determination described above.
  • step SA 5 If there is a visually noticeable noise in the current macroblock, the flag I NT RA—FLG is set to “1”, so the judgment result in step SA 5 is “YES”, and step SA 7 Go ahead and execute intra D & Q processing that encodes within the frame. On the other hand, if no visually noticeable noise exists in the current macroblock, the flag I NTRA—FLG is not set to “1”, and the judgment result in step SA 5 is “NO”. To complete.
  • step SA 6 the second coding determination is performed based on the determination condition represented by the above-described equation [1]. In other words, it is determined whether there is visually noticeable noise in the current macroblock after considering the size of the motion vector. Judge that there is visually noticeable noise The result is “YE S”, and the process proceeds to Step SA 7 to execute intra D & Q processing. On the other hand, if there is no visually noticeable noise, the determination result is “NO”, and the process is completed.
  • step SB 1 shown in FIG. 5 to divide the current macro block of 16 ⁇ 16 pixels into 16 ⁇ 4 ⁇ 4 Determine if all of the blocks of pixels have been processed.
  • the judgment result is “YE S” and this process is completed. Otherwise, the judgment result is “NO” and the process proceeds to step S B 2.
  • step S B 2 the flatness f 1 at (n) of the current block is calculated from the absolute sum of the harmonic component coefficients of the Hadamard coefficient obtained by Hadamard transform for each block.
  • steps SB 3 to SB 7 a prediction error generated by subtracting the inter-frame prediction block value (reference image pixel value) ref (i, j) from the current block pixel value O rg (i, j)
  • the signal (difference value An (i, j)) is subjected to transformation processing (integer DCT), quantization processing Q, inverse quantization Q- 1 and inverse transformation processing (inverse integer DCT).
  • transformation processing integer DCT
  • quantization processing Q quantization processing
  • inverse quantization Q- 1 inverse quantization processing
  • inverse integer DCT inverse integer DCT
  • step SB8 the maximum quantization error value max No ise (n) in the 4 X4 pixels constituting the current block is detected.
  • step SB9 the inter-frame prediction block value ref (i, j) is incremented.
  • step SB 1 the noise value Noise (n) of the current block is larger than the threshold TH 2, the flatness flat (n) of the current block is smaller than the threshold TH 3, and the maximum quantization error ma
  • the first encoding determination described above is executed to determine whether XNoise (n) is smaller than the threshold TH 10, that is, the presence or absence of visually noticeable noise.
  • step S B 11 If visually noticeable noise is present, the judgment result is “Y E S”, the process proceeds to step S B 11, the flag I NTRA—FLG is set to “1”, and the process returns to step S B 1. On the other hand, if there is no visually noticeable noise, the determination result is “NO”, and the process returns to step S B 1.
  • the min S AD value obtained by the motion vector search at the time of inter prediction is substituted for the evaluation value representing the total quantization error ⁇ Noise of the current macroblock to be encoded. Then, an error situation determination is performed in which the magnitude of the quantization error is roughly determined based on whether or not the min S AD value exceeds the threshold TH 1. If it is assumed that the quantization error is small in this error situation determination, the flatness f 1 at and noise N noise detected for each block of 4 ⁇ 4 pixels obtained by dividing the current macroblock into 16 Based on this, it is judged whether there is visually noticeable noise in some pixels of the current macro block. If there is visually noticeable noise, intra-frame coding is selected. On the other hand, if the error situation is judged to have a large quantization error, it is determined whether there is any visually noticeable noise in the current macroblock after considering the size of the motion vector. If there is noticeable noise, select intra-frame coding.
  • the intra-frame coding is selected immediately. It is also possible to quickly cut the quantization error propagation in the case of a culminating minimum and to avoid image quality degradation.
  • each part of the apparatus is initialized in step SC 1 and then proceeds to step SC 2 to generate a code for inter-frame predictive coding.
  • the inter prediction process for estimating the quantity is executed, and the min S AD value for each block of 4 ⁇ 4 pixels obtained by dividing the current macroblock of 16 ⁇ 16 pixels by 16 is obtained.
  • step SC 3 an error situation determination is performed to determine whether the min S AD value obtained in the inter prediction process in step SC 2 exceeds the threshold TH 1, that is, whether the quantization error is small. Do. If it is determined that the quantization error is small, the determination result is “NO”, and the process proceeds to step S C 4.
  • step SC4 while performing interframe coding, visually noticeable noise is generated in some pixels of the current macroblock based on the flatness f 1 at and noise Noise detected for each 4 ⁇ 4 pixel block. If there is any visually noticeable noise, execute the inter D & Q process (see Fig. 5) that sets the flag I NTR A— FLG to “1”.
  • step SC 5 whether the flag I NTR A—FLG is “1” No, that is, whether visually noticeable noise is detected in the inter D & Q process of step SC4. If visually noticeable noise is detected, the judgment result will be “YE Sj, and go to step SC 6 to execute intra D & Q processing that performs intra-frame coding. On the other hand, visually noticeable If no noise is detected, the result of step SC 5 is “NO”, and this process is completed.
  • step S C 3 determines whether the quantization error is large. If it is determined that the quantization error is large, the determination result of step S C 3 is “YES”, and the process proceeds to step S C 7.
  • step SC7 as in the first embodiment, there is visually noticeable noise in the current macroblock, taking into account the size of the motion vector, based on the judgment condition expressed by the above equation [1]. Determine whether to do. If visually noticeable noise does not exist in the current macroblock, the judgment result is “N 0” and the process proceeds to step S C 8.
  • step S C 8 the i nt err D & Q process (see Fig. 15) that performs interframe coding is executed.
  • the judgment result in step SC7 is “YE S”, and the process proceeds to step SC6 where intra-frame coding is performed. The process is executed to finish the present process.
  • the min S AD value obtained by the motion vector search at the time of inter prediction is substituted for the evaluation value representing the total quantization error ⁇ Noise of the current macroblock to be encoded. If the min S AD value exceeds the threshold TH 1, an error situation determination is performed to roughly determine the magnitude of the quantization error. If it is assumed that the quantization error is small, Based on flatness flatness and noise Noise detected for each 4 x 4 pixel block obtained by dividing the current macroblock into 16 Next, it is determined whether there is a visually noticeable noise in some pixels of the current macroblock. Intraframe coding is selected when there is visually noticeable noise.
  • the error situation is judged to have a large quantization error, it is determined whether or not there is visually noticeable noise in the current macroblock in consideration of the size of the motion vector. . If there is no visually noticeable noise, choose inter-frame coding, while if there is a visually noticeable noise, choose intra-frame coding.
  • intra prediction processing with a large amount of computation (see Fig. 14) is omitted, so that unnecessary computation is not performed and the coding mode is determined at high speed in consideration of human visual characteristics. It is possible to do. Also, based on the flatness f 1 at and the noise noise, it is judged whether there is any noticeable noise in the current macroblock. If there is visually noticeable noise, the intra-frame coding is selected immediately. It is also possible to quickly stop the quantization error propagation in the case of falling into a mum and avoid the deterioration of image quality.
  • each part of the device is initialized in step SD 1 and then proceeds to step SD 2 to generate a code for inter-frame predictive coding.
  • the inter prediction process to estimate the quantity is executed, and the min SAD value for each block of 4 X 4 pixels obtained by dividing the current macroblock of 16 X 16 pixels into 16 is obtained.
  • step SD3 an error status determination is performed to determine whether the min SAD value obtained in the inter prediction process in step SD2 exceeds the threshold TH1, that is, whether the quantization error is small. I do.
  • step S D 4 the flatness F 1 at of the current macroblock is calculated from the absolute sum of the harmonic component coefficients of the Hadamard coefficient obtained by Hadamard transform for each block of 4 ⁇ 4 pixels.
  • step S D 5 it is determined whether or not the calculated flatness F 1 at is smaller than the threshold TH 3, that is, whether or not the noise is a visually noticeable flatness.
  • step SD8 If the flatness is visually inconspicuous, the judgment result will be “NOj, go to step SD8 and perform interframe coding (integer D CT, quantization, inverse quantization and inverse integer D CT) inter. Execute D & Q processing (see Fig. 16) On the other hand, if the level is flat enough for visually noticeable noise, the judgment result in step SD 5 above is “YES”, and step SD 6 Go ahead and execute intra D & Q processing that performs intra-frame coding.
  • Step S D 7 as in the first embodiment, there is visually noticeable noise in the current macroblock based on the judgment condition expressed by the above equation [1], taking into account the size of the motion vector. Determine whether to do. If visually noticeable noise does not exist in the current macroblock, the determination result is ⁇ 0 ”, and the process proceeds to step S D 8 to execute the i nter d & Q process (see Fig. 15) that performs interframe coding.
  • step SD7 determines whether visually noticeable noise exists in the current macroblock. If visually noticeable noise exists in the current macroblock, the judgment result in step SD7 is “YES”, and the process proceeds to step SD6, where intra-frame coding is performed. & Q processing To finish this processing.
  • the min SAD value obtained by the motion vector search at the time of inter prediction is substituted for the evaluation value representing the total quantization error ⁇ Noise of the current macroblock to be encoded, If the min SAD value exceeds the threshold TH1, an error situation determination is performed to roughly determine the magnitude of the quantization error. If it is assumed that the quantization error is small, the current error is determined. The flatness of the macroblock is calculated, and it is judged whether the flatness is visually inconspicuous.
  • inter-frame coding is performed. If the noise is visually noticeable, intra-frame coding is performed. On the other hand, if it is considered that the quantization error is large, it is determined whether there is a visually noticeable noise in the current macroblock in consideration of the size of the motion vector, and visually noticeable noise. If there is no, select interframe coding. On the other hand, if there is visually noticeable noise, select intraframe coding.
  • intra prediction processing with a large amount of computation (see Fig. 14) is omitted, so that unnecessary computation is not performed and the coding mode is determined at high speed in consideration of human visual characteristics.
  • intra-frame coding it immediately selects intra-frame coding, so it quickly cuts off the quantization error propagation when it falls into the local minimum, and avoids image quality degradation. It becomes possible.
  • each part of the device is initialized in step SE 1 and then proceeds to step SE 2 to generate a code for inter-frame predictive coding.
  • the inter prediction process for estimating the quantity is executed.
  • step SE3 while performing interframe coding, some pixels of the current macroblock are visually identified based on the flatness F 1 at and the noise Noise detected for each 4 ⁇ 4 pixel block. Determine if there is noticeable noise, and if there is visually noticeable noise, execute the inter D & Q process (see Fig. 5) that sets the flag I NTR A— FLG to “1”.
  • step SE 4 whether or not the total noise Noise obtained by the inter D & Q process in step SE 3 above, that is, whether the total quantization error ⁇ N 0 ise in the current macro block exceeds the threshold TH 1, In other words, it is determined whether the total quantization error ⁇ No ise is small. If it is determined that the total quantization error ⁇ N o i s e is small, the determination result is “NO”, and the process proceeds to step S E 5. Step SE 5 determines whether or not the flag I NTR A— FLG is “1”, that is, whether visually noticeable noise is detected in the inter D & Q process in Step SE 3 above. .
  • step S E 7 the process proceeds to step S E 7 to execute intra D & Q processing that performs intraframe coding.
  • the judgment result in step S E 5 is “NO”, and this processing is completed.
  • step S E 7 based on the determination condition expressed by the following equation [2], it is determined whether or not visually noticeable noise exists in the current macroblock in consideration of the size of the motion vector.
  • coefficient a adjusts the contribution of the motion vector.
  • the constant and coefficient k are constants corresponding to the slope of the straight line B described above.
  • the function f (mv) is the magnitude (u 2 + V 2 ) of the motion vector (u, V) of the current macroblock.
  • step S E 6 determines whether there is visually noticeable noise. If there is visually noticeable noise, the determination result in step S E 6 is “YES”, and the process proceeds to step S E 7 to execute int ra D & Q processing for intra-frame coding. On the other hand, if there is no visually noticeable noise, the judgment result will be “NO” and this process will be completed.
  • the magnitude of the quantization error of the current macroblock is determined based on whether or not the total quantization error ⁇ Noise exceeds the threshold value TH1, and if the quantization error is small, Noise that is visually noticeable in some pixels of the current macroblock is based on the detected flatness f 1 at and noise of each 4 ⁇ 4 pixel block divided by 16 for the current macroblock. Determine if there is. If there is a visually noticeable noise, select intra-frame coding. On the other hand, if the quantization error is large, it is determined whether there is visually noticeable noise in the current macroblock after considering the size of the motion vector, and if there is visually noticeable noise. Select intra-frame coding.
  • intra prediction processing with a large amount of computation (see Fig. 14) is omitted, so that unnecessary computation is not performed and the coding mode is determined at high speed in consideration of human visual characteristics. It is possible to do. Also, based on the flatness of flatness and noise noise, it is judged whether there is any noticeable noise in the current macroblock, and if there is visually noticeable noise, the intra-frame coding is selected immediately. It is also possible to quickly stop the quantization error propagation in the event of a fall, and avoid image quality degradation.
  • the processing product of the moving picture coding apparatus Is stored in the memory (eg, ROM) of the video encoding device, but should be protected even when this processing program is stored in a recording medium and only the program is manufactured or sold. is there.
  • the method for protecting the program with a patent is realized in the form of a recording medium in which a moving image encoding processing program is stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

動きベクトル探索で得られる最小の差分絶対値和が所定の閾値を超えるか否かで量子化誤差の大きさを大まかに判断する。量子化誤差が小さい場合には、現マクロブロックを16分割した4×4画素のブロック毎に検出した平坦度およびノイズ量に基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあればフレーム内符号化を選択する。量子化誤差が大きい場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。

Description

動画像符号化装置および動画像符号化処理プログラム
技術分野
本発明は、 人の視覚特性を勘案して動画像を圧縮する動画像符号化 明
装置および動画像符号化処理プログラムに関する。
背景技術 書 デジタルテレビ放送、 インタ一ネッ トのビデオストリ一ミングある いは D VDなどのアプリケーションでは、伝送帯域や記憶容量が限ら れる為、 圧縮率の高い符号化技術が要求されている。 そうした要求に 応える高圧縮率の符号化技術として、 例えば H. 2 64規格が知られ ている。 以下、 図 9〜図 1 5を参照して H. 2 6 4規格に準拠した動 画像符号化装置の一例について述べる。
図 9は動画像符号化装置の概略構成を示すプロック図である。 この 図において、 減算器 1 0は、 現ブロックの画素値から予測ブロックの 画素値を減算して輝度差分を表す予測誤差信号を発生する。変換/量 子化部 1 1は、 減算器 1 0から出力される予測誤差信号に整数 D C T (離散コサイン変換） を施し、 これにより得られる変換係数を所定の 量子化幅で量子化して係数データを発生する。 ェントロピー符号化部 1 2は、 変換 量子化部 1 1が発生した係数データについて、 可変長 符号化 VL Cをベースとした指数ゴロム符号と、 それを応用した C A BAG (Context-based Adaptive Binary Arithmetic Coding) とを 用いてェントロピー符号化する。
逆量子化ノ逆変換部 1 3、 加算器 1 4、 ループフィルタ 1 5および フレームメモリ 1 6は、 ローカル復号部を形成する。 ローカル復号部 では、 変換 量子化部 1 1が発生した係数データに逆量子化および逆 整数 D C Tを施した後に前予測ブロックの画素値を加算して復号画 像を生成し、 生成した復号画像にループフィルタリングを施してプロ ックノイズを低減させた後、 フレームメモリ 1 6に一時記憶する。 フ レーム内予測部 1 7は、 フレームメモリ 1 6から読み出される復号画 像を用いてフレーム内予測ブロック値を算出する。
動き検出部 1 8は、 現ブロックの動きベクトルを検出する。 動き補 償部 1 9は、 動き検出部 1 8が検出した動きべクトルに応じて参照フ レーム （フレームメモリ 1 6から読み出される復号画像） に動き補償 を施してフレーム間予測ブロック値を算出する。 セレクタ 2 0は、 判 定部 2 1の指示に応じて、 フレーム内予測部 1 7が算出するフレーム 内予測ブロック値あるいは動き補償部 1 9が算出するフレーム間予 測ブロック値のいずれかを選択して減算器 1 0に供給する。判定部 2 1は、 フレーム内予測符号化時の生成符号量とフレーム間予測符号化 の生成符号量とを推定し、 生成符号量の小さい符号化方式を選択する ようセレクタ 2 0に指示する。
次に、 図 1 0〜図 1 5を参照して上記構成による動画像符号化装置 の符号化判定動作を説明する。 以下では、 最初に 「符号化判定処理」 の動作を説明した後、 符号化判定処理を構成する 「 i n t e r予測処 理」 、 「 i n t r a予測処理」 および 「 i n t e r D & Q処理」 の 各動作について概説する。
( 1 ) 符号化判定処理の動作
図 1 0は、 ブロック画像入力毎に実行される符号化判定処理の動作 を示すフローチャートである。 プロック画像入力に応じて本処理が実 行されると、ステップ S F 1に進み、装置各部をイニシャライズする。 次いで、 ステップ S F 2では、 フレーム間予測符号化時の生成符号量 を推定する i n t e r予測処理を実行し、 続くステップ S F 3では、 フレーム内予測符号化時の生成符号量を推定すると共に、 フレーム内 符号化 （整数 D CT、 量子化、 逆量子化および逆整数 D CT) を行う i n t r a予測処理を実行する。 そして、 ステップ S F 4では、 上記 ステツプ S F 2にて得られる最小の差分絶対値和 S AD inter ( i n t e r予測時の生成符号量に相当） が、 上記ステップ S F 3にて得ら れる最小の差分絶対値和 S AD intra ( i n t r a予測時の生成符号 量に相当） より大きいか否かを判断する。
i n t e r予測時の生成符号量が i n t r a予測時の生成符号量 より大きければ、判断結果は「YE S」になり、本処理を完了させる。 したがって、 この場合、 動画像符号化装置は上記ステップ S F 3にて 実行されたフレーム内符号化にて動画圧縮する。
一方、 i n t e r予測時の生成符号量が i n t r a予測時の生成符 号量より小さいと、上記ステップ S F 4の判断結果が「N〇」になり、 ステップ S F 5に進み、 フレーム間符号化 （整数 D CT、 量子化、 逆 量子化および逆整数 D CT) を行う i n t e r D&Q処理を実行す る。 したがって、 この塲合、 動画像符号化装置はフレーム間符号化に て動画圧縮する。
(2) i n t e r予測処理の動作
次に、 図 1 1〜図 1 3を参照して i n t e r予測処理の動作を説明 する。 上述のステップ S F 2 (図 1 0参照） を介して本処理が実行さ れると、 図 1 1に図示するステップ S G 1に進み、 1 6 X 1 6画素の マクロブロックを 1 6分割した 4 X 4画素のブロックの全てについ て処理し終えたかどうかを判断する。 全てのブロックについて処理し 終えると、 判断結果は 「YE S」 となり、 本処理を完了させるが、 そ うでなければ、 判断結果が 「N〇」 になり、 ステップ S G 2に進む。 なお、 1 6 X 1 6画素のマクロブロックと 4 X 4画素のブロックと の関係は、 図 1 3に図示する通り、 マクロブロックのプロックナンパ nにて 4 X4画素のブロックが指定されるようになっている。
次いで、ステツプ S G 2では、処理対象の 4 X 4画素のブロック（以 下、 現ブロックと称す） の画素値 0 r gを算出する。 次いで、 ステツ プ S G 3では、 動きべクトルを探索する MVサーチ処理を実行する。 MVサーチ処理では、 図 1 2のステップ SH 1〜S H 3に図示するよ うに、 参照フレームの探索範囲内で参照プロックを中心に画素をずら しながら現ブロックとの相関を算出し、 その内で最も相関の高い画素 の位置を動きべクトルとして抽出する。
MVサーチ処理では、 参照ブロックと現ブロックとの相関を、 両ブ ロックの差分絶対値和 SADで評価している。 したがって、 最も相関 の高い画素の位置を動きべクトルとして抽出した時、差分絶対値和 S ADは最小となる。 最小の差分絶対値和 S AD interは、 i n t e r D&Q処理を行うか否かを判断するステップ S F 4 (図 1 0参照） に 用いられる。
( 3) i n t r a予測処理の動作
次に、 図 1 4を参照して i n t r a予測処理の動作を説明する。 前 述したステップ S F 3 (図 1 0参照）を介して本処理が実行されると、 図 1 4に図示するステツプ S J 1に進み、 1 6 X 1 6画素のマクロブ ロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し 終えたかどうかを判断する。全てのブロックについて処理し終えると、 判断結果は 「YE S」 となり、 本処理を完了させるが、 そうでなけれ ば、 判断結果が 「N〇」 になり、 ステップ S J 2に進む。 ステップ S J 2では、 例えば i n t r a 4 X4mo d eの場合、 m o d e 0〜m o d e 8の計 9種類の予測方法にて各 m o d eの予測ブロック値を 算出する。
次いで、 ステップ S J 3〜 S J 5では、 現ブロックと上記各 m o d eの予測ブロック値との差分絶対値和 S ADを、 全ての mo d e 0〜 mo d e 8に対応して算出し、 その内から最小の差分絶対値和 S AD intraを求める。 最小の差分絶対値和 S AD intraは、 i n t e r D &Q処理を行うか否かを判断するステップ S F 4 (図 1 0参照） に用 いられる。
全ての m o d e 0〜m o d e 8について差分絶対値和 S ADを算 出し終え、 その内で最小の差分絶対値和 S AD intraが決定すると、 ステップ S J 3の判断結果が 「 Y E S」 になり、 ステップ S J 6に進 み、 最小の差分絶対値和 S AD intraを生成する mo d eで現プロッ クをフレーム内符号化する。 以後、 上述したステップ S J 1〜S J 6 を全てのブロックについて処理し終えるまで繰り返す。
(4) i n t e r D&Q処理の動作
次に、図 1 5を参照して i n t e r D &Q処理の動作を説明する。 前述したステップ S F 5 (図 1 0参照） を介して本処理が実行される と、 図 1 5に図示するステツプ S K 1に進み、 1 6 X 1 6画素のマク ロブロックを 1 6分割した 4 X 4画素のブロックの全てについて処 理し終えたかどうかを判断する。全てのブロックについて処理し終え ていなければ、 判断結果は 「N〇」 となり、 ステップ S K 2に進む。 ステツプ S K 2〜S K 6では、 現ブロックの画素値 O r g ( i， j ) からフレーム間予測ブロック値 r e f ( i , j ) を減算して生成され る予測誤差信号に変換処理 （整数 D CT) 、 量子化処理 Q、 逆量子化 Q- 1および逆変換処理 （整数 D CT- 1) を施す。 そして、 ステップ S K 7に進み、 フレーム間予測ブロック値 r e f ( i , j ) を歩進させ てから上記ステップ S K 1に処理を戻す。 以後、 全てのブロックにつ いて処理し終えるまでステツプ S K 1〜S K 7を繰り返す。
以上のように、 空間領域での相関を利用するフレーム内符号化又は 時間領域での相関を利用するフレーム間符号化を選択的に用いて動 画圧縮する動画像符号化装置では、 ブロック画像入力毎に、 i n t e r予測時の生成符号量に相当する最小の差分絶対値和 S AD interと、 i n t r a予測時の生成符号量に相当する最小の差分絶対値和 S A D intraとを算出して大小比較を行い、 より差分絶対値和 S A Dが小 さい側の符号化方式を選択して圧縮符号化するようになっている。 ところで、 i n t r a予測時の生成符号量に相当する最小の差分絶 対値和 S AD intraを得るには、 例えば i n t r a 4 X 4mo d eで あれば、 m o d e 0〜m o d e 8の計 9種類の予測方法にて各 m o d eの予測ブロック値を算出する必要があり、 こうした点が演算量の増 大を招致する一因となっている。 なお、 従来技術として説明した H. 2 64規格による符号化技術については、 例えば Iain E.G.Richards on奢、 「H.264 and MPEG - 4 Video Compression:Video Coding for Next generation Multimediaj 、 John Wiley & Sons社、 (2 0 0 3 年 1 2月 初版） "6. H.264/MPEG-4 Part 10. " (pi 59〜p223)に開 示されている。
上述したフレーム内符号化又はフレーム間符号化を選択的に用い て動画圧縮する動画像符号化装置には、 次のような問題がある。
(a) 例えばシーンチェンジ時や、 動きべクトルが正しく検出されな い時あるいはフラッシュ等により輝度変化が大きい時などのように 参照画像に対して入力画像の変化が著しい場合を除けば、 フレーム内 符号化が選択されることはほとんど無い。 この為、 膨大な演算量の i n t r a予測処理 （図 1 4参照） が無駄になってしまうという問題が ある。
( b ) 人間の視覚特性を考慮せず、 生成符号量の大小比較だけでフレ ーム内符号化/フレーム間符号化のいずれかを一意的に選択する符 号化判定を行うので、 高速探索アルゴリズムを用いた動きべクトル探 索時にローカルミニマムに陥って量子化誤差伝搬が生じた場合や、 量 子化値を大きくした低ビットレートの符号化の際にはノイズの目立 つ画像に成り易く、 画質低下を招致する虞がある。 ローカルミニマム とは、 ある限定された区間 （領域） での最小値という概念である。 例 えば、 真の最小値ではなく、 偽の最小値というようなものである。 そこで本発明は、 このような事情に鑑みてなされたもので、 無駄な 演算を行わず、 人間の視覚特性を考慮して高速に符号化モードを判定 でき、 しかもローカルミニマムに陥った場合の量子化誤差伝搬を素速 く断ち切り画質低下を回避することができる動画像符号化装置およ び動画像符号化処理プログラムを提供することを目的としている。 発明の開示
上記目的を達成するため、 請求の範囲 1に記載の発明では、 フレー ム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮す る動画像符号化装置において、 符号化するマクロプロック画像を分割 したブロック画像単位でフレーム間符号化する際に、 視覚的に目立つ ノイズを有するブロック画像の有無を判断し、 該当するブロック画像 が存在する時にフレーム内符号化を選択する符号化判定手段を具備 することを特徴とする。
請求の範囲 2に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化装置におい て、 符号化するマクロブロック画像を分割したプロック画像単位でフ レーム間符号化する際に、 視覚的に目立つノイズを有するブロック画 像の有無を判断し、 該当するブロック画像が存在する時にフレーム内 符号化を選択する第 1の符号化判定手段と、 フレーム間予測で得た動 きべク トルの大きさを考慮した上で視覚的に目立つノイズを有する ブロック画像の有無を判断し、 該当するブロック画像が存在する時に フレーム内符号化を選択する第 2の符号化判定手段とを具備するこ とを特徴とする。
請求の範囲 3に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化装置におい て、 フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、 マクロブロック画像を分割したブロック画像単位 でフレーム間符号化する際に、 ブロック画像毎の平坦度と量子化誤差 とを検出する検出手段と、 前記誤差推定手段により推定された量子化 誤差が所定値より小さい場合に、 前記検出手段にて検出された平坦度 と量子化誤差との関係から視覚的に目立つノイズを有するブロック 画像の有無を判断し、 該当するブロック画像が存在する時にフレーム 内符号化を選択する第 1の符号化判定手段と、 前記誤差推定手段によ り推定された量子化誤差が所定値より大きい場合に、 推定された量子 化誤差から視覚的に目立つノィズを有するブロック画像の有無を判 断し、 該当するブロック画像が存在する時にフレーム内符号化を選択 する第 2の符号化判定手段とを具備することを特徴とする。
請求の範囲 4に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化装置におい て、 フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、 前記誤差推定手段により推定された量子化誤差が 所定値より小さい場合に、 マクロブロック画像を分割したブロック画 像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子 化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的 に目立つノイズを有するプロック画像の有無を判断し、 該当するプロ ック画像が存在する時にフレーム内符号化を選択する第 1の符号化 判定手段と、 前記誤差推定手段により推定された量子化誤差が所定値 より大きい場合に、 推定された量子化誤差から視覚的に目立つノイズ を有するプロック画像の有無を判断し、 該当するプロック画像が存在 する時にフレーム内符号化を選択する第 2の符号化判定手段とを具 備することを特徴とする。
請求の範囲 5に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化装置におい て、 フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブ口ック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、 前記誤差推定手段により推定された量子化誤差が 所定値より小さい場合に、 マクロブロック画像全体の平坦度を算出し て視覚的にノイズが目立ち難い平坦度であるかどうかを判断し、 視覚 的にノイズが目立ち難ければフレーム間符号化を選択し、 一方、 視覚 的にノイズが目立ち易ければフレーム内符号化を選択する第 1の符 号化判定手段と、 前記誤差推定手段により推定された量子化誤差が所 定値より大きい場合に、 推定された量子化誤差から視覚的に目立つノ ィズがマクロブロック画像に存在するかどうかを判断し、 視覚的に目 立つノイズが無ければフレーム間符号化を選択し、 一方、 視覚的に目 立つノイズが有ればフレーム内符号化を選択する第 2の符号化判定 手段とを具備することを特徴とする。 上記請求の範囲 3〜 5のいずれかに従属する請求の範囲 6に記載 の発明では、 前記第 2の符号化判定手段は、 フレーム間予測で得た動 きべク トルの大きさを考慮して視覚的に目立つノイズを有するプロ ック画像の有無を判断することを特徴とする。
上記請求の範囲 3〜 5のいずれかに従属する請求の範囲に 7記載 の発明では、 前記フレーム間予測時の動きべクトル探索で得られる評 価値とは、 最も相関の高い動きべクトルを検出した時の差分絶対値和 であることを特徴とする。
請求の範囲 8に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化装置におい て、 マクロプロック画像を分割したブロック画像単位でフレーム間符 号化する際に、 ブロック画像毎の平坦度と量子化誤差とを検出すると 共に、 マクロブロック画像全体の量子化誤差の大きさを検出する検出 手段と、 前記検出手段により検出されたマクロブロック画像全体の量 子化誤差が所定値より小さい場合に、検出された平坦度と量子化誤差 との関係から視覚的に目立つノイズを有するブロック画像の有無を 判断し、 該当するプロック画像が存在する時にフレーム内符号化を選 択する第 1の符号化判定手段と、 前記検出手段により検出されたマク ロブ口ック画像全体の量子化誤差が所定値より大きい場合に、 フレー ム間予測で得た動きべク トルの大きさを考慮した上で視覚的に目立 つノイズを有するプロック画像の有無を判断し、 該当するブロック画 像が存在する時にフレーム内符号化を選択する第 2の符号化判定手 段とを具備することを特徴とする。
請求の範囲 9に記載の発明では、 フレーム内符号化又はフレーム間 符号化のいずれかを選択して動画圧縮する動画像符号化処理プログ ラムにおいて、 符号化するマクロブロック画像を分割したブロック画 像単位でフレーム間符号化する際に、 視覚的に目立つノイズを有する ブロック画像の有無を判断し、 該当するプロック画像が存在する時に フレーム内符号化を選択する符号化判定処理をコンピュータで実行 させることを特徴とする。
請求の範囲 1 0に記載の発明では、 フレーム内符号化又はフレーム 間符号化のいずれかを選択して動画圧縮する動画像符号化処理プロ グラムにおいて、 符号化するマクロブロック画像を分割したブロック 画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有す るプロック画像の有無を判断し、 該当するブロック画像が存在する時 にフレーム内符号化を選択する第 1の符号化判定処理と、 フレーム間 予測で得た動きべク トルの大きさを考慮した上で視覚的に目立つノ ィズを有するブロック画像の有無を判断し、 該当するプロック画像が 存在する時にフレーム内符号化を選択する第 2の符号化判定処理と をコンピュータで実行させることを特徴とする。
請求の範囲 1 1に記載の発明では、 フレーム内符号化又はフレーム 間符号化のいずれかを選択して動画圧縮する動画像符号化処理プロ グラムにおいて、 フレーム間予測時の動きべクトル探索で得られる評 価値を用いて、 符号化するマクロプロック画像全体の量子化誤差の大 きさを推定する誤差推定処理と、 マクロプロック画像を分割したプロ ック画像単位でフレーム間符号化する際に、 ブロック画像毎の平坦度 と量子化誤差とを検出する検出処理と、 前記誤差推定処理により推定 された量子化誤差が所定値より小さい場合に、 前記検出処理にて検出 された平坦度と量子化誤差との関係から視覚的に目立つノイズを有 するプロック画像の有無を判断し、 該当するプロック画像が存在する 時にフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差 推定処理により推定された量子化誤差が所定値より大きい場合に、 推 定された量子化誤差から視覚的に目立つノイズを有するブロック画 像の有無を判断し、 該当するプロック画像が存在する時にフレーム内 符号化を選択する第 2の符号化判定処理とをコンピュータで実行さ せることを特徴とする。
請求の範囲 1 2に記載の発明では、 フレーム内符号化又はフレーム 間符号化のいずれかを選択して動画圧縮する動画像符号化処理プロ グラムにおいて、 フレーム間予測時の動きべクトル探索で得られる評 価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大 きさを推定する誤差推定処理と、 前記誤差推定処理により推定された 量子化誤差が所定値より小さい場合に、 マクロブロック画像を分割し たブロック画像単位でフレーム間符号化する際にブロック画像毎の 平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関 係から視覚的に目立つノイズを有するプロック画像の有無を判断し、 該当するブロック画像が存在する時にフレーム内符号化を選択する 第 1の符号化判定処理と、 前記誤差推定処理により推定された量子化 誤差が所定値より大きい場合に、 推定された量子化誤差から視覚的に 目立つノイズを有するブロック画像の有無を判断し、 該当するブロッ ク画像が存在する時にフレーム内符号化を選択する第 2の符号化判 定処理とをコンピュータで実行させることを特徴とする。
請求の範囲 1 3に記載の発明では、 フレーム内符号化又はフレーム 間符号化のいずれかを選択して動画圧縮する動画像符号化処理プロ グラムにおいて、 フレーム間予測時の動きべクトル探索で得られる評 価値を用いて、 符号化するマクロプロック画像全体の量子化誤差の大 きさを推定する誤差推定処理と、 前記誤差推定処理により推定された 量子化誤差が所定値より小さい場合に、 マクロブロック画像全体の平 坦度を算出して視覚的にノィズが目立ち難い平坦度であるかどうか を判断し、 視覚的にノイズが目立ち難ければフレーム間符号化を選択 し、 一方、 視覚的にノイズが目立ち易ければフレーム内符号化を選択 する第 1の符号化判定処理と、 前記誤差推定処理により推定された量 子化誤差が所定値より大きい場合に、 推定された量子化誤差から視覚 的に目立つノィズがマクロブロック画像に存在するかどうかを判断 し、 視覚的に目立つノイズが無ければフレーム間符号化を選択し、 一 方、 視覚的に目立つノイズが有ればフレーム内符号化を選択する第 2 の符号化判定処理とをコンピュータで実行させることを特徴とする。 上記請求の範囲 1 1〜 1 3のいずれかに従属する請求の範囲 1 4 に記載の発明では、 前記第 2の符号化判定処理は、 フレーム間予測で 得た動きべクトルの大きさを考慮して視覚的に目立つノイズを有す るブロック画像の有無を判断することを特徴とする。
上記請求の範囲 1 1〜 1 3のいずれかに従属する請求の範囲 1 5 に記載の発明では、 前記フレーム間予測時の動きべクトル探索で得ら れる評価値とは、 最も相関の高い動きべクトルを検出した時の差分絶 対値和であることを特徴とする。
請求の範囲 1 6に記載の発明では、 フレーム内符号化又はフレーム 間符号化のいずれかを選択して動画圧縮する動画像符号化処理プロ グラムにおいて、 マクロブロック画像を分割したブロック画像単位で フレーム間符号化する際に、 ブロック画像毎の平坦度と量子化誤差と を検出すると共に、 マクロブロック画像全体の量子化誤差の大きさを 検出する検出処理と、 前記検出処理により検出されたマクロプロック 画像全体の量子化誤差が所定値より小さい場合に、検出された平坦度 と量子化誤差との関係から視覚的に目立つノイズを有するブロック 画像の有無を判断し、 該当するブロック画像が存在する時にフレーム 内符号化を選択する第 1の符号化判定処理と、 前記検出処理により検 出されたマクロプロック画像全体の量子化誤差が所定値より大きい 場合に、 フレーム間予測で得た動きべクトルの大きさを考慮した上で 視覚的に目立つノイズを有するブロック画像の有無を判断し、 該当す るブロック画像が存在する時にフレーム内符号化を選択する第 2の 符号化判定処理とをコンピュータで実行させることを特徴とする。 請求の範囲 1 、 9に記載の発明によれば、 符号化するマクロブロッ ク画像を分割したブロック画像単位でフレーム間符号化する際に、視 覚的に目立つノィズを有するブロック画像が存在する時にフレーム 内符号化を選択するので、 従来、 使用頻度が低いにもかかわらず、 符 号化判定の為に実行されていた、膨大な演算量の i n t r a予測処理 (図 1 4参照） を省略でき、 無駄な演算を行わず、 人間の視覚特性を 考慮して高速に符号化モードを判定することができる。
また、 視覚的に目立つノイズがあると、 即座にフレーム内符号化を 選択するので、 ローカルミニマムに陥った場合の量子化誤差伝搬を素 速く断ち切り画質低下を回避することもできる。
請求の範囲 2、 1 0に記載の発明によれば、 符号化するマクロプロ ック画像を分割したプロック画像単位でフレーム間符号化する際に、 視覚的に目立つノイズを有するプロック画像が存在する時にフレー ム内符号化を選択し、 フレーム間予測で得た動きべクトルの大きさを 考慮した上で視覚的に目立つノイズを有するブロック画像が存在す る時にフレーム内符号化を選択するので、 従来、 使用頻度が低いにも かかわらず、 符号化判定の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4参照） を省略でき、 無駄な演算を行わず、 人 間の視覚特性を考慮して高速に符号化モードを判定することができ る。
また、 視覚的に目立つノイズがあると、 即座にフレーム内符号化を 選択するので、 ローカルミニマムに陥った場合の量子化誤差伝搬を素 速く断ち切り画質低下を回避することもできる。
請求の範囲 3、 1 1に記載の発明によれば、 フレーム間予測時の動 きべクトル探索で得られる評価値を用いて、 符号化するマクロブロッ ク画像全体の量子化誤差の大きさを推定しておき、 マクロブロック画 像を分割したブロック画像単位でフレーム間符号化する際にブロッ ク画像毎の平坦度と量子化誤差とを検出する。 そして、 推定された量 子化誤差が所定値より小さければ、検出された平坦度と量子化誤差と の関係から視覚的に目立つノイズを有するブロック画像の有無を判 断し、 該当するブロック画像が存在する時にフレーム内符号化を選択 する。
一方、 推定された量子化誤差が所定値より大きければ、 推定された 量子化誤差から視覚的に目立つノイズを有するプロック画像の有無 を判断し、 該当するブロック画像が存在する時にフレーム内符号化を 選択する。
したがって、 従来では使用頻度が低いにもかかわらず、 符号化判定 の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4 参照） を省略するので、 無駄な演算を行わず、 人間の視覚特性を考慮 して高速に符号化モードを判定することができる。
また、 視覚的に目立つノイズがあれば、 即座にフレーム内符号化を 選択する為、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速 く断ち切り画質低下を回避することもできる。
請求の範囲 4、 1 2に記載の発明によれば、 フレーム間予測時の動 きべクトル探索で得られる評価値を用いて、 符号化するマクロプロッ ク画像全体の量子化誤差の大きさを推定し、 推定された量子化誤差が 所定値より小さいと、 マクロブロック画像を分割したプロック画像単 位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤 差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目 立つノイズを有するプロック画像の有無を判断し、 該当するブロック 画像が存在する時にフレーム内符号化を選択する。
一方、 推定された量子化誤差が所定値より大きいと、 推定された量 子化誤差から視覚的に目立つノィズを有するブロック画像の有無を 判断し、 該当するブロック画像が存在する時にフレーム内符号化を選 択する。
したがって、 従来では使用頻度が低いにもかかわらず、 符号化判定 の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4 参照） を省略するので、 無駄な演算を行わず、 人間の視覚特性を考慮 して高速に符号化モードを判定することができる。
また、 視覚的に目立つノイズがあれば、 即座にフレーム内符号化を 選択する為、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速 く断ち切り画質低下を回避することもできる。
請求の範囲 5、 1 3に記載の発明によれば、 フレーム間予測時の動 きべクトル探索で得られる評価値を用いて、 符号化するマクロブロッ ク画像全体の量子化誤差の大きさを推定し、 推定された量子化誤差が 所定値より小さいと、 マクロブロック画像全体の平坦度を算出して視 覚的にノイズが目立ち難い平坦度であるかどうかを判断し、 視覚的に ノイズが目立ち難ければフレーム間符号化を選択し、 視覚的にノイズ が目立ち易ければフレーム内符号化を選択する。
一方、 推定された量子化誤差が所定値より大きいと、 推定された量 子化誤差から視覚的に目立つノイズがマクロブロック画像に存在す るかどうかを判断し、 視覚的に目立つノイズが無ければフレーム間符 号化を選択し、視覚的に目立つノイズが有ればフレーム内符号化を選 択する。
したがって、 従来では使用頻度が低いにもかかわらず、 符号化判定 の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4 参照） を省略するので、 無駄な演算を行わず、 人間の視覚特性を考慮 して高速に符号化モードを判定することができる。
また、 視覚的に目立つノイズがあれば、 即座にフレーム内符号化を 選択する為、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速 く断ち切り画質低下を回避することもできる。
請求の範囲 7 、 1 5に記載の発明によれば、 フレーム間予測時の動 きべクトル探索で得られる評価値として、 最も相関の高い動きべクト ルを検出した時の差分絶対値和を用い、 これにより符号化するマクロ ブロック画像全体の量子化誤差の大きさを推定するので、 マクロプロ ック画像全体の量子化誤差を算出する演算を省略することができる。 請求の範囲 8、 1 6に記載の発明によれば、 マクロブロック画像を 分割したブロック画像単位でフレーム間符号化する際に、 ブロック画 像毎の平坦度と量子化誤差とを検出すると共に、 マクロブロック画像 全体の量子化誤差の大きさを検出しておき、検出されたマクロブロッ ク画像全体の量子化誤差が所定値より小さければ、検出された平坦度 と量子化誤差との関係から視覚的に目立つノイズを有するブロック 画像の有無を判断し、 該当するブロック画像が存在する時にフレーム 内符号化を選択する。
一方、検出されたマクロプロック画像全体の量子化誤差が所定値よ り大きければ、 フレーム間予測で得た動きべクトルの大きさを考慮し た上で視覚的に目立つノイズを有するブロック画像の有無を判断し、 該当するブロック画像が存在する時にフレーム内符号化を選択する。
したがって、 従来では使用頻度が低いにもかかわらず、 符号化判定 の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4 参照） を省略するので、 無駄な演算を行わず、 人間の視覚特性を考慮 して高速に符号化モードを判定することができる。
また、 視覚的に目立つノイズがあれば、 即座にフレーム内符号化を 選択する為、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速 く断ち切り画質低下を回避することもできる。
人間の視覚特性は、 空間的視覚特性と時間的視覚特性とに大別され る。 空間的視覚特性は、 画像の平坦な部分では解像度より階調の感度 が高く、 平坦でない部分では逆に階調より解像度の感度が高いことが 知られている。 したがって、 動画を静止画の連続として捉えると、 空 間的視覚特性を考慮する必要が生じる。
ところで、 符号化の際に発生する量子化誤差は、 逆 D C Tされた後 に予測画像に加算されるため、 予測画像に対して復号差分信号を加算 して得られる復号画像の各画素に最終的に残留することになる。 符号 化 ·復号の過程で生じる画素毎の差分値をブロック単位で合算すれば、 そのブロックで生じるノイズ量となる。
上述したように、 画像の平坦な部分では解像度より階調の感度が高 くなる為、 ノイズ量が同程度のブロック同士を比較した場合、 画像が 平坦であるほど視覚的に目立つノイズとなる。具体的には、例えば「人 の肌」 、 「空」 あるいは 「地面」 などの平坦な部分ではノイズは目立 つが、 「観客席」 や 「森」 などの平坦でない部分のノイズは目立たな い。 したがって、 ブロック単位でノイズ量と平坦度とを検出すれば、 そのブロックで生じるノィズが視覚的に目立つものであるか否かを 推定できる。
このような知見に基づき、 本発明では、 符号化しょうとする現マク ロブロックに、 視覚的に目立つノイズが存在するか否かを判断し、 視 覚的に目立つノイズが存在する場合にのみフレーム内符号化を行う。 こうしたことにより、 無駄な演算を行わず、 人間の視覚特性を考慮し て高速に符号化モードを判定し得るようになる。 また、 後述するよう に、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切 り画質低下を回避することも可能になる。 図面の簡単な説明
第 1図は、 本発明による第 1実施形態の構成を示すプロック図であ る。
第 2図は、 放送画像などの一般的な画像の m i n S A D値 （x軸） と量子化誤差総量 Σ Ν ο i s e ( y軸） との対応関係を図示したダラ フである。
第 3図は、 視覚的に目立つノイズが有るマクロブロックの平坦度 f 1 a t / m i n S A D値および視覚的に目立つノイズが無いマクロ ブロックの平坦度 f l a t / m i n S A D値をプロッ トしたグラフ である。
第 4図は、 第 1実施形態による符号化判定処理の動作を示すフロ一 チヤ一トである。
第 5図は、 第 1実施形態による i n t e r D & Q処理の動作を示 すフローチャートである。
第 6図は、 第 2実施形態による符号化判定処理の動作を示すフロー チヤ一卜である。
第 7図は、 第 3実施形態による符号化判定処理の動作を示すフロー チヤ一卜である。
第 8図は、 第 4実施形態による符号化判定処理の動作を示すフロー チヤ一トである。 第 9図は、 従来例の動画像符号化装置の構成を示すプロック図であ る。
第 1 0図は、従来例の符号化判定処理の動作を示すフローチャート である。
第 1 1図は、 従来例の I n t e r予測処理の動作を示すフローチヤ 一卜である。
第 1 2図は、従来例の M Vサーチ処理の動作を示すフローチャート である。
第 1 3図は、 1 6 X 1 6画素のマクロブロックと 4 X 4画素のブロ ックとの関係を示す図である。
第 1 4図は、従来例の I n t r a予測処理の動作を示すフローチヤ 一卜である。
第 1 5図は、従来例の I n t e r D & Q処理の動作を示すフローチ ヤー卜である。 発明を実施するための最良の形態
A . 第 1実施形態
A— 1 . 構成
図 1を参照して本発明の第 1実施形態について説明する。 図 1は、 第 1実施形態による動画像符号化装置の概略構成を示すブロック図 である。 この図に示す動画像符号化装置において、 図 9に図示した従 来例と共通する構成要素には同一の番号を付し、 その説明を省略する。 図 1に示す動画像符号化装置が図 9の従来例と相違する点は、 平坦 度算出部 3 0およびノイズ算出部 4 0とを新たに設ける一方、 平坦度 算出部 3 0およびノイズ算出部 4 0の各出力に応じて判定部 2 1が フレーム内符号化あるいはフレーム間符号化のいずれかを選択する ことにある。
平坦度算出部 3 0は、 符号化対象として入力されるブロック画像 (現マクロブロック） に周知のアダマール変換を施して平坦度を算出 する。 具体的には、 1 6 X 1 6画素の現マクロプロックを 1 6分割し た 4 X 4画素のブロック毎にアダマール変換して得られるァダマー ル係数の高調波成分係数の絶対和値を、 ブロック毎の平坦度 f 1 a t ( 0) 〜 f l a t ( 1 5 ) として求め、 さらにこれらサブブロック毎 の平坦度 f l a t ( 0 ) 〜： f l a t ( 1 5 ) の総和から現マクロプロ ックの平坦度 F 1 a tを得る。
なお、 4 X 4画素のブロック単位で平坦度 f 1 a tを算出するよう にしたのは、 下記 1 ) 〜 3 ) の理由による。
1 ) 1 6 X 1 6画素のマクロブロックについてアダマール変換を行う より 4 X 4画素のブロックについて 1 6回のアダマール変換を行う 方が演算量が圧倒的に少なく処理的に有利であること。
2 ) 4 X 4画素のアダマール変換は、 1 6 X 1 6画素のアダマール変 換に比べて矩形波分解能が 1 /4に落ちるものの、 本発明が意図する 平坦度評価には十分な分解能が得られること。
3 ) H. 2 6 4規格の直交変換には、 4 X 4画素のサブブロックに対 して整数 D C Tが用いられている為、 サブプロックの画素値を一時記 憶する計算用バッファを平坦度算出用にも共用できること。
ノイズ算出部 4 0は、 画素値に重畳される量子化誤差を抽出してブ ロック毎のノイズ N o i s e ( 0 ) 〜 （ 1 5 ) を生成する。 画素毎の 量子化誤差は、 現ブロックの画素値〇 r g ( i , j ) と参照画像 （動 き補償されたローカル復号画像） の画素値 r e f ( i， j ) との差分 値 An ( i , j ) と、 それをローカル復号した後の差分値 A' n ( i， j ) との差分 Z n ( i , j ) から求められる。 差分 Z n ( i , j ) の 絶対値和が 4 X 4画素のブロック毎のノイズ N o i s e (0) 〜 （ 1 5) となる。
判定部 2 1では、 量子化誤差総量∑N o i s e (ノイズ N o i s e ( 0 ) 〜 （ 1 5) の総和） の代用として、 i n t e r予測時の動きべ クトル探索で得られる最小の差分絶対値和 m i n S AD (以下、 m i n S AD値と略記する） を用いて誤差状況判定し、 この誤差状況判定 の結果に応じて第 1または第 2の符号化判定を行う。
誤差状況判定とは、 符号化対象とされる現マクロブロックの m i n SAD値が閾値 TH 1 (後述する） より大きいか否かを判定するもの である。 この誤差状況判定で m i n S AD値が閾値 TH 1より小さけ れば、 第 1の符号化判定 （後述する） を行い、 一方、 m i n SAD値 が閾値 TH 1より大きければ、第 2の符号化判定（後述する）を行う。
ところで、 量子化誤差総量∑ N o i s eを m i n S AD値で代用で きる理由について図 2を参照して説明する。 図 2は、 放送画像などの 一般的な画像において、 1 6 X 1 6画素のマクロブロック単位で得た m i n S AD値 （x軸） と量子化誤差総量∑ N o i s e (y軸） との 関係を図示するグラフである。
このグラフから判るように、 m i n S AD値は一次関数 K 1を境と し、 常に量子化誤差総量∑ Ν 0 i s eを上回る値を取る。 このため、 量子化誤差総量∑ N 0 i s eを m i n S A D値で代用しても実際の 量子化誤差を見逃す虞がなく、大まかな誤差判定には十分耐え得るこ とが判る。 また、 量子化誤差総量∑ N o i s eを m i n SAD値で代 用することで演算量増大も回避できる。
判定部 2 1の誤差状況判定によって量子化誤差 （m i n SAD値） が小さいと判断されたとしても、 マクロブロックの一部画素に視覚的 に目立つノイズが存在し、 それ以外の他の画素の量子化誤差が少ない 状態を平均化した結果である可能性が残る。
そこで、 判定部 2 1では、 マクロブロックを 1 6分割した 4 X 4画 素のブロック単位で抽出される 「ノイズ N o i s e」 と 「平坦度 f 1 a t」 とを勘案した第 1の符号化判定を行う。 その詳細については追 つて述べるが、 第 1の符号化判定では、 「ノイズ N o i s e」 と 「平 坦度 f 1 a t」 とから視覚的に目立つノイズの有無を判断し、 視覚的 に目立つノィズが存在する場合にフレーム内符号化を選択するよう になっている。
一方、 誤差状況判定にて量子化誤差 （m i n S A D値） が大きいと 判断された場合には、 一部の画素だけでなくマクロプロック全体に量 子化誤差が生じている可能性がある。 そこで、 判定部 2 1では、 1 6 X I 6画素のマクロブロック単位で 「m i n S A D値」 、 「平坦度 f 1 a t」および「動きべクトル」を勘案した第 2の符号化判定を行う。 ここで、 図 3を参照して第 2の符号化判定の概要について説明する。 図 3は、 視覚的に目立つノイズが有るマクロブロック （グラフ中の黒 四角印） の平坦度 f l a tおよび m i n S A D値、 視覚的に目立つノ ィズが無いマクロブロック （グラフ中の白丸印） の平坦度 f 1 a tお よび m i n S A D値をそれぞれプロットしたグラフである。
この図に示すグラフから判るように、 m i n S A D値が 「 6 0 0」 程度の直線 A以上の領域では、 直線 Bで示される一次近似関数を用い て視覚的に目立つノイズが出る領域であるか否かを判別することが 可能になる。 なお、 直線 Aの値とは、 上述した誤差状況判定に用いる 閾値 T H 1に相当する。
したがって、 第 2の符号化判定では、 現マクロブロックの平坦度 f 1 a tおよび m i n S A D値が直線 Bの上側の領域（視覚的に目立つ ノイズが出る領域） にあるかどうかを判断し、 直線 Bの上側の領域に ある場合にフレーム内符号化を選択する。
ところで、 物体の移動もしくはカメラパン等により動きべクトルが 大きいと、 現マクロブロックがぼけた画像になり、 その場合、 量子化 誤差は視覚的に目立たないノイズとなるにもかかわらず m i n S A D値が大きくなる傾向がある。
そこで、 第 2の符号化判定では、 上述した判定内容を現マクロプロ ックの動きベクトル （u, V ) に応じて適応変化させる必要があるこ とから、 次式 [1] に基づきフレーム内符号化を行うか否かが判断さ れる。
m i n SAD> (1 + aX f (mv) ) xkXF l a t ·'' [1] なお、 [1] 式において、 係数 aは動きベクトルの寄与分を調整する 定数、 係数 kは上述した直線 Bの傾きに相当する定数である。 関数 f (mv) は現マクロブロックの動きベクトル （u， v) の大きさ （u 2+ V2) である。
A— 2. 動作
次に、 図 4〜図 6を参照して上記構成による第 1実施形態の符号化 判定動作を説明する。
<符号化判定処理の動作 >
図 4は、 プロック画像入力毎に実行される符号化判定処理の動作を 示すフローチャートである。 ブロック画像入力に応じて本処理が実行 されると、 先ずステップ S A 1において装置各部をイニシャライズし た後、 ステップ SA2に進み、 フレーム間予測符号化時の生成符号量 を推定する i n t e r予測処理を実行する。 この i n t e r予測処理 は、 図 1 1に図示した従来例と同一であり、 1 6 X 16画素の現マク ロブロックを 1 6分割した 4 X 4画素のブロックの全てについて動 きべクトルを探索する MVサーチ処理を行い、 プロック毎の m i n S AD値を得る。
続いて、 ステップ S A 3では、 フレーム間符号化 （整数 DCT、 量 子化、 逆量子化および逆整数 D CT) を行う i n t e r D&Q処理 を実行する。 そして、 ステツプ S A 4では、 上記ステツプ S A 2の i n t e r予測処理にて得られる m i n S AD値が閾値 TH 1を超え るか否か、 つまり前述の誤差状況判定を実行する。
そして、 誤差状況判定にて量子化誤差が小さいと判断された場合に は、 判断結果が 「NO」 になり、 ステップ S A 5に進む。 ステップ S A 5では、 フラグ I NTRA—F L G (後述する） が 「 1」 か否かを 判断する。フラグ I NT R A— F L Gとは、 i n t e r D &Q処理（後 述する） にて生成されるフラグであり、 視覚的に目立つノイズが現マ クロブロックに存在する場合に 「 1」 がセットされる。 したがって、 このステップ S A 5は、 前述した第 1の符号化判定に相当する。
視覚的に目立つノィズが現マクロブロックに存在していると、 フラ グ I NT R A— F L Gに 「 1」 がセットされる為、 ステップ SA 5の 判断結果は 「YE S」 となり、 ステップ SA 7に進み、 フレーム内符 号化を行う i n t r a D&Q処理を実行する。 これに対し、 視覚的 に目立つノィズが現マクロブロックに存在していなければ、 フラグ I NTRA— F L Gには 「 1」 がセッ トされず、 ステップ S A 5の判断 結果は 「NO」 となり、 本処理を完了させる。
一方、 上記ステップ S A 4の誤差状況判定において、 量子化誤差が 大きいと判断された場合には、 判断結果が 「YE S」 になり、 ステツ プ SA 6に進む。 ステップ SA 6では、 前述した [ 1 ] 式で表される 判定条件に基づき第 2の符号化判定を行う。 つまり、 動きべクトルの 大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに 存在するかどうかを判断する。 視覚的に目立つノイズが有ると、 判断 結果は 「YE S」 となり、 ステップ S A 7に進み、 i n t r a D& Q処理を実行する。 一方、 視覚的に目立つノイズが無ければ、 判断結 果は 「NO」 となり、 本処理を完了させる。
< i n t e r D&Q処理の動作 >
次に、 図 5を参照して i n t e r D & Q処理の動作を説明する。 上述したステップ S A 3 (図 4参照）を介して本処理が実行されると、 図 5に図示するステップ S B 1に進み、 1 6 X 1 6画素の現マクロブ ロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し 終えたかどうかを判断する。全てのブロックについて処理し終えると、 判断結果は 「YE S」 となり、 本処理を完了させるが、 そうでなけれ ば、 判断結果が 「NO」 になり、 ステップ S B 2に進む。 ステップ S B 2では、 各ブロック毎にアダマール変換して得られるアダマール係 数の高調波成分係数の絶対和値から現ブロックの平坦度 f 1 a t (n) を算出する。
次いで、 ステツプ S B 3〜 S B 7では、 現プロックの画素値 O r g ( i , j ) からフレーム間予測ブロック値 （参照画像の画素値） r e f ( i , j ) を減算して生成される予測誤差信号 （差分値 An ( i， j ) ) に変換処理 （整数 D CT) 、 量子化処理 Q、 逆量子化 Q—1およ び逆変換処理（逆整数 D C T)を施す。そして、ステップ S B 8では、 上記の差分値 An ( i , j ) と、 それをローカル復号した後の差分値 A' n ( i , j ) との差分 Ζ η ( i , j ) から画素値に重畳される量 子化誤差を抽出し、 さらに差分 Z n ( i , j ) の絶対値和を算出して 現ブロックのノイズ N o i s e (n) を求める。 また、 ステップ S B 8では、 現ブロックを構成する 4 X4画素中の量子化誤差最大値 m a x No i s e (n) を検出する。 そして、 ステップ S B 9では、 フ レーム間予測ブロック値 r e f ( i , j ) を歩進させる。 続いて、 ステップ S B 1 0では、 現ブロックのノイズ N o i s e値 (n) が閾値 TH 2より大きく、 かつ現ブロックの平坦度 f l a t (n) が閾値 TH 3より小さく、 しかも量子化誤差最大値 ma X N o i s e (n) が閾値 TH 1 0より小さいかどうか、 すなわち視覚的 に目立つノイズの有無を判断する前述の第 1の符号化判定を実行す る。
視覚的に目立つノイズが存在すると、判断結果は「 Y E S」となり、 ステップ S B 1 1に進み、 フラグ I NTRA— F L Gに 「 1」 をセッ トした後、 ステップ S B 1に処理を戻す。 一方、 視覚的に目立つノィ ズが存在しなければ、 判断結果が 「NO」 になり、 ステップ S B 1に 処理を戻す。
このように、 本実施形態では、 i n t e r予測時の動きべクトル探 索で得られる m i n S AD値を、 符号化対象とする現マクロブロック の量子化誤差総量∑ N o i s eを表す評価値に代用し、 この m i n S AD値が閾値 TH 1を超えるか否かで量子化誤差の大きさを大まか に判断する誤差状況判定を行う。 そして、 この誤差状況判定で量子化 誤差が小さいと見做された場合には、 現マクロブロックを 1 6分割し た 4 X 4画素のブロック毎に検出した平坦度 f 1 a tおよびノイズ N o i s eに基づき現マクロブ口ックの一部画素に視覚的に目立つ ノイズがあるかどうかを判断し、 視覚的に目立つノイズがあれば、 フ レーム内符号化を選択する。 一方、 誤差状況判定で量子化誤差が大き いと見做された場合には、 動きべクトルの大きさを考慮した上で視覚 的に目立つノイズが現マクロプロックに存在するかどうかを判断し、 視覚的に目立つノイズがあれば、 フレーム内符号化を選択する。
これにより、 従来では使用頻度が低いにもかかわらず、 符号化判定 の為に実行されていた、 膨大な演算量の i n t r a予測処理 （図 1 4 参照） を省略するので、 無駄な演算を行わず、 人間の視覚特性を考慮 して高速に符号化モードを判定することが可能になっている。
また、 平坦度 f 1 a tおよびノイズ N o i s eに基づき現マクロブ ロックに目立つノィズがあるかどうかを判断し、 視覚的に目立つノィ ズがあれば、 即座にフレーム内符号化を選択するようにしたので、 口 一カルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画 質低下を回避することも可能になっている。
B. 第 2実施形態
次に、 図 6を参照して第 2実施形態による符号化判定処理の動作を 説明する。 上述の第 1実施形態と同様、 ブロック画像入力に応じて本 処理が実行されると、 ステップ S C 1にて装置各部をイニシャライズ した後、 ステップ S C 2に進み、 フレーム間予測符号化時の生成符号 量を推定する i n t e r予測処理を実行し、 1 6 X 1 6画素の現マク ロブロックを 1 6分割した 4 X 4画素のブロック毎の m i n S AD 値を得る。
次いで、 ステップ S C 3では、 上記ステツプ S C 2の i n t e r予 測処理にて得られる m i n S AD値が閾値 TH 1を超えるか否か、 つ まり量子化誤差が小さいかどうかを判断する誤差状況判定を行う。そ して、 量子化誤差が小さいと判断された場合には、判断結果が「N〇」 になり、 ステップ S C 4に進む。 ステップ S C 4では、 フレーム間符 号化を行いつつ、 4 X 4画素のブロック毎に検出した平坦度 f 1 a t およびノイズ N o i s eに基づき現マクロブロックの一部画素に視 覚的に目立つノィズがあるかどうかを判断し、 視覚的に目立つノイズ があれば、 フラグ I NTR A— F L Gに 「 1」 をセットする i n t e r D&Q処理 （図 5参照） を実行する。
ステップ S C 5では、 フラグ I NTR A— F L Gが 「 1」 であるか 否か、 すなわち上記ステツプ S C 4の i n t e r D &Q処理におい て、 視覚的に目立つノイズを検出したかどうかを判断する。 視覚的に 目立つノイズを検出していると、 判断結果は 「YE Sj になり、 ステ ップ S C 6に進み、 フレーム内符号化を行う i n t r a D&Q処理 を実行する。 これに対し、 視覚的に目立つノイズを検出していなけれ ば、 ステップ S C 5の判断結果は 「NO」 となり、 本処理を完了させ る。
一方、 量子化誤差が大きいと判断された場合には、 上記ステップ S C 3の判断結果が 「YE S」 になり、 ステップ S C 7に進む。 ステツ プ S C 7では、 第 1実施形態と同様、 前述の [ 1 ] 式で表される判定 条件に基づき、 動きべクトルの大きさを考慮した上で視覚的に目立つ ノイズが現マクロブロックに存在するかどうかを判断する。視覚的に 目立つノイズが現マクロブロックに存在しなければ、 判断結果は 「N 0」 になり、 ステップ S C 8に進む。
ステップ S C 8では、 フレーム間符号化を行う i n t e r D&Q 処理 （図 1 5参照） を実行する。 これに対し、 視覚的に目立つノイズ が現マクロブロックに存在する場合には、 上記ステツプ S C 7の判断 結果が 「YE S」 となり、 ステップ S C 6に進み、 フレーム内符号化 を行う i n t r a D & Q処理を実行して本処理を終える。
このように、 第 2実施形態では、 i n t e r予測時の動きベクトル 探索で得られる m i n S AD値を、 符号化対象とする現マクロブロッ クの量子化誤差総量∑N o i s eを表す評価値に代用し、 この m i n S AD値が閾値 TH 1を超えるか否かで量子化誤差の大きさを大ま かに判断する誤差状況判定を行い、 これにより量子化誤差が小さいと 見做された場合には、 現マクロブロックを 1 6分割した 4 X 4画素の ブロック毎に検出した平坦度 f l a tおよびノイズ N o i s eに基 づき現マクロブロックの一部画素に視覚的に目立つノィズがあるか どうかを判断する。 そして、 視覚的に目立つノイズがある場合にフレ ーム内符号化を選択する。
一方、 誤差状況判定で量子化誤差が大きいと見做された場合には、 動きべク トルの大きさを考慮した上で視覚的に目立つノイズが現マ クロブロックに存在するかどうかを判断する。視覚的に目立つノイズ が無ければ、 フレーム間符号化を選択し、 一方、 視覚的に目立つノィ ズが有ると、 フレーム内符号化を選択する。
したがって、 第 1実施形態と同様、 膨大な演算量の i n t r a予測 処理 （図 1 4参照） を省略する為、 無駄な演算を行わず、 人間の視覚 特性を考慮して高速に符号化モードを判定することが可能になって いる。 また、 平坦度 f 1 a tおよびノイズ N o i s eに基づき現マク ロブロックに目立つノイズがあるかどうかを判断し、 視覚的に目立つ ノイズがあれば、 即座にフレーム内符号化を選択する為、 ローカルミ 二マムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を 回避することも可能になる。
C . 第 3実施形態
次に、 図 7を参照して第 3実施形態による符号化判定処理の動作を 説明する。 上述の第 1実施形態と同様、 ブロック画像入力に応じて本 処理が実行されると、 ステップ S D 1にて装置各部をイニシャライズ した後、 ステップ S D 2に進み、 フレーム間予測符号化時の生成符号 量を推定する i n t e r予測処理を実行し、 1 6 X 1 6画素の現マク ロブロックを 1 6分割した 4 X 4画素のプロック毎の m i n S A D 値を得る。 次いで、 ステツプ S D 3では、 上記ステツプ S D 2の i n t e r予測処理にて得られる m i n S A D値が閾値 T H 1を超える か否か、 つまり量子化誤差が小さいかどうかを判断する誤差状況判定 を行う。
誤差状況判定で量子化誤差が小さいと判断された場合には、判断結果 が 「NO」 になり、 ステップ S D 4に進む。 ステップ S D 4では、 4 X 4画素のプロック毎にアダマール変換して得られるアダマール係 数の高調波成分係数の絶対和値から現マクロブロックの平坦度 F 1 a tを算出する。 次いで、 ステップ S D 5では、 算出した平坦度 F 1 a tが閾値 TH 3より小さいか否か、 すなわち視覚的にノイズが目立 つ平坦度であるかどうかを判断する。
視覚的にノイズが目立ち難い平坦度ならば、 判断結果は 「NOj に なり、 ステップ S D 8に進み、 フレーム間符号化 （整数 D CT、 量子 化、逆量子化および逆整数 D CT) を行う i n t e r D &Q処理（図 1 6参照） を実行する。 これに対し、 視覚的にノイズが目立ち易い平 坦度であると、 上記ステップ S D 5の判断結果が 「YE S」 になり、 ステップ S D 6に進み、 フレーム内符号化を行う i n t r a D & Q 処理を実行する。
一方、 量子化誤差が大きいと判断された場合には、 上記ステップ S D 3の判断結果が 「Y E S」 になり、 ステップ S D 7に進む。 ステツ プ SD 7では、 第 1実施形態と同様、 前述の [ 1 ] 式で表される判定 条件に基づき、 動きべクトルの大きさを考慮した上で視覚的に目立つ ノイズが現マクロプロックに存在するかどうかを判断する。視覚的に 目立つノイズが現マクロブロックに存在しなければ、 判断結果は ΓΝ 0」 になり、 ステップ S D 8に進み、 フレーム間符号化を行う i n t e r D&Q処理 （図 1 5参照） を実行する。
これに対し、視覚的に目立つノイズが現マクロブロックに存在する 場合には、 上記ステップ S D 7の判断結果が 「YE S」 となり、 ステ ップ S D 6に進み、 フレーム内符号化を行う i n t r a D &Q処理 を実行して本処理を終える。
このように、 第 3実施形態では、 i n t e r予測時の動きべクトル 探索で得られる m i n S A D値を、 符号化対象とする現マクロプロッ クの量子化誤差総量∑ N o i s eを表す評価値に代用し、 この m i n S A D値が閾値 T H 1を超えるか否かで量子化誤差の大きさを大ま かに判断する誤差状況判定を行い、 これにより量子化誤差が小さいと 見做された場合には、 現マクロブロックの平坦度を算出し、 視覚的に ノイズが目立ち難い平坦度であるかどうかを判断する。
視覚的にノイズが目立ち難い場合には、 フレーム間符号化を行い、 視覚的にノイズが目立ち易い場合には、 フレーム内符号化を行う。 一 方、 量子化誤差が大きいと見做された場合には、 動きベクトルの大き さを考慮した上で視覚的に目立つノィズが現マクロブロックに存在 するかどうかを判断し、 視覚的に目立つノイズが無ければ、 フレーム 間符号化を選択し、 一方、 視覚的に目立つノイズが有ると、 フレーム 内符号化を選択する。
したがって、 第 1実施形態と同様、 膨大な演算量の i n t r a予測 処理 （図 1 4参照） を省略する為、 無駄な演算を行わず、 人間の視覚 特性を考慮して高速に符号化モードを判定することが可能になる上、 視覚的に目立つノイズがあれば、 即座にフレーム内符号化を選択する 為、 ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切 り画質低下を回避することも可能になる。
D . 第 4実施形態
次に、 図 8を参照して第 4実施形態による符号化判定処理の動作を 説明する。 上述の第 1実施形態と同様、 ブロック画像入力に応じて本 処理が実行されると、 ステップ S E 1にて装置各部をイニシャライズ した後、 ステップ S E 2に進み、 フレーム間予測符号化時の生成符号 量を推定する i n t e r予測処理を実行する。 次いで、 ステップ S E 3では、 フレーム間符号化を行いつつ、 4 X 4画素のブロック毎に検 出した平坦度 F 1 a tおよびノイズ N o i s eに基づき現マクロブ 口ックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、 視覚的に目立つノイズがあれば、 フラグ I NTR A— F L Gに 「 1」 をセッ 卜する i n t e r D&Q処理 （図 5参照） を実行する。
続いて、ステップ S E 4では、上記ステップ S E 3の i n t e r D &Q処理にて得られるノイズ N o i s eの総和、 すなわち現マクロブ ロックにおける量子化誤差総量∑ N 0 i s eが閾値 TH 1を超える か否か、 つまり量子化誤差総量∑ No i s eが小さいかどうかを判断 する。 量子化誤差総量∑N o i s eが小さいと判断された場合には、 判断結果が 「NO」 になり、 ステップ S E 5に進む。 ステップ S E 5 では、 フラグ I NTR A— F L Gが 「 1」 であるか否か、 すなわち上 記ステップ S E 3の i n t e r D & Q処理において、 視覚的に目立 つノイズを検出したかどうかを判断する。視覚的に目立つノイズを検 出していると、判断結果は「YE S」になり、ステップ S E 7に進み、 フレーム内符号化を行う i n t r a D&Q処理を実行する。 これに 対し、 視覚的に目立つノイズを検出していなければ、 ステップ S E 5 の判断結果は 「NO」 となり、 本処理を完了させる。
一方、 量子化誤差総量∑N o i s eが大きいと判断された場合には、 上記ステップ S E 4の判断結果が 「YE S」 になり、 ステップ S E 7 に進む。 ステップ S E 7では、 次式 [2] で表される判定条件に基づ き、 動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現 マクロブロックに存在するかどうかを判断する。
∑ N o i s e > ( 1 + a X f (m v) ) X k X F 1 a t - [ 2 ] なお、 [2] 式において、 係数 aは動きべクトルの寄与分を調整する 定数、 係数 kは上述した直線 Bの傾きに相当する定数である。 関数 f (m v) は現マクロブロックの動きベクトル （u， V ) の大きさ （u 2+ V 2) である。
視覚的に目立つノイズが有ると、 上記ステップ S E 6の判断結果は 「YE S」 となり、 ステップ S E 7に進み、 フレーム内符号化を行う i n t r a D&Q処理を実行する。 一方、 視覚的に目立つノイズが 無ければ、 判断結果は 「N〇」 となり、 本処理を完了させる。
このように、 第 4実施形態では、 量子化誤差総量∑N o i s eが閾 値 TH 1を超えるか否かで現マクロブロックの量子化誤差の大きさ を判断し、 量子化誤差が小さい場合には、 現マクロブロックを 1 6分 割した 4 X 4画素のブロック毎に検出した平坦度 f 1 a tおよぴノ ィズ N o i s eに基づき現マクロブロックの一部画素に視覚的に目 立つノイズがあるかどうかを判断する。 そして、 視覚的に目立つノィ ズがある場合にはフレーム内符号化を選択する。 一方、 量子化誤差が 大きい場合には、 動きべクトルの大きさを考慮した上で視覚的に目立 つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に 目立つノイズが有ると、 フレーム内符号化を選択する。
したがって、 第 1実施形態と同様、 膨大な演算量の i n t r a予測 処理 （図 1 4参照） を省略する為、 無駄な演算を行わず、 人間の視覚 特性を考慮して高速に符号化モードを判定することが可能になって いる。 また、 平坦度 f l a tおよびノイズ N o i s eに基づき現マク ロブロックに目立つノイズがあるかどうかを判断し、 視覚的に目立つ ノイズがあれば、 即座にフレーム内符号化を選択する為、 ローカルミ 二マムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を 回避することも可能になる。
なお、 本発明の一実施形態である動画像符号化装置の処理プロダラ ムは、 動画像符号化装置のメモリ （例えば、 R O Mなど） に格納され ているが、 この処理プログラムを記録媒体に格納してプログラムのみ を製造、 販売等を行う場合にも保護されるべきである。 その場合、 プ ログラムを特許で保護する方法は、 動画像符号化処理プログラムを格 鈉した記録媒体という形態で実現することになる。

Claims

請 求 の 範 囲
1 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
符号化するマクロブロック画像を分割したブロック画像単位でフ レーム間符号化する際に、 視覚的に目立つノイズを有するブロック画 像の有無を判断し、 該当するブロック画像が存在する時にフレーム内 符号化を選択する符号化判定手段
を具備する動画像符号化装置。
2 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
符号化するマクロブロック画像を分割したブロック画像単位でフ レーム間符号化する際に、 視覚的に目立つノイズを有するプロック画 像の有無を判断し、 該当するブロック画像が存在する時にフレーム内 符号化を選択する第 1の符号化判定手段と、
フレーム間予測で得た動きべク トルの大きさを考慮した上で視覚 的に目立つノイズを有するブロック画像の有無を判断し、 該当するブ 口ック画像が存在する時にフレーム内符号化を選択する第 2の符号 化判定手段と
を具備する動画像符号化装置。
3 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、
マクロプロック画像を分割したブロック画像単位でフレーム間符 号化する際に、 ブロック画像毎の平坦度と量子化誤差とを検出する検 出手段と、
前記誤差推定手段により推定された量子化誤差が所定値より小さ い場合に、 前記検出手段にて検出された平坦度と量子化誤差との関係 から視覚的に目立つノイズを有するブロック画像の有無を判断し、 該 当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、
前記誤差推定手段により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズを有する ブロック画像の有無を判断し、 該当するブロック画像が存在する時に フレーム内符号化を選択する第 2の符号化判定手段と
を具備する動画像符号化装置。
4 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、
前記誤差推定手段により推定された量子化誤差が所定値より小さ い場合に、 マクロブロック画像を分割したブロック画像単位でフレ一 ム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出 し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズ を有するブロック画像の有無を判断し、 該当するブロック画像が存在 する時にフレーム内符号化を選択する第 1の符号化判定手段と、 前記誤差推定手段により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズを有する ブロック画像の有無を判断し、 該当するブロック画像が存在する時に フレーム内符号化を選択する第 2の符号化判定手段と を具備する動画像符号化装置。
5 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロプロック画像全体の量子化誤差の大きさを推定す る誤差推定手段と、
前記誤差推定手段により推定された量子化誤差が所定値より小さ い場合に、 マクロプロック画像全体の平坦度を算出して視覚的にノィ ズが目立ち難い平坦度であるかどうかを判断し、 視覚的にノイズが目 立ち難ければフレ一ム間符号化を選択し、 一方、 視覚的にノイズが目 立ち易ければフレーム内符号化を選択する第 1の符号化判定手段と、 前記誤差推定手段により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズがマクロ ブロック画像に存在するかどうかを判断し、 視覚的に目立つノイズが 無ければフレーム間符号化を選択し、 一方、 視覚的に目立つノイズが 有ればフレーム内符号化を選択する第 2の符号化判定手段と
を具備する動画像符号化装置。
6 . 前記第 2の符号化判定手段は、 フレーム間予測で得た動きべク トルの大きさを考慮して視覚的に目立つノイズを有するブロック画 像の有無を判断する請求の範囲 1乃至 5の何れかに記載の動画像符 号化装置。
7 . 前記フレーム間予測時の動きべクトル探索で得られる評価値と は、 最も相関の高い動きべクトルを検出した時の差分絶対値和である 請求の範囲 3乃至 5の何れかに記載の動画像符号化装置。
8 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化装置において、
マクロブロック画像を分割したブロック画像単位でフレーム間符 号化する際に、 ブロック画像毎の平坦度と量子化誤差とを検出すると 共に、 マクロブロック画像全体の量子化誤差の大きさを検出する検出 手段と、
前記検出手段により検出されたマクロブロック画像全体の量子化 誤差が所定値より小さい場合に、 検出された平坦度と量子化誤差との 関係から視覚的に目立つノイズを有するブロック画像の有無を判断 し、 該当するプロック画像が存在する時にフレーム内符号化を選択す る第 1の符号化判定手段と、
前記検出手段により検出されたマクロブロック画像全体の量子化 誤差が所定値より大きい場合に、 フレーム間予測で得た動きべクトル の大きさを考慮した上で視覚的に目立つノイズを有するプロック画 像の有無を判断し、 該当するプロック画像が存在する時にフレーム内 符号化を選択する第 2の符号化判定手段と
を具備する動画像符号化装置。
9 . フレーム内符号化又はフレーム間符号化のいずれかを選択して 動画圧縮する動画像符号化処理プログラムにおいて、
符号化するマクロブロック画像を分割したブロック画像単位でフ レーム間符号化する際に、 視覚的に目立つノイズを有するプロック画 像の有無を判断し、 該当するプロック画像が存在する時にフレーム内 符号化を選択する符号化判定処理をコンピュータで実行させる動画 像符号化処理プログラム。
1 0 . フレーム内符号化又はフレーム間符号化のいずれかを選択し て動画圧縮する動画像符号化処理プログラムにおいて、
符号化するマクロブロック画像を分割したブロック画像単位でフ レーム間符号化する際に、 視覚的に目立つノイズを有するブロック画 像の有無を判断し、 該当するプロック画像が存在する時にフレーム内 符号化を選択する第 1の符号化判定処理と、
フレーム間予測で得た動きべク トルの大きさを考慮した上で視覚 的に目立つノイズを有するブロック画像の有無を判断し、 該当するブ 口ック画像が存在する時にフレーム内符号化を選択する第 2の符号 化判定処理と
をコンピュータで実行させる動画像符号化処理プログラム。
1 1 . フレーム内符号化又はフレーム間符号化のいずれかを選択し て動画圧縮する動画像符号化処理プログラムにおいて、
フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定処理と、
マクロブロック画像を分割したブロック画像単位でフレーム間符 号化する際に、 ブロック画像毎の平坦度と量子化誤差とを検出する検 出処理と、
前記誤差推定処理により推定された量子化誤差が所定値より小さ い場合に、 前記検出処理にて検出された平坦度と量子化誤差との関係 から視覚的に目立つノイズを有するブロック画像の有無を判断し、 該 当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、
前記誤差推定処理により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズを有する プロック画像の有無を判断し、 該当するプロック画像が存在する時に フレーム内符号化を選択する第 2の符号化判定処理と
をコンピュータで実行させる動画像符号化処理プログラム。
1 2 . フレーム内符号化又はフレーム間符号化のいずれかを選択し て動画圧縮する動画像符号化処理プログラムにおいて、
フレーム間予測時の動きべク トル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定処理と、
前記誤差推定処理により推定された量子化誤差が所定値より小さ い場合に、 マクロブロック画像を分割したブロック画像単位でフレー ム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出 し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズ を有するブロック画像の有無を判断し、 該当するプロック画像が存在 する時にフレーム内符号化を選択する第 1の符号化判定処理と、 前記誤差推定処理により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズを有する プロック画像の有無を判断し、 該当するプロック画像が存在する時に フレーム内符号化を選択する第 2の符号化判定処理と
をコンピュータで実行させる動画像符号化処理プログラム。
1 3 . フレーム内符号化又はフレーム間符号化のいずれかを選択し て動画圧縮する動画像符号化処理プログラムにおいて、
フレーム間予測時の動きべクトル探索で得られる評価値を用いて、 符号化するマクロブロック画像全体の量子化誤差の大きさを推定す る誤差推定処理と、
前記誤差推定処理により推定された量子化誤差が所定値より小さ い場合に、 マクロブロック画像全体の平坦度を算出して視覚的にノィ ズが目立ち難い平坦度であるかどうかを判断し、 視覚的にノィズが目 立ち難ければフレーム間符号化を選択し、 一方、 視覚的にノイズが目 立ち易ければフレーム内符号化を選択する第 1の符号化判定処理と、 前記誤差推定処理により推定された量子化誤差が所定値より大き い場合に、 推定された量子化誤差から視覚的に目立つノイズがマクロ プロック画像に存在するかどうかを判断し、 視覚的に目立つノイズが 無ければフレーム間符号化を選択し、 一方、 視覚的に目立つノイズが 有ればフレーム内符号化を選択する第 2の符号化判定処理と
をコンピュータで実行させる動画像符号化処理プログラム。
1 4 . 前記第 2の符号化判定処理は、 フレーム間予測で得た動きべ ク トルの大きさを考慮して視覚的に目立つノィズを有するブロック 画像の有無を判断する請求の範囲 1 1乃至 1 3の何れかに記載の 画像符号化処理プログラム。
1 5 . 前記フレーム間予測時の動きベクトル探索で得られる評価値 とは、 最も相関の高い動きべクトルを検出した時の差分絶対値和であ る請求の範囲 1 1乃至 1 3の何れかに記載の動画像符号化処理プログ ラム。
1 6 . フレーム内符号化又はフレーム間符号化のいずれかを選択し て動画圧縮する動画像符号化処理プログラムにおいて、
マクロブロック画像を分割したブロック画像単位でフレーム間符 号化する際に、 ブロック画像毎の平坦度と量子化誤差とを検出すると 共に、 マクロブロック画像全体の量子化誤差の大きさを検出する検出 処理と、
前記検出処理により検出されたマクロブロック画像全体の量子化 誤差が所定値より小さい場合に、検出された平坦度と量子化誤差との 関係から視覚的に目立つノイズを有するブロック画像の有無を判断 し、 該当するプロック画像が存在する時にフレーム内符号化を選択す る第 1の符号化判定処理と、
前記検出処理により検出されたマクロブロック画像全体の量子化 誤差が所定値より大きい場合に、 フレーム間予測で得た動きべクトル の大きさを考慮した上で視覚的に目立つノィズを有するブロック画 像の有無を判断し、 該当するブロック画像が存在する時にフレーム内 符号化を選択する第 2の符号化判定処理と
をコンピュータで実行させる動画像符号化処理プログラム。
PCT/JP2005/020689 2004-11-04 2005-11-04 動画像符号化装置および動画像符号化処理プログラム Ceased WO2006049335A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/504,021 US8121193B2 (en) 2004-11-04 2006-08-14 Motion picture encoding device and motion picture encoding processing program
US13/351,711 US8824552B2 (en) 2004-11-04 2012-01-17 Motion picture encoding device and motion picture encoding processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-320088 2004-11-04
JP2004320088A JP4877449B2 (ja) 2004-11-04 2004-11-04 動画像符号化装置および動画像符号化処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/504,021 Continuation US8121193B2 (en) 2004-11-04 2006-08-14 Motion picture encoding device and motion picture encoding processing program

Publications (1)

Publication Number Publication Date
WO2006049335A1 true WO2006049335A1 (ja) 2006-05-11

Family

ID=36319322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/020689 Ceased WO2006049335A1 (ja) 2004-11-04 2005-11-04 動画像符号化装置および動画像符号化処理プログラム

Country Status (3)

Country Link
US (2) US8121193B2 (ja)
JP (1) JP4877449B2 (ja)
WO (1) WO2006049335A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254225A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 可変長符号の復号装置及び復号方法
PL3306923T3 (pl) * 2005-11-08 2020-04-30 Sun Patent Trust Sposób kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów oraz urządzenia służące do tego celu
US7667776B2 (en) * 2006-02-06 2010-02-23 Vixs Systems, Inc. Video display device, video encoder, noise level estimation module and methods for use therewith
JP4901450B2 (ja) * 2006-12-19 2012-03-21 株式会社東芝 動画像符号化装置
US8737485B2 (en) * 2007-01-31 2014-05-27 Sony Corporation Video coding mode selection system
JP4748603B2 (ja) * 2007-02-28 2011-08-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101496324B1 (ko) * 2007-10-17 2015-02-26 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8363719B2 (en) * 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
JP5081729B2 (ja) * 2008-06-03 2012-11-28 株式会社日立国際電気 画像符号化装置
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
JP5339855B2 (ja) * 2008-10-31 2013-11-13 キヤノン株式会社 動きベクトル探索装置、動きベクトル探索方法、画像処理装置、画像処理方法、プログラム及び記憶媒体
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US11317101B2 (en) * 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US8396127B1 (en) * 2012-06-27 2013-03-12 Google Inc. Segmentation for video coding using predictive benefit
JP2012227955A (ja) * 2012-07-12 2012-11-15 Hitachi Kokusai Electric Inc 画像符号化装置
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9210432B2 (en) * 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9106888B2 (en) * 2013-09-25 2015-08-11 Apple Inc. Reducing quantization artifacts using neighbor-based weighted dithering
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
DE102016207017A1 (de) 2016-04-26 2017-10-26 Trumpf Laser Gmbh Pumplichtanordnung, Scheibenlaser damit und Verfahren zum Pumpen eines laseraktiven Mediums
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
CN116996693A (zh) * 2019-06-21 2023-11-03 华为技术有限公司 编码器、解码器及对应方法
SE2351198A1 (en) * 2021-04-19 2023-10-18 Hanwha Vision Co Ltd Noise removal for surveillance camera image by means of ai-based object recognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63121372A (ja) * 1986-11-10 1988-05-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号のハイブリツド符号化方式
JPH05236462A (ja) * 1992-02-17 1993-09-10 Sony Corp 画像データ処理装置
JPH1079948A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 画像符号化装置
JP2000138937A (ja) * 1998-10-30 2000-05-16 Sony Corp 画像圧縮符号化方法及び装置
JP2003037844A (ja) * 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0557007A2 (en) 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
US5724097A (en) * 1993-10-18 1998-03-03 Mitsubishi Denki Kabushiki Kaisha Adaptive quantization of video based on edge detection
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US6415057B1 (en) * 1995-04-07 2002-07-02 Sony Corporation Method and apparatus for selective control of degree of picture compression
US6151360A (en) * 1995-04-28 2000-11-21 Sony Corporation Method for encoding video signal using statistical information
JPH09163373A (ja) * 1995-12-08 1997-06-20 Toshiba Corp 雑音低減装置
JPH09214975A (ja) * 1996-02-02 1997-08-15 Graphics Commun Lab:Kk シーンチェンジ適応動画像符号化方法および装置
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
JPH09294262A (ja) * 1996-04-26 1997-11-11 Hitachi Ltd 画像符号化装置
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
EP0921497B1 (en) * 1997-12-02 2004-03-24 Daewoo Electronics Corporation Interlaced binary shape coding apparatus
JP2000134631A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
US6295089B1 (en) * 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
ATE324013T1 (de) * 2001-03-12 2006-05-15 Koninkl Philips Electronics Nv Vorrichtung zur videokodierung und -aufzeichnung
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US7944971B1 (en) * 2002-07-14 2011-05-17 Apple Inc. Encoding video
US7173971B2 (en) * 2002-11-20 2007-02-06 Ub Video Inc. Trailing artifact avoidance system and method
JP2006519564A (ja) * 2003-03-03 2006-08-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化
US20060188014A1 (en) * 2005-02-23 2006-08-24 Civanlar M R Video coding and adaptation by semantics-driven resolution control for transport and storage
US8031946B2 (en) * 2008-03-27 2011-10-04 Texas Instruments Incorporated Reduced calculations in determining intra-prediction type method and system
JP5156704B2 (ja) * 2008-07-29 2013-03-06 パナソニック株式会社 画像符号化装置、画像符号化方法、集積回路及びカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63121372A (ja) * 1986-11-10 1988-05-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号のハイブリツド符号化方式
JPH05236462A (ja) * 1992-02-17 1993-09-10 Sony Corp 画像データ処理装置
JPH1079948A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 画像符号化装置
JP2000138937A (ja) * 1998-10-30 2000-05-16 Sony Corp 画像圧縮符号化方法及び装置
JP2003037844A (ja) * 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置

Also Published As

Publication number Publication date
US8121193B2 (en) 2012-02-21
US8824552B2 (en) 2014-09-02
US20120114035A1 (en) 2012-05-10
US20070019729A1 (en) 2007-01-25
JP2006135461A (ja) 2006-05-25
JP4877449B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
JP4877449B2 (ja) 動画像符号化装置および動画像符号化処理プログラム
KR100391027B1 (ko) 비디오정보를예측부호화하는방법및장치
JP5497169B2 (ja) ビデオコーディングにおける単方向予測および双方向予測のための異なる重み付け
US7983493B2 (en) Adaptive overlapped block matching for accurate motion compensation
KR101375892B1 (ko) 영상 캡처 파라미터들에 기초한 비디오 인코딩 제어
JP2006519565A (ja) ビデオ符号化
JP5133290B2 (ja) 動画像符号化装置および復号装置
CN103609122B (zh) 用于视频编码的率失真优化
JP5640979B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2006211152A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP2005286645A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP4257655B2 (ja) 動画像符号化装置
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JP5708490B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2010239423A (ja) 撮影解像度予測型動画像符号化装置および復号装置
JP2001238215A (ja) 動画像符号化装置及びその方法
JP4375143B2 (ja) 動画像符号化装置
JP2019087985A (ja) 画像符号化装置及び画像符号化プログラム
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP2009130864A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2020102798A (ja) 動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラム
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
WO2010116708A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP4000581B2 (ja) 画像符号化装置および方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 11504021

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 11504021

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05805972

Country of ref document: EP

Kind code of ref document: A1