WO2005104561A1 - データ処理装置およびその方法と符号化装置 - Google Patents

データ処理装置およびその方法と符号化装置 Download PDF

Info

Publication number
WO2005104561A1
WO2005104561A1 PCT/JP2005/007472 JP2005007472W WO2005104561A1 WO 2005104561 A1 WO2005104561 A1 WO 2005104561A1 JP 2005007472 W JP2005007472 W JP 2005007472W WO 2005104561 A1 WO2005104561 A1 WO 2005104561A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
bit rate
data
quantization
encoding
Prior art date
Application number
PCT/JP2005/007472
Other languages
English (en)
French (fr)
Inventor
Daisuke Tsuru
Hideyuki Ichihashi
Yuji Ando
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP20050734425 priority Critical patent/EP1650976A1/en
Priority to US10/561,595 priority patent/US7711197B2/en
Publication of WO2005104561A1 publication Critical patent/WO2005104561A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a data processing device, a method thereof, and an encoding device capable of appropriately determining a quantization scale.
  • image data is treated as image data.
  • compression is performed by orthogonal transform such as discrete cosine transform and motion compensation using the redundancy specific to image information for the purpose of transmitting and storing information with high efficiency.
  • Devices compliant with standards such as MPEG (Moving Picture Experts Group) and JVT (Joint Video Team) have been developed.
  • the coding apparatus of such a standard realizes coding with high efficiency by using local information of an image.
  • an image is divided into a plurality of parts, the complexity of the image is detected for each part, and the parts of the complex image are roughly determined based on the detection result. Quantization is performed and other parts are quantized finely to reduce the amount of data while suppressing the effects of image quality degradation.
  • an activity Such information on the complexity of an image is called an activity.
  • an activity of image data to be quantized is calculated, and a quantization scale that defines a quantization scale is generated for each picture based on the activity. That is, the bit amount to be allocated to the picture is determined for each picture.
  • the encoded data generated by the encoding device is stored in a codec CPB (Coded Picture Buffer) in a decoding device, and then pictures constituting the encoded data are sequentially sent to a decoding unit at a predetermined picture rate. Provided and decrypted.
  • CPB Coded Picture Buffer
  • the buffer CPB when one picture is supplied to the buffer CPB decoding section, the buffer CPB The amount by which the amount of data stored in B decreases depends on the data amount of the picture, that is, the quantization parameter of the picture.
  • the encoding device needs to determine the quantization scale so that the buffer CPB of the decoding device does not underflow.
  • the quantization scale of each picture is determined based only on the activity of the image data to be quantized, so that the state of the buffer CPB is appropriately maintained.
  • the data amount of a picture to be finally encoded cannot be controlled, and there is a problem that the quality of a decoded image is low.
  • the present invention has been made in view of the circumstances in which it is possible to provide a data processing apparatus capable of generating encoded data capable of obtaining a high-quality decoded image, a method thereof, and an encoding apparatus. Aim.
  • the first invention determines the quantization scale of the quantization when quantizing and encoding the data to be processed.
  • a data processing device for determining a bit rate at which the encoded data is subjected to decoding at the time of decoding based on the encoded data obtained by the encoding;
  • An encoding difficulty detection circuit for detecting the encoding difficulty; the bit rate identified by the specific circuit; and the quantization difficulty based on the encoding difficulty detected by the encoding difficulty detection circuit.
  • a quantization control circuit for controlling the scale.
  • a specifying circuit specifies, based on the coded data obtained by the coding, a bit rate at which the coded data is provided for decoding at the time of decoding.
  • a data processing method is a data processing method for determining a quantization scale of the quantization when the data to be processed is quantized and encoded.
  • the bit rate at which the encoded data is used for decoding at the time of decoding is specified.
  • the difficulty level of the data to be processed is detected.
  • the quantization scale is controlled based on the bit rate specified in the first step and the encoding difficulty detected in the second step.
  • a coding apparatus provides a quantization scale calculation circuit for calculating a quantization scale, and a processing target data based on the quantization scale calculated by the quantization scale calculation circuit.
  • a specifying circuit that specifies a bit rate at which the encoded data is to be decoded at the time of decoding based on the encoded data; an encoding difficulty detection circuit that detects an encoding difficulty of the data to be processed; A quantization control circuit that controls the quantization scale based on the bit rate specified by the specifying circuit and the coding difficulty detected by the coding difficulty detection circuit.
  • the quantization scale calculation circuit calculates the quantization scale by the same operation as in the first invention.
  • the quantization circuit quantizes the data to be processed based on the quantization scale calculated by the quantization scale calculation circuit.
  • an encoding circuit encodes the quantization result of the quantization circuit to generate encoded data.
  • FIG. 1 is an overall configuration diagram of an image processing system according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of an encoding device 2 shown in FIG. 1.
  • FIG. 3 is a configuration diagram of a Q calculation circuit shown in FIG. 2 regarding a portion for generating a quantization scale MBQ based on the encoded data ED.
  • FIG. 4 is a flowchart for explaining processing of the MBR measurement circuit shown in FIG.
  • FIG. 5 is a diagram for explaining a process of an LT adjustment amount calculation circuit shown in FIG. 3.
  • FIG. 6 is a diagram for explaining a process of an LT adjustment amount calculation circuit shown in FIG. 3.
  • FIG. 7 is a flowchart for explaining a process of an ST adjustment amount calculation circuit shown in FIG. 3;
  • FIG. 8 is a diagram showing a relationship between data CpbScale and index data CPBOC.
  • FIG. 9 is a flowchart for explaining processing of the PicQ control circuit shown in FIG. 3.
  • FIG. 10 is a flowchart for explaining the overall operation of the Q calculation circuit shown in FIG.
  • FIG. 11 is a flowchart illustrating a process of step ST shown in FIG.
  • FIG. 1 is an overall configuration diagram of an image processing system 1 of the present embodiment.
  • the image processing system 1 includes an encoding device 2 and a decoding device 3.
  • the encoding device 2 generates an encoded data ED (bit stream) compressed by orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform and motion compensation, modulates the encoded data ED, and outputs It is transmitted via transmission media such as broadcast waves, cable TV networks, telephone networks, and mobile phone networks.
  • orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform and motion compensation
  • the decoding device 3 for example, after demodulating the encoded data ED received from the encoding device 2, stores it in the buffer CPB, and decodes the encoded data ED read from the buffer CPB (the storage circuit of the present invention).
  • the image data is supplied to the decoding unit 4 and generated by the decoding unit 4 by inverse transform of the above-described encoding and motion compensation.
  • the amount by which the buffer CPB power reduces the amount of data stored in the buffer CPB when one picture is supplied to the decoding unit 4 depends on the data quantity of the picture, that is, the quantization parameter of the picture.
  • the encoding device 2 determines the quantization scale so that the buffer CPB of the decoding device 3 does not overflow or underflow, as described later.
  • the transmission medium may be a recording medium such as an optical disk, a magnetic disk, and a semiconductor memory.
  • the image processing system 1 has a feature in a method of calculating a quantization scale in the encoding device 2.
  • the encoding device 2 shown in FIG. 1 corresponds to the encoding device of the invention.
  • FIG. 2 is a configuration diagram of the encoding device 2 shown in FIG.
  • the encoding device 2 includes, for example, an AZD conversion circuit 22, a screen rearrangement circuit 23, an arithmetic circuit 24, an orthogonal transformation circuit 25, a quantization circuit 26, a lossless encoding circuit 27, and a buffer 28. , An inverse quantization circuit 29, an inverse orthogonal transform circuit 30, a frame memory 31, a Q calculation circuit 34, a motion prediction 'compensation circuit 36, and a deblock filter 37.
  • the quantization circuit 26 is an example of the quantization circuit of the third invention, and the lossless encoding circuit 27 is
  • This is an example of the encoding circuit of the third invention
  • the Q calculation circuit is an example of the data processing device of the first invention and the quantization scale calculation circuit of the third invention.
  • the AZD conversion circuit 22 converts the input image signal composed of the analog luminance signal Y and the color difference signals Pb and Pr into a digital image signal, and outputs this to the screen rearrangement circuit 23.
  • the screen rearrangement circuit 23 converts the frame image signal in the image signal input from the AZD conversion circuit 22 into an encoding order according to the GOP (Group Of Pictures) structure including the picture types I, P, and B.
  • the rearranged image data S23 (processed data of the present invention) is output to the arithmetic circuit 24, the motion prediction / compensation circuit 36, and the Q calculation circuit 34.
  • the arithmetic circuit 24 When the image data S23 is inter-coded, the arithmetic circuit 24 indicates the difference between the image data S23 and the predicted image data S32a input from the motion prediction / compensation circuit 36. It generates image data S24 and outputs it to the orthogonal transformation circuit 25.
  • the arithmetic circuit 24 When the image data S23 is intra-coded, the arithmetic circuit 24 outputs the image data S23 to the orthogonal transformation circuit 25 as image data S24.
  • the orthogonal transform circuit 25 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on the image data S24 to generate image data (for example, a DCT coefficient signal) S25 and outputs this to the quantization circuit 26.
  • orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform
  • the quantization circuit 26 generates image data S26 by quantizing the image data S25 in units of macroblocks MB using the quantization scale MBQ input from the Q calculation circuit 34, and generates the image data S26. Output to the conversion circuit 29.
  • the reversible encoding circuit 27 performs variable-length encoding on the image data S 26, performs arithmetic encoding on the image data S 26, generates encoded data ED, and stores the encoded data ED in the buffer 28.
  • the lossless encoding circuit 27 encodes the motion vector MV input from the motion prediction / compensation circuit 36 or the difference thereof and stores the encoded motion vector MV in the header data of the encoded data ED.
  • the encoded data ED stored in the buffer 28 is output to the Q calculation circuit 34 and, for example, modulated and transmitted to the decoding device 3 shown in FIG.
  • the inverse quantization circuit 29 generates data obtained by inversely quantizing the image data S26, and outputs this to the display 40.
  • the inverse quantization circuit 29 performs a quantization process based on the JVT standard.
  • the inverse orthogonal transform circuit 30 outputs image data generated by subjecting the inversely quantized data input from the inverse quantization circuit 29 to inverse transform of the above orthogonal transform, to the deblocking filter 37.
  • the deblocking filter 37 removes block distortion of the image data input from the inverse quantization conversion circuit 30 and writes the image data into the frame memory 31.
  • the motion prediction / compensation circuit 36 performs motion prediction / compensation processing based on the image data S31 from the frame memory 31 and the image data S23 from the screen rearranging circuit 23 to obtain a motion vector. MV and predicted image data S32a are calculated.
  • the motion prediction / compensation circuit 36 determines the macroblock type based on the quantization scale MBQ of the macroblock MB from the Q calculation circuit 34, and uses the block defined by the determined macroblock type as a unit. Perform motion prediction 'compensation processing.
  • the motion prediction / compensation circuit 36 outputs the motion vector MV to the lossless coding circuit 27 and outputs predicted image data S32a to the arithmetic circuit 24.
  • the Q calculation circuit 34 calculates the quantization scale PicQ of each picture based on the image data S23 from the screen rearrangement circuit 23 and the encoding data ED of the buffer 28. Specifically, the Q calculation circuit 34 calculates the quantization scale MBQ of each macroblock MB constituting each picture based on the quantization scale PicQ calculated above, and calculates the quantization scale MBQ by the quantization circuit 26 and motion estimation. , And output to the compensation circuit 36.
  • the Q calculation circuit 34 calculates the quantization scale PicQ based on the image data S23 and the encoding data ED.
  • the Q calculation circuit 34 calculates the data amount of the encoded data ED stored in the buffer CPB while taking into consideration the state of the buffer CPB of the decoding device 3 shown in FIG. 1 in addition to the encoding difficulty of the image data S23.
  • the quantization scale PicQ of each picture that is, the data amount of each picture, is controlled so that the value approaches an appropriate value (initial value InitialCpb).
  • the data amount of each picture should be controlled by the Q calculation circuit 34.
  • the data amount (buffer storage amount) of the encoded data ED stored in the buffer CPB can be controlled.
  • FIG. 3 is a configuration diagram of the Q calculation circuit 34 shown in FIG. 2 regarding a portion for generating the quantization scale MBQ based on the encoding data ED.
  • the Q calculation circuit 34 includes, for example, an encoding difficulty detection circuit 5, an image difficulty index generation circuit 6, a generated bit amount detection circuit 8, an MBR measurement circuit 9, an ABR measurement circuit 10, and a CPBOC calculation. It has a circuit 11, an LT adjustment amount calculation circuit 12, an ST adjustment amount calculation circuit 13, a CTBR calculation circuit 14, a delay circuit 15, a PicQ control circuit 16, and an MBQ control circuit 17.
  • the MBR measurement circuit 9 corresponds to the specific circuit of the first and third inventions
  • the encoding difficulty detection circuit 5 and the image difficulty index generation circuit 6 correspond to the encoding circuits of the first and third inventions.
  • the PicQ control circuit 16 corresponds to the quantization control circuit of the first and third inventions, corresponding to the difficulty detection circuit.
  • the CPBOC calculation circuit 11 corresponds to the index generation circuit of the first invention
  • the LT adjustment amount calculation circuit 12, the ST adjustment amount calculation circuit 13, and the CTBR calculation circuit 14 correspond to the target calculation circuit of the first invention. ing.
  • the encoding difficulty detecting circuit 5 detects the encoding difficulty of the image data S23 input from the screen rearranging circuit 23, and converts the encoding difficulty data E—DIFCTED indicating the detected encoding difficulty. Output to the image difficulty index generation circuit 6.
  • the encoding difficulty detection circuit 5 specifically includes an image pattern included in a frame of the image data S23, which causes block noise or mosquito noise, such as a fine image pattern. Based on the intensity of the image, the intensity of the pattern U, the intensity of the motion, the change in brightness (or scene change), etc., the encoding difficulty data E-DI FCTED is set so that the value increases as the number of image patterns increases. Generate.
  • the image difficulty index generation circuit 6 converts the predetermined difficulty coefficient, the specified final target bit rate FTBR, and the code difficulty data E-DIFC T input from the code difficulty detection circuit 5.
  • the image difficulty index data DIFCT is generated by multiplication as shown in the following equation (1).
  • the image difficulty index generation circuit 6 outputs the generated image difficulty index data DIFCT to the CTBR calculation circuit 14.
  • the image difficulty index generation circuit 6 calculates the image difficulty index data DIFCT in units of, for example, a certain time, several pictures or several GOPs.
  • the generated bit amount detection circuit 8 detects the bit amount (generated bit amount) of the encoded data ED (bit stream) input from the buffer 28 shown in FIG. 2 and measures the bit amount data BA indicating the result by MBR measurement. Output to circuit 9, ABR measurement circuit 10, and CPBOC calculation circuit 11.
  • the MBR measurement circuit 9 Based on the bit amount data BA input from the generated bit amount detection circuit 8, the MBR measurement circuit 9 measures the measurement bit rate CMB R indicating the bit rate of each picture constituting the encoded data ED (the specific circuit of the present embodiment). Is calculated, and this is output to the PicQ control circuit 16.
  • the measurement bit rate CMBR indicates the bit rate at which the coded data ED is read from the buffer CPB and output to the decoding unit 4 in the decoding device 3 shown in FIG.
  • FIG. 4 is a flowchart for explaining the processing of the MBR measurement circuit 9.
  • the MBR measurement circuit 9 calculates the average bit amount AvelPic Bit of the I picture constituting the encoded data ED that has been encoded in the past, based on the bit amount data BA input from the generated bit amount detection circuit 8.
  • the MBR measurement circuit 9 calculates an average bit amount AvePPicBit of P pictures constituting the encoded data ED encoded in the past.
  • the MBR measurement circuit 9 calculates the measurement bit rate CMBR based on AveIPicBit calculated in step ST1 and AvePPicBit calculated in step ST2 by the following equation (2).
  • CMBR PicR * (AvelPicBit + AvePPicBit * PPicNumlnGop) / TotalPic NumlnGop--(2)
  • TotalPicNumlnGop indicates the number of pictures in a single GOP, and is a preset constant.
  • PPicNumlnGop indicates (TotalPicNumlnGop-1)! /.
  • the ABR measurement circuit 10 calculates a cumulative bit amount (data amount) constituting the encoded data ED based on the bit amount data BA input from the generated bit amount detection circuit 8, and based on the calculated average bit amount (data amount). Calculate the rate ABR.
  • the ABR measurement circuit 10 calculates the average bit rate ABR based on the accumulated value of the bit amount data BA obtained by starting the encoding of the content to be encoded by the encoding device 2.
  • the ABR measurement circuit 10 outputs the calculated average bit rate ABR to the LT adjustment amount calculation circuit 12.
  • the CPBOC calculation circuit 11 calculates the bit amount data BA input from the generated bit amount detection circuit 8. Based on this, the index data CPBOC that is stored in the buffer CPB of the decoding device 3 and that indicates the data amount (accumulated data amount) of the encoded data ED is calculated.
  • the CPBOC calculation circuit 11 outputs the index data CPBOC to the LT adjustment amount calculation circuit 12 and the ST adjustment amount calculation circuit 13.
  • the LT adjustment amount calculation circuit 12 calculates an adjustment amount LTAJ for adjusting the target bit rate CTBR so that the measured bit rate CMBR approaches the final target bit rate FTBR.
  • the LT adjustment amount calculation circuit 12 calculates an adjustment amount LTAJ of a target bit rate C TBR described later based on the index data CPBOC from the CPBOC calculation circuit 11 and the average bit rate ABR from the ABR measurement circuit 10. .
  • the adjustment amount LTAJ is for adjusting the target bit rate CTBR so that it does not become negative.
  • the LT adjustment amount calculation circuit 12 calculates the final target bit rate FTBR (final target bit rate of the present invention) specified from outside the encoding device 2, the average bit rate ABR input from the ABR measurement circuit 10, and the encoding progress. Based on the time ELAPSED and the correction period DURATION, the target bit rate CTBR adjustment amount LTAJ is calculated by the following equation (3).
  • the encoding elapsed time ELAPSED indicates the time from the start of encoding of the content to be encoded by the encoding device 2 to the next encoding of a frame in the content. I have.
  • the correction period DURATION is, for example, a period during which the target bit rate CTBR is updated.
  • the LT adjustment amount calculation circuit 12 calculates the adjustment amount LTAJ so that the average bit rate ABR at the timing of the encoding elapsed time ELAPSED becomes the final target bit rate FTBR after the correction period DURATION elapses. calculate.
  • LTAJ (FTBR -ABR) * (ELAPSED + DURATION) / DURATION
  • the T adjustment amount calculation circuit 12 may calculate the adjustment amount LTAJ of the target bit rate CTBR as shown in the following equation (4).
  • the initial value InitialLTDelay is a constant value defined to suppress the influence of the initial fluctuation of the adjustment amount LTAJ, and is, for example, 5 (sec).
  • LTAJ min (l. 0, ELAPSED / lnitialLTDelay) * LTAJ
  • the LT adjustment amount calculating circuit 12 calculates the LT adjustment amount until the encoding elapsed time ELAPSED reaches the initial value InitialLTDelay by the above equation (3).
  • the adjustment amount LTAJ is calculated so that the adjustment amount LTAJ becomes less than or equal to the adjustment amount LTAJ, and as the coding elapsed time ELAPSED approaches the initial value InitialLTDelay, approaches the adjustment amount LTAJ calculated by the above equation (3).
  • the adjustment amount LTAJ indicates a positive value when the index data CPBOC is equal to or greater than the initial value InitialCpb, that is, has a value for adjusting the target bit rate CTBR in a direction to increase.
  • the adjustment amount LTAJ indicates a negative value when the index data CPBOC is less than the initial value InitialCpb, that is, has a value for adjusting the target bit rate CTBR in a lower direction.
  • the adjustment amount LTAJ is defined so that the index data CPBOC does not become smaller than the predetermined value even if it becomes equal to or less than the predetermined value. This prevents the target bit rate CTBR from becoming negative.
  • the characteristics of the adjustment amount LTAJ described above are obtained by the LT adjustment amount calculation circuit 12 calculating the adjustment amount LTAJ of the target bit rate CTBR by the above equations (3) and (4).
  • the LT adjustment amount calculation circuit 12 calculates the adjustment amount LTAJ in units of, for example, a certain time, several pictures or several GOPs.
  • the ST adjustment amount calculation circuit 13 calculates an adjustment amount STAJ for adjusting the target bit rate CTBR so that the buffer CPB of the decoding device 3 does not underflow.
  • the ST adjustment amount calculation circuit 13 calculates an adjustment amount STAJ of the target bit rate CTBR based on the index data CPBOC from the CPBOC calculation circuit 11.
  • the adjustment amount STAJ acts to return the index data CPBOC to the initial value InitialCpb.
  • FIG. 7 is a flowchart for explaining the processing of the ST adjustment amount calculation circuit 13. Step ST21:
  • the ST adjustment amount calculation circuit 13 uses the index data CPBOC input from the CPBOC calculation circuit 11 to calculate data CpbScale by the following equation (5).
  • CpbScale -((Scale * (initCpb-CPBOC) + CPBOC) / ((initCpb-CP BOC) + Scale * CPBOC))
  • FIG. 8 is a diagram showing a relationship between the data CpbScale and the index data CPBOC.
  • the data CpbScale indicates a predetermined positive value K, that is, has a value for adjusting the target bit rate CTBR to increase.
  • the data CpbScale indicates a negative value when the index data CPBOC is less than the initial value InitialCpb, that is, has a value to adjust the target bit rate CTBR to a lower value.
  • a predetermined value for example, 180,000
  • Step ST22
  • the ST adjustment amount calculation circuit 13 calculates the adjustment amount STAJ by multiplying the data CpbScale calculated in step ST21 and the input final target bit rate FTBR by the following equation (6).
  • CTBR calculation circuit 14 receives the input final target bit rate FTBR, the image difficulty index data DIFCT input from the image difficulty index generation circuit 6, the adjustment amount LTAJ input from the LT adjustment amount calculation circuit 12, and the ST adjustment.
  • the target bit rate CTBR is calculated by adding the adjustment amount STAJ input from the amount calculation circuit 13 by the following equation (7).
  • the CTBR calculation circuit 14 outputs the target bit rate CTBR to the PicQ control circuit 16.
  • CTBR FTBR + DIFCT + LTAJ + STAJ (7)
  • the delay circuit 15 delays the Q scale QPic of the picture input from the PicQ control circuit 16 by a time corresponding to one picture and outputs the result to the PicQ control circuit 16.
  • the PicQ control circuit 16 calculates (determines) the Q scale QPic (quantization scale of the present invention) of the picture, and outputs this to the delay circuit 15 and the MBQ control circuit 17.
  • the PicQ control circuit 16 calculates the Q scale QPic based on the measured bit rate CMBR input from the MBR measurement circuit 9 and the target bit rate CTBR input from the CTBR calculation circuit 14 as follows.
  • the PicQ control circuit 16 calculates the Q scale QPic so that the measured bit rate CMBR approaches the target bit rate CTBR.
  • FIG. 9 is a flowchart for explaining the processing of the PicQ control circuit 16.
  • the PicQ control circuit 16 calculates the data PRO—PART by using the measurement bit rate CMBR input from the MBR measurement circuit 9 and the target bit rate CTBR input from the C TBR calculation circuit 14 according to the following equation (8). .
  • Kp in the equation (8) is a coefficient for adjusting the response, and is defined using, for example, the measured bit rate C MBR, the target bit rate CTBR, the index data CPBOC, and the like.
  • the PicQ control circuit 16 calculates the data DV-PART using the measurement bit rate CMBR input from the MBR measurement circuit 9 and the target bit rate CTBR input from the C TBR calculation circuit 14 according to the following equation (9). .
  • Kd in equation (9) is a coefficient for improving the response.
  • n indicates a picture number.
  • CMBR [n-l] indicates the CMBR of the picture immediately preceding the picture corresponding to CMBR [n].
  • the PicQ control circuit 16 uses the previously calculated quantization scale QPic [n-l], the data PRO-PART calculated in step ST31, and the data DV-PART calculated in step ST32 to calculate the following equation (10 ), The quantization scale QPic [n] is calculated.
  • the MBQ control circuit 17 calculates the quantization scale MBQ of each macroblock MB in the picture based on the quantization scale PicQ of the picture input from the PicQ control circuit 16, and calculates the quantization scale MBQ shown in FIG. 26 and motion prediction ⁇ Compensation circuit 36
  • FIG. 10 is a flowchart for explaining the overall operation of the Q calculation circuit 34 shown in FIG.
  • the MBR measurement circuit 9 of the Q calculation circuit 34 shown in FIG. 3 calculates the measurement bit rate CMBR according to the procedure described with reference to FIG.
  • Step ST42 The CPBOC calculation circuit 11, the LT adjustment amount calculation circuit 12, the ST adjustment amount calculation circuit 13, and the CTBR calculation circuit 14 shown in FIG. 3 calculate the target bit rate CTBR according to the procedure described with reference to FIGS.
  • the LT adjustment amount calculation circuit 12 calculates the adjustment amount LTAJ in the procedure described above with reference to FIGS. 5 and 6 (ST51), and performs the procedure described above with reference to FIGS. 7 and 8. Then, the ST adjustment amount calculation circuit 13 calculates the adjustment amount STAJ (ST52), and using this, the CTBR calculation circuit 14 calculates the target bit rate CTBR (ST53).
  • the PicQ control circuit 16 of the Q calculation circuit 34 calculates the quantum of each picture based on the measured bit rate C MBR calculated in step ST41 and the target bit rate CTBR calculated in step ST42 as described with reference to FIG.
  • the quantization scale QPic is calculated, and then the quantization scale MBQ of each macroblock MB is calculated, and this is output to the quantization circuit 26 and the motion prediction / compensation circuit 36.
  • the input image signal is first converted into a digital signal in the AZD conversion circuit 22.
  • the image data is rearranged by the screen rearrangement circuit 23 according to the GOP structure of the image compression information to be output.
  • the Q calculating circuit 34 calculates the quantization scale MBQ based on the image data S23 from the screen rearranging circuit 23 and the encoded data ED from the buffer 28 as described above, and And the motion prediction / compensation circuit 36.
  • image information of the entire image data is input to an orthogonal transform circuit 25, which performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform. Will be applied.
  • orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform. Will be applied.
  • the transform coefficient output from the orthogonal transform circuit 25 is quantized by the quantizing circuit 26 and output to the lossless encoding circuit 27 as image data S25.
  • the quantization circuit 26 quantizes the image data S25 based on the quantization scale QP based on the quantization scale MBQ input from the Q calculation circuit 34.
  • the lossless encoding circuit 27 converts the image data S26 into a reversible code such as a variable-length code or an arithmetic code. Encoding is performed to generate encoded data ED, which is output to the buffer 28. At the same time, the image data S26 from the quantization circuit 26 is input to an inverse quantization circuit 29, and further subjected to an inverse orthogonal transformation process in an inverse orthogonal transformation circuit 30 to become decoded image data. Data is stored in the frame memory 31.
  • the image data S 23 is input to the motion prediction / compensation circuit 36. Further, the image data S31 of the reference image is read from the frame memory 31 and output to the motion prediction / compensation circuit 36.
  • the motion prediction / compensation circuit 36 generates a motion vector MV and predicted image data S32a using the image data S31 of the reference image.
  • the image data S 23 which is a difference signal between the image data S 23 from the screen rearranging circuit 23 and the predicted image data S 32 a from the motion prediction / compensation circuit 36 Is generated, and the image data S24 is output to the orthogonal transformation circuit 25.
  • the motion vector MV is subjected to a lossless coding process such as variable length coding or arithmetic coding, and is inserted into the header of the image data.
  • a lossless coding process such as variable length coding or arithmetic coding
  • Other processes are the same as those of the image data to be subjected to intra-coding.
  • the Q calculation circuit 34 based on the encoded data ED from the buffer 28, the amount of accumulation of the buffer CPB of the decoding device 3 shown in FIG. To determine the quantization scale MBQ.
  • the underflow of the buffer CPB of the decoding device 3 can be avoided, and the quality of the image decoded by the decoding unit 4 can be improved.
  • the quantization scale MBQ is determined based on the image difficulty index data DIFCT generated by the image difficulty index generation circuit 6. Therefore, the Q calculation circuit 34 can reduce the quantization scale MBQ of a frame (picture) having a high degree of difficulty in encoding, use a large number of bits, and reduce the bit rate of the encoded data ED by encoding the bit rate. It is possible to follow the degree of difficulty of the dangling of the image data S23 of the dangling object, and it is possible to provide a high quality image.
  • the MBR measurement circuit 9 calculates the measurement bit rate CMBR based on the average bit amount of a plurality of pictures, this Calculate the target bit rate CTBR based on this. Therefore, it is possible to prevent the quantization scale MBQ of each picture from fluctuating significantly due to the difference in the bit amount of each picture.
  • the processing load of the decoding unit 4 can be equalized. As a result, the image quality after decoding can be improved.
  • the PicQ control circuit 16 calculates the quantization scale QPic by feedback as shown in the above equation (9). According to this, it is also possible to suppress rapid temporal fluctuation of the quantization scale Q Pic.
  • the encoding difficulty detection circuit 5 detects the encoding difficulty for the entire sequence or detects the encoding difficulty for a part of the sequence. By switching between these, variable bit rate control suitable for both multipath and single path can be realized.
  • the Q calculation circuit 34 shown in FIG. 3 uses the CTBR calculation circuit 14 to calculate the target bit rate CTBR based on only the final target bit rate FTBR and the image difficulty index data DIFCT from the image difficulty index generation circuit 6. May be calculated.
  • the CTBR calculation circuit 14 may calculate the target bit rate CTBR based on one of the adjustment amounts STAJ and LTAJ, the index final target bit rate FTBR, and the image difficulty index data DIFCT.
  • the present invention can be applied to a system for quantizing data to be processed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する。また、被処理データの符号化難易度を検出する。そして、上記特定した前記ビットレートと、上記検出した前記符号化難易度とを基に、前記量子化スケールを制御する。

Description

明 細 書
データ処理装置およびその方法と符号化装置
技術分野
[0001] 本発明は、量子化スケールを適切に決定できるデータ処理装置およびその方法と 符号化装置に関する。
背景技術
[0002] 近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的と し、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償 により圧縮する MPEG(Moving Picture Experts Group)や JVT(Joint Video Team)な どの規格に準拠した装置が開発されている。
このような規格の符号ィ匕装置では、画像の局所的な情報を利用することにより、効 率の良 、符号化を実現して 、る。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても 、肉眼では画質劣化が認識され難!、と 、う性質がある。
[0003] 従って、従来の符号化装置では、画像を複数の部分に分け、各部分にっ 、て、画 像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そ うでない部分は細力べ量子化して、画質劣化の影響を抑えながら、データ量を削減し ている。
このような画像の複雑度の情報は、アクティビティ (activity)と呼ばれて 、る。 従来の符号化装置では、量子化対象の画像データのアクティビティを算出し、当該 アクティビティに基づ 、て、量子化スケールを規定する量子化スケールを各ピクチャ 毎に生成している。すなわち、各ピクチャ毎に、当該ピクチヤに割り当てるビット量を 決定している。
ところで、符号ィ匕装置が生成した符号ィ匕データは、復号装置において、ノッファ CP B(Coded Picture Buffer)に蓄積された後に、符号化データを構成するピクチャが所定 のピクチャレートで復号部に順に供給されて復号される。
ここで、バッファ CPB力 復号部に 1つのピクチヤが供給されることによりバッファ CP Bのデータ蓄積量が減少する量は、当該ピクチヤのデータ量、すなわち当該ピクチャ の量子化パレメータに依存する。
従って、符号化装置は、復号装置のバッファ CPBがアンダーフローしないように、 上記量子化スケールを決定する必要がある。
発明の開示
発明が解決しょうとする課題
[0004] しかしながら、上述した従来の符号化装置では、量子化対象の画像データのァクテ イビティのみを基に、各ピクチャの量子化スケールを決定しているため、ノ ッファ CPB の状態を適切に保つように最終的に符号ィ匕されるピクチャのデータ量を制御できな い場合があり、復号された画像の品質が低いという問題がある。
[0005] 本発明は力かる事情に鑑みてなされたものであり、高品質な復号画像を得ることが 可能な符号化データを生成できるデータ処理装置およびその方法と符号化装置を 提供することを目的とする。
課題を解決するための手段
[0006] 上述した従来技術の問題を解決し、上述した目的を達成するために、第 1の発明は 、被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決 定するデータ処理装置であって、前記符号化により得られた符号化データを基に、 当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、前 記被処理データの符号化難易度を検出する符号化難易度検出回路と、前記特定回 路が特定した前記ビットレートと、前記符号化難易度検出回路が検出した前記符号 化難易度とを基に、前記量子化スケールを制御する量子化制御回路とを有する。
[0007] 第 1の発明のデータ処理装置の作用は以下のようになる。
特定回路が、符号化により得られた符号化データを基に、当該符号化データが復 号時に復号に供されるビットレートを特定する。
また、符号化難易度検出回路が、前記被処理データの符号化難易度を検出する。 そして、量子化制御回路が、前記特定回路が特定した前記ビットレートと、前記符 号化難易度検出回路が検出した前記符号化難易度とを基に、前記量子化スケール を制御する。 [0008] 第 2の発明のデータ処理方法は、被処理データを量子化して符号ィヒする場合に、 前記量子化の量子化スケールを決定するデータ処理方法であって、前記符号化に より得られた符号化データを基に、当該符号化データが復号時に復号に供されるビ ットレートを特定する第 1の工程と、前記被処理データの符号化難易度を検出する第 2の工程と、前記第 1の工程で特定した前記ビットレートと、前記第 2の工程で検出し た前記符号化難易度とを基に、前記量子化スケールを制御する第 3の工程とを有す る。
[0009] 第 2の発明のデータ処理方法の作用は以下のようになる。
第 1に工程において、符号化により得られた符号化データを基に、当該符号化デ 一タが復号時に復号に供されるビットレートを特定する。
また、第 2の工程において、前記被処理データの符号化難易度を検出する。
そして、第 3の工程において、前記第 1の工程で特定した前記ビットレートと、前記 第 2の工程で検出した前記符号化難易度とを基に、前記量子化スケールを制御する
[0010] 第 3の発明の符号ィ匕装置は、量子化スケールを算出する量子化スケール算出回路 と、前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理デ ータを量子化する量子化回路と、前記量子化回路の量子化結果を符号化して符号 化データを生成する符号化回路とを有し、前記量子化スケール算出回路は、前記符 号化回路が生成した前記符号化データを基に、当該符号化データが復号時に復号 に供されるビットレートを特定する特定回路と、前記被処理データの符号化難易度を 検出する符号化難易度検出回路と、前記特定回路が特定した前記ビットレートと、前 記符号化難易度検出回路が検出した前記符号化難易度とを基に、前記量子化スケ ールを制御する量子化制御回路とを有する。
[0011] 第 3の発明の符号化装置の作用は以下のようになる。
量子化スケール算出回路が、第 1の発明と同様の作用により、量子化スケールを算 出する。
次に、量子化回路が、前記量子化スケール算出回路が算出した前記量子化スケー ルを基に、被処理データを量子化する。 次に、符号化回路が、前記量子化回路の量子化結果を符号化して符号化データ を生成する。
発明の効果
[0012] 本発明によれば、高品質な復号画像を得ることが可能な符号ィ匕データを生成でき るデータ処理装置およびその方法と符号ィ匕装置を提供することができる。
図面の簡単な説明
[0013] [図 1]図 1は、本発明の実施形態の画像処理システムの全体構成図である。
[図 2]図 2は、図 1に示す符号化装置 2の構成図である。
[図 3]図 3は、符号ィ匕データ EDを基に量子化スケール MBQを生成する部分に関す る図 2に示す Q算出回路の構成図である。
[図 4]図 4は、図 3に示す MBR測定回路の処理を説明するためのフローチャートであ る。
[図 5]図 5は、図 3に示す LT調整量算出回路の処理を説明するための図である。
[図 6]図 6は、図 3に示す LT調整量算出回路の処理を説明するための図である。
[図 7]図 7は、図 3に示す ST調整量算出回路の処理を説明するためのフローチャート である。
[図 8]図 8は、データ CpbScaleと指標データ CPBOCとの関係を示す図である。
[図 9]図 9は、図 3に示す PicQ制御回路の処理を説明するためのフローチャートであ る。
[図 10]図 10は、図 3に示す Q算出回路の全体動作について説明するためのフローチ ヤートである。
[図 11]図 11は、図 10に示すステップ ST42の処理を説明するためのフローチャート である。
符号の説明
[0014] 1· ··通信システム、 2…符号化装置、 3…復号装置、 4· ··復号部、 5…符号化難易度 検出回路、 6…画像難易度指標生成回路、 10—MBR測定回路、 11 CPBOC算 出回路、 12—LT調整量算出回路、 13—ST調整量算出回路、 14—CTBR算出回 路、 15· ··遅延回路、 16"'PicQ制御回路、 17—MBQ制御回路、 22· ··ΑΖϋ変換 回路、 23…画面並べ替え回路、 24· ··演算回路、 25· ··直交変換回路、 26· ··量子化 回路、 27· ··可逆符号化回路、 28· ··バッファ、 29· ··逆量子化回路、 30· ··逆直交変換 回路、 31· ··フレームメモリ、 32· ··動き予測 ·補償回路、 33· ··アクティビティ算出回路 、 34 .Q算出回路、 CPB…バッファ
発明を実施するための最良の形態
[0015] 以下、本発明の実施形態に係わる画像処理装置について説明する。
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方 法と符号ィ匕装置について説明する。
図 1は、本実施形態の画像処理システム 1の全体構成図である。
図 1に示すように、画像処理システム 1は、符号化装置 2および復号装置 3を有する 。 符号化装置 2は、離散コサイン変換やカルーネン 'レーべ変換などの直交変換と 動き補償によって圧縮した符号ィ匕データ ED (ビットストリーム）を生成し、当該符号ィ匕 データ EDを変調した後に、衛星放送波、ケーブル TV網、電話回線網、携帯電話回 線網などの伝送媒体を介して送信する。
復号装置 3は、例えば、符号化装置 2から受信した符号化データ EDを復調した後 に、ノ ッファ CPBに格納し、ノ ッファ CPB (本発明の記憶回路)から読み出した符号 化データ EDを復号部 4に供給し、復号部 4にお ヽて上記符号化時の直交変換の逆 変換と動き補償によって復号した画像データを生成して利用する。
ここで、バッファ CPB力も復号部 4に 1つのピクチヤが供給されることによりバッファ C PBのデータ蓄積量が減少する量は、当該ピクチヤのデータ量、すなわち当該ピクチ ャの量子化パラメータに依存する。
符号化装置 2は、後述するように、復号装置 3のバッファ CPBがオーバーフローお よびアンダーフローしな 、ように、上記量子化スケールを決定する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒 体であってもよい。
画像処理システム 1は、符号ィ匕装置 2における量子化スケールの算出方法に特徴 を有している。
[0016] 以下、図 1に示す符号ィ匕装置 2について説明する。 符号ィ匕装置 2が発明の符号ィ匕装置に対応している。
図 2は、図 1に示す符号化装置 2の構成図である。
図 2に示すように、符号化装置 2は、例えば、 AZD変換回路 22、画面並べ替え回 路 23、演算回路 24、直交変換回路 25、量子化回路 26、可逆符号化回路 27、バッ ファ 28、逆量子化回路 29、逆直交変換回路 30、フレームメモリ 31、 Q算出回路 34、 動き予測'補償回路 36およびデブロックフィルタ 37を有する。
[0017] 量子化回路 26が第 3の発明の量子化回路の一例であり、可逆符号ィ匕回路 27が第
3の発明の符号ィ匕回路の一例であり、 Q算出回路 34が第 1の発明のデー処理装置 および第 3の発明の量子化スケール算出回路の一例である。
[0018] 以下、図 2に示す符号ィ匕装置 2の構成要素について説明する。
AZD変換回路 22は、入力されたアナログの輝度信号 Y、色差信号 Pb, Prから構 成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路 23〖こ 出力する。
画面並べ替え回路 23は、 AZD変換回路 22から入力した画像信号内のフレーム 画像信号を、そのピクチャタイプ I, P, Bからなる GOP(Group Of Pictures)構造に応 じて、符号化する順番に並べ替えた画像データ S23 (本発明の被処理データ)を演 算回路 24、動き予測 ·補償回路 36および Q算出回路 34に出力する。
[0019] 演算回路 24は、画像データ S23がインター (Inter)符号ィ匕される場合には、画像デ ータ S23と、動き予測'補償回路 36から入力した予測画像データ S32aとの差分を示 す画像データ S24を生成し、これを直交変換回路 25に出力する。
また、演算回路 24は、画像データ S23がイントラ (Intra)符号ィ匕される場合には、画 像データ S23を画像データ S24として直交変換回路 25に出力する。
直交変換回路 25は、画像データ S24に離散コサイン変換やカルーネン 'レーべ変 換などの直交変換を施して画像データ (例えば DCT係数信号) S25を生成し、これ を量子化回路 26に出力する。
量子化回路 26は、 Q算出回路 34から入力した量子化スケール MBQで、画像デー タ S25をマクロブロック MB単位で量子化して画像データ S26を生成し、これを可逆 符号ィ匕回路 27および逆量子化回路 29に出力する。 [0020] 可逆符号化回路 27は、画像データ S26を可変長符号化ある ヽは算術符号化して 符号化データ EDを生成し、これをバッファ 28に格納する。
このとき、可逆符号化回路 27は、動き予測 ·補償回路 36から入力した動きベクトル MVあるいはその差分を符号ィ匕して符号ィ匕データ EDのヘッダデータ内に格納する。 ノ ッファ 28に格納された符号ィ匕データ EDは、 Q算出回路 34に出力されると共に、 例えば、変調等された後に図 1に示す復号装置 3に送信される。
[0021] 逆量子化回路 29は、画像データ S26を逆量子化したデータを生成し、これをデイス プレイ 40に出力する。
逆量子化回路 29は、 JVT規格に基づいて、量子化処理を行う。
逆直交変換回路 30は、逆量子化回路 29から入力した逆量子化されデータに上記 直交変換の逆変換を施して生成した画像データをデブロックフィルタ 37に出力する。 デブロックフィルタ 37は、逆量子化変換回路 30から入力した画像データのブロック 歪みを除去してフレームメモリ 31に書き込む。
[0022] 動き予測 ·補償回路 36は、フレームメモリ 31からの画像データ S31と、画面並べ替 え回路 23からの画像データ S23とを基に、動き予測 ·補償処理を行って、動きべタト ル MVおよび予測画像データ S32aを算出する。
なお、動き予測 ·補償回路 36は、 Q算出回路 34からのマクロブロック MBの量子化 スケール MBQを基にマクロブロックタイプを決定し、当該決定したマクロブロックタイ プで規定されるブロックを単位として、動き予測'補償処理を行う。
動き予測 ·補償回路 36は、動きベクトル MVを可逆符号ィ匕回路 27に出力し、予測 画像データ S32aを演算回路 24に出力する。
[0023] Q算出回路 34は、画面並べ替え回路 23からの画像データ S23およびバッファ 28 力もの符号ィ匕データ EDを基に、各ピクチャの量子ィ匕スケール PicQを算出する。 具体的には、 Q算出回路 34は、上記算出した量子化スケール PicQを基に、各ピク チヤを構成する各マクロブロック MBの量子化スケール MBQを算出し、これを量子化 回路 26および動き予測，補償回路 36に出力する。
以下、 Q算出回路 34が、画像データ S23および符号ィ匕データ EDを基に量子化ス ケール PicQを算出する方法を説明する。 Q算出回路 34は、画像データ S23の符号化難易度の他に、図 1に示す復号装置 3 のバッファ CPBの状態を考慮しながら、ノ ッファ CPBに記憶される符号ィ匕データ ED のデータ量が適切な値 (初期値 InitialCpb)に近づくように、各ピクチャの量子化スケ ール PicQ、すなわち各ピクチャのデータ量を制御する。
ここで、バッファ CPBから単位時間に読み出されて復号部 4に供給されるピクチャの 数はピクチャレートによって規定される一定数であるため、各ピクチャのデータ量を Q 算出回路 34で制御することで、ノ ッファ CPBに記憶されている符号ィ匕データ EDの データ量 (バッファ蓄積量)を制御できる。
[0024] 以下、図 2に示す Q算出回路 34の構成について詳細に説明する。
図 3は、符号ィ匕データ EDを基に量子化スケール MBQを生成する部分に関する図 2に示す Q算出回路 34の構成図である。
図 3に示すように、 Q算出回路 34は、例えば、符号化難易度検出回路 5、画像難易 度指標生成回路 6、発生ビット量検出回路 8、 MBR測定回路 9、 ABR測定回路 10、 CPBOC算出回路 11、 LT調整量算出回路 12、 ST調整量算出回路 13、 CTBR算 出回路 14、遅延回路 15、 PicQ制御回路 16および MBQ制御回路 17を有する。 図 3において、 MBR測定回路 9が第 1および第 3の発明の特定回路に対応し、符 号化難易度検出回路 5および画像難易度指標生成回路 6が第 1および第 3の発明の 符号化難易度検出回路に対応し、 PicQ制御回路 16が第 1および第 3の発明の量子 化制御回路に対応している。
また、 CPBOC算出回路 11が第 1の発明の指標生成回路に対応し、 LT調整量算 出回路 12、 ST調整量算出回路 13および CTBR算出回路 14が第 1の発明の目標 算出回路に対応している。
[0025] 〔符号化難易度検出回路 5〕
符号化難易度検出回路 5は、画面並べ替え回路 23から入力した画像データ S23 の符号ィ匕難易度を検出し、当該検出した符号ィ匕難易度を示す符号ィ匕難易度データ E— DIFCTEDを画像難易度指標生成回路 6に出力する。
符号化難易度検出回路 5は、具体的には、画像データ S23のフレームに含まれる、 ブロックノイズやモスキートノイズを発生する要因となる画像パターン、例えば、細か 、絵柄での激 U、動きゃ激 、輝度変化 (又はシ―ンチェンジ)等を基に、当該画像 ノターンが多く含まれるに従って値が大きくなるように、符号ィ匕難易度データ E— DI FCTEDを生成する。
[0026] 〔画像難易度指標生成回路 6〕
画像難易度指標生成回路 6は、所定の難易度係数と、指定された最終目標ビットレ ート FTBRと、符号ィ匕難易度検出回路 5から入力した符号ィ匕難易度データ E—DIFC Tとを下記式（1)に示すように乗じて画像難易度指標データ DIFCTを生成する。 画像難易度指標生成回路 6は、上記生成した画像難易度指標データ DIFCTを C TBR算出回路 14に出力する。
[0027] (数 1)
DIFCT = (難易度係数） * FTBR* E_DIFCT
…ひ）
なお、画像難易度指標生成回路 6は、画像難易度指標データ DIFCTを、例えば、 一定時間、数ピクチャあるいは数 GOPを単位として算出する。
本実施形態において、画像難易度指標データ DIFCTを、シーケンス全体からの相 対的な指標として扱うことで、マルチパスの可変ビットレートを実現でき、シーケンスの 一部について用いることでシングルパスの可変ビットレートとを実現できる。
[0028] 〔発生ビット量検出回路 8〕
発生ビット量検出回路 8は、図 2に示すバッファ 28から入力した符号ィ匕データ ED ( ビットストリーム）ののビット量 (発生ビット量)を検出し、その結果を示すビット量データ BAを MBR測定回路 9、 ABR測定回路 10および CPBOC算出回路 11に出力する。
[0029] 〔MBR測定回路 9〕
MBR測定回路 9は、発生ビット量検出回路 8から入力したビット量データ BAを基に 、符号ィ匕データ EDを構成する各ピクチャのビットレートを示す測定ビットレート CMB R (本実施形態の特定回路が特定するビットレート)を算出し、これを PicQ制御回路 1 6に出力する。
[0030] 測定ビットレート CMBRは、図 1に示す復号装置 3において、符号化データ EDが ノ ッファ CPBから読み出されて復号部 4に出力されるビットレートを示している。 図 4は、 MBR測定回路 9の処理を説明するためのフローチャートである。
ステップ ST1：
MBR測定回路 9は、発生ビット量検出回路 8から入力したビット量データ BAを基に 、過去に符号ィ匕された符号ィ匕データ EDを構成する Iピクチャの平均ビット量 AvelPic Bitを算出する。
ステップ ST2 :
MBR測定回路 9は、過去に符号化された符号化データ EDを構成する Pピクチヤの 平均ビット量 AvePPicBitを算出する。
ステップ ST3 :
MBR測定回路 9は、ステップ ST1で算出した AveIPicBit、ステップ ST2で算出し た AvePPicBitを基に、下記式（2)により、測定ビットレート CMBRを算出する。
[0031] (数 2)
CMBR = PicR * (AvelPicBit + AvePPicBit * PPicNumlnGop) /TotalPic NumlnGop - -- (2)
[0032] 上記式（2)にお!/、て、 TotalPicNumlnGopは、単数の GOP内のピクチャの数を 示し、予め設定された定数である。
また、 PPicNumlnGopは、（TotalPicNumlnGop - 1)を示して!/、る。
[0033] 〔ABR測定回路 10〕
ABR測定回路 10は、発生ビット量検出回路 8から入力したビット量データ BAを基 に、符号ィ匕データ EDを構成する累積的なビット量 (データ量)を算出し、これを基に 平均ビットレート ABRを算出する。
具体的には、 ABR測定回路 10は、符号化対象のコンテンツの符号化を符号化装 置 2で開始して力 得たビット量データ BAの累積値を基に平均ビットレート ABRを算 出する。
ABR測定回路 10は、上記算出した平均ビットレート ABRを LT調整量算出回路 12 に出力する。
[0034] 〔CPBOC算出回路 11〕
CPBOC算出回路 11は、発生ビット量検出回路 8から入力したビット量データ BAを 基に、復号装置 3のバッファ CPBに記憶されて 、る符号ィ匕データ EDのデータ量 (蓄 積データ量)を示す指標データ CPBOCを算出する。
CPBOC算出回路 11は、指標データ CPBOCを LT調整量算出回路 12および ST 調整量算出回路 13に出力する。
[0035] 〔LT調整量算出回路 12〕
LT調整量算出回路 12は、測定ビットレート CMBRが最終目標ビットレート FTBR に近づくように、目標ビットレート CTBRを調整するための調整量 LTAJを算出する。
LT調整量算出回路 12は、 CPBOC算出回路 11からの指標データ CPBOCと、 A BR測定回路 10からの平均ビットレート ABRとをを基に、後述する目標ビットレート C TBRの調整量 LTAJを算出する。
ここで、調整量 LTAJは、目標ビットレート CTBRが負にならないように調整するため のものである。
LT調整量算出回路 12は、符号化装置 2の外部から指定された最終目標ビットレー ト FTBR (本発明の最終目標ビットレート）と、 ABR測定回路 10から入力した平均ビッ トレート ABRと、符号化経過時間 ELAPSEDと、補正期間 DURATIONとを基に下 記式（3)により、目標ビットレート CTBRの調整量 LTAJを算出する。
[0036] ここで、符号ィ匕経過時間 ELAPSEDは、符号化対象のコンテンツの符号化を符号 化装置 2で開始してから、当該コンテンツ内のフレームを次に符号化するまでの時間 を示している。
また、補正期間 DURATIONは、例えば、目標ビットレート CTBRが更新される期 間である。
LT調整量算出回路 12は、図 5に示すように、符号ィ匕経過時間 ELAPSEDのタイミ ングにおける平均ビットレート ABRを、補正期間 DURATION経過後に、最終目標 ビットレート FTBRなるように、調整量 LTAJを算出する。
[0037] (数 3)
LTAJ= (FTBR -ABR) * (ELAPSED + DURATION) /DURATION
…
[0038] なお、符号ィ匕開始直後で不安定な平均ビットレート ABRの影響を抑制するたに、 L T調整量算出回路 12は、下記式 (4)に示すように、目標ビットレート CTBRの調整量 LTAJを算出してもよい。
下記式 (4)において、初期値 InitialLTDelayは、調整量 LTAJの初期変動の影響 を抑制するために規定された定数値であり、例えば、 5 (sec)である。
[0039] (数 4)
LTAJ=min (l. 0, ELAPSED/lnitialLTDelay) * LTAJ
…(
[0040] LT調整量算出回路 12は、上記式 (4)を用いた場合に、例えば、図 6に示すように 、符号化経過時間 ELAPSEDが初期値 InitialLTDelayまでは、上記式（3)で算出 した調整量 LTAJ以下となり、符号化経過時間 ELAPSEDが初期値 InitialLTDela yに近づくに従って上記式（3)で算出した調整量 LTAJに近づくように、調整量 LTAJ を算出する。
[0041] 調整量 LTAJは、指標データ CPBOCが初期値 InitialCpb以上の場合に正の値を 示す、すなわち目標ビットレート CTBRを上げる向きに調整する値を持つ。
また、調整量 LTAJは、指標データ CPBOCが初期値 InitialCpb未満の場合に負 の値を示す、すなわち目標ビットレート CTBRを下げる向きに調整する値を持つ。 また、調整量 LTAJは、指標データ CPBOCが所定の値以下になっても、所定の値 より小さくならないように規定される。これにより、目標ビットレート CTBRが負になるこ とが回避される。
上述した調整量 LTAJの特性は、 LT調整量算出回路 12が上記式（3) , (4)により 、目標ビットレート CTBRの調整量 LTAJを算出することによって得られる。
なお、 LT調整量算出回路 12は、調整量 LTAJを、例えば、一定時間、数ピクチャ あるいは数 GOPを単位として算出する。
[0042] 〔ST調整量算出回路 13〕
ST調整量算出回路 13は、復号装置 3のバッファ CPBがアンダーフローしな 、よう に、目標ビットレート CTBRを調整するための調整量 STAJを算出する。
ST調整量算出回路 13は、 CPBOC算出回路 11からの指標データ CPBOCを基に 、目標ビットレート CTBRの調整量 STAJを算出する。 ここで、調整量 STAJは、指標データ CPBOCを、初期値 InitialCpbに戻すように 作用する。
図 7は、 ST調整量算出回路 13の処理を説明するためのフローチャートである。 ステップ ST21 :
ST調整量算出回路 13は、 CPBOC算出回路 11から入力した指標データ CPBOC を用いて、下記式（5)により、データ CpbScaleを算出する。
[0043] (数 5)
CpbScale = - ( (Scale * (initCpb - CPBOC) + CPBOC) / ( (initCpb - CP BOC) + Scale * CPBOC) )
… ）
[0044] 図 8は、上記データ CpbScaleと指標データ CPBOCとの関係を示す図である。
図 8に示すように、データ CpbScaleは、指標データ CPBOCが初期値 InitialCpb 以上の場合に所定の正の値 Kを示す、すなわち目標ビットレート CTBRを上げる向き に調整する値を持つ。
また、データ CpbScaleは、指標データ CPBOCが初期値 InitialCpb未満の場合 に負の値を示す、すなわち目標ビットレート CTBRを下げる向きに調整する値を持つ また、データ CpbScaleは、図 8に示すように、指標データ CPBOCが所定の値 (例 えば、 180000)以下になると、急峻にその値を小さくする。
これにより、上述した復号装置のバッファ CPBがアンダフローすることを回避する。 上述したデータ CpbScaleの特性は、 ST調整量算出回路 13が上記式（5)により、 データ CpbScaleを算出することによって実現される。
[0045] ステップ ST22 :
ST調整量算出回路 13は、ステップ ST21で算出したデータ CpbScaleと、入力した 最終目標ビットレート FTBRとを下記式 (6)により乗算して調整量 STAJを算出する。
[0046] (数 6)
STAJ = FTBR * CpbScale · '· (6)
[0047] 〔CTBR算出回路 14〕 CTBR算出回路 14は、入力した最終目標ビットレート FTBRと、画像難易度指標生 成回路 6から入力した画像難易度指標データ DIFCTと、 LT調整量算出回路 12から 入力した調整量 LTAJと、 ST調整量算出回路 13から入力した調整量 STAJとを下記 式 (7)により加算して目標ビットレート CTBRを算出する。
CTBR算出回路 14は、目標ビットレート CTBRを PicQ制御回路 16に出力する。
[0048] (数 7)
CTBR = FTBR + DIFCT + LTAJ + STAJ · · · ( 7)
[0049] 〔遅延回路 15〕
遅延回路 15は、 PicQ制御回路 16から入力したピクチャの Qスケール QPicを 1ピク チヤに相当する時間だけ遅延させて PicQ制御回路 16に出力する。
[0050] 〔PicQ制御回路 16〕
PicQ制御回路 16は、ピクチャの Qスケール QPic (本発明の量子化スケール）を算 出（決定)し、これを遅延回路 15および MBQ制御回路 17に出力する。
PicQ制御回路 16は、 MBR測定回路 9から入力した測定ビットレート CMBRと、 C TBR算出回路 14力 入力した目標ビットレート CTBRとを基に、 Qスケール QPicを 以下のように算出する。
具体的には、 PicQ制御回路 16は、測定ビットレート CMBRを目標ビットレート CTB Rに近づけるように、 Qスケール QPicを算出する。
[0051] 図 9は、 PicQ制御回路 16の処理を説明するためのフローチャートである。
ステップ ST31 :
PicQ制御回路 16は、 MBR測定回路 9から入力した測定ビットレート CMBRと、 C TBR算出回路 14から入力した目標ビットレート CTBRとを用いて、下記式 (8)により 、データ PRO— PARTを算出する。
式 (8)内の Kpは、応答性を調整するための係数であり、例えば、測定ビットレート C MBR、目標ビットレート CTBRおよび指標データ CPBOCなどを用いて規定される。 当該応答性を低くすることで、量子化スケールの変動を抑制することができる。
[0052] (数 8)
PRO PART=Kp * (CMBRZCTBR— 1) · '· (8) [0053] ステップ ST32 :
PicQ制御回路 16は、 MBR測定回路 9から入力した測定ビットレート CMBRと、 C TBR算出回路 14から入力した目標ビットレート CTBRとを用いて、下記式（9)により 、データ DV— PARTを算出する。
式（9)内の Kdは、応答性を良くするための係数である。
また、 nはピクチャの番号を示している。 CMBR〔n—l〕は、 CMBR〔n〕に対応する ピクチャの 1つ前のピクチャの CMBRを示している。
[0054] (数 9)
DV— PART=Kd * (CMBR〔n〕一 CMBR〔n—l〕）
…ゆ）
[0055] ステップ ST33 :
PicQ制御回路 16は、前回算出した量子化スケール QPic〔n—l〕と、ステップ ST3 1で算出したデータ PRO— PARTと、ステップ ST32で算出したデータ DV— PART とを用いて、下記式（10)により、量子化スケール QPic〔n〕を算出する。
[0056] (数 10)
QPic〔n〕 =QPic〔n— 1〕 * (1 + PRO— PART +DV— PART)
…ひ。）
[0057] 〔MBQ制御回路 17〕
MBQ制御回路 17は、 PicQ制御回路 16から入力したピクチヤの量子化スケール P icQを基に、当該ピクチャ内の各マクロブロック MBの量子化スケール MBQを算出し 、これを図 2に示す量子化回路 26および動き予測 ·補償回路 36に出力する。
[0058] 以下、図 3に示す Q算出回路 34の全体動作について説明する。
図 10は、図 3に示す Q算出回路 34の全体動作について説明するためのフローチヤ ートである。
ステップ ST41 :
図 3に示す Q算出回路 34の MBR測定回路 9が、図 4を用いて説明した手順で測定 ビットレート CMBRを算出する。
ステップ ST42 : 図 3に示す CPBOC算出回路 11、 LT調整量算出回路 12、 ST調整量算出回路 13 および CTBR算出回路 14が、図 5〜図 8を用いて説明した手順で目標ビットレート C TBRを算出する。
すなわち、図 11に示すように、図 5および図 6を用いて前述した手順で LT調整量 算出回路 12が調整量 LTAJを算出し (ST51)、図 7および図 8を用いて前述した手 順で ST調整量算出回路 13が調整量 STAJを算出し (ST52)、これを用いて CTBR 算出回路 14が目標ビットレート CTBRを算出する（ST53)。
[0059] ステップ ST43 :
Q算出回路 34の PicQ制御回路 16が、ステップ ST41で算出した測定ビットレート C MBRおよびステップ ST42で算出した目標ビットレート CTBRとを基に、図 9を用いて 説明したように、各ピクチャの量子化スケール QPicを算出し、その後、各マクロブロッ ク MBの量子化スケール MBQを算出し、これを量子化回路 26および動き予測'補償 回路 36に出力する。
[0060] 次に、図 2に示す符号化装置 2の全体動作を説明する。
入力となる画像信号は、まず、 AZD変換回路 22においてデジタル信号に変換さ れる。次に、出力となる画像圧縮情報の GOP構造に応じ、画面並べ替え回路 23に ぉ 、て画像データの並べ替えが行われる。
Q算出回路 34は、画面並べ替え回路 23からの画像データ S23と、バッファ 28から の符号ィ匕データ EDとを基に前述したように、量子化スケール MBQを算出し、これを 量子化回路 26および動き予測 ·補償回路 36に出力する。
[0061] イントラ符号ィ匕が行われる画像データに関しては、画像データ全体の画像情報が 直交変換回路 25に入力され、直交変換回路 25において離散コサイン変換やカルー ネン ·レーべ変換等の直交変換が施される。
直交変換回路 25の出力となる変換係数は、量子化回路 26において量子化処理さ れ、画像データ S25として可逆符号ィ匕回路 27に出力される。
量子化回路 26は、 Q算出回路 34から入力した量子化スケール MBQに基づいて、 量子化スケール QPを基に画像データ S25を量子化する。
可逆符号化回路 27は、画像データ S26に可変長符号化、算術符号化等の可逆符 号化を施して符号化データ EDを生成し、これをバッファ 28に出力する。 同時に、量子化回路 26からの画像データ S26は、逆量子化回路 29に入力され、さ らに逆直交変換回路 30において逆直交変換処理が施されて、復号された画像デー タとなり、その画像データがフレームメモリ 31に蓄積される。
[0062] 一方、インター符号ィ匕が行われる画像に関しては、先ず、その画像データ S23が動 き予測'補償回路 36に入力される。また、参照画像の画像データ S31がフレームメモ リ 31より読み出され、動き予測 ·補償回路 36に出力される。
そして、動き予測 ·補償回路 36において、参照画像の画像データ S31を用いて、 動きベクトル MVおよび予測画像データ S32aが生成される。
[0063] そして、演算回路 24にお!/、て、画面並べ替え回路 23からの画像データ S23と、動 き予測'補償回路 36からの予測画像データ S32aとの差分信号である画像データ S2 4が生成され、当該画像データ S24が直交変換回路 25に出力される。
そして、可逆符号ィ匕回路 27において、動きベクトル MVが可変長符号ィ匕あるいは 算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。そ の他の処理はイントラ符号ィ匕を施される画像データと同様である。
[0064] 以上説明したように、符号化装置 2では、 Q算出回路 34において、ノ ッファ 28から の符号化データ EDを基に、図 1に示す復号装置 3のバッファ CPBの蓄積量を考慮し て、量子化スケール MBQを決定する。
そのため、符号化装置 2によれば、復号装置 3のバッファ CPBのアンダーフローを 回避でき、復号部 4で復号された画像の品質を向上できる。
また、符号化装置 2では、 Q算出回路 34において、画像難易度指標生成回路 6が 生成した画像難易度指標データ DIFCTを基に量子化スケール MBQを決定する。 そのため、 Q算出回路 34は、符号ィ匕の難易度が高いフレーム (ピクチャ)の量子化 スケール MBQを小さくして、多くのビットを使用することができ、符号化データ EDの ビットレートを符号ィ匕対象の画像データ S23の符号ィ匕難易度に追従させることができ 、高品質の画像を提供できる。
[0065] また、符号ィ匕装置 2によれば、図 4を用いて説明したように、 MBR測定回路 9にお いて、複数のピクチャの平均ビット量を基に測定ビットレート CMBRを算出し、これを 基に目標ビットレート CTBRを算出する。そのため、各ピクチャのビット量の差異により 、各ピクチャの量子化スケール MBQが大幅に変動することを回避できる。
また、符号ィ匕装置 2によれば、復号部 4の処理負担の均一化できる。これにより、復 号後の画質を向上できる。
また、符号ィ匕装置 2によれば、上記式（9)に示すように、 PicQ制御回路 16がフィー ドバックにより、量子化スケール QPicを算出する。これによつても、量子化スケール Q Picの時間的な急激な変動を抑えることができる。
また、符号ィ匕装置 2によれば、上記式 (8)内の Kpを調整することにより、量子化スケ ールの急激な変動を抑制することができる。これによつても、復号部 4の処理負担の 均一化できる。これにより、復号後の画質を向上できる。
[0066] また、符号ィ匕装置 2によれば、符号ィ匕難易度検出回路 5において、シーケンス全体 について符号ィ匕難易度を検出するか、シーケンンスの一部について符号ィ匕難易度 を検出するかを切り換えることで、マルチパスおよびシングルパスの何れにも適合し た可変ビットレート制御を実現できる。
[0067] 本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上 述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネー シヨン、並びに代替を行ってもよい。
例えば、図 3に示す Q算出回路 34は、 CTBR算出回路 14において、最終目標ビッ トレート FTBRと、画像難易度指標生成回路 6からの画像難易度指標データ DIFCT とのみを基に、目標ビットレート CTBRを算出してもよい。
また、 CTBR算出回路 14は、調整量 STAJ, LTAJの何れか一方と、指標最終目標 ビットレート FTBRと、画像難易度指標データ DIFCTとを基に、目標ビットレート CTB Rを算出してもよい。
産業上の利用可能性
[0068] 本発明は、被処理データを量子化するシステムに適用できる。

Claims

請求の範囲
[1] 被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決 定するデータ処理装置であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復 号に供されるビットレートを特定する特定回路と、
前記被処理データの符号化難易度を検出する符号化難易度検出回路と、 前記特定回路が特定した前記ビットレートと、前記符号化難易度検出回路が検出 した前記符号ィヒ難易度とを基に、前記量子化スケールを制御する量子化制御回路と を有するデータ処理装置。
[2] 前記量子化制御回路は、前記符号化難易度検出回路が検出した前記符号化難易 度が高くなるに従って、前記量子化スケールを小さくするように前記量子化スケール を制御する
請求項 1に記載のデータ処理装置。
[3] 前記符号ィ匕データを基に、前記符号ィ匕データの復号側に設けられ復号に供するた めに前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標 となる指標データを生成する指標生成回路と、
前記指標生成回路が生成した前記指標データを基に、前記ビットレートの目標値を 示す目標ビットレートを算出する目標算出回路と
をさらに有し、
前記量子化制御回路は、前記特定回路によって特定される前記ビットレートが、前 記目標算出回路が算出した前記目標ビットレートに近づくように、前記量子化スケー ルを制御する
請求項 1に記載のデータ処理装置。
[4] 前記目標算出回路は、指定された最終目標ビットレートと、過去の前記符号化デー タの平均ビットレートとの差分を基に、当該差分を小さくように、前記目標ビットレート を算出する請求項 3に記載のデータ処理装置。
[5] 前記目標算出回路は、前記記憶回路がアンダーフローすることを回避するように前 記目標ビットレートを算出する 請求項 4に記載のデータ処理装置。
[6] 前記目標算出回路は、前記記憶回路がアンダーフローすることを回避するように前 記目標ビットレートを算出する
請求項 3に記載のデータ処理装置。
[7] 前記特定回路は、前記復号側において前記復号に供するために前記記憶回路か ら読み出される前記符号ィヒデータの前記ビットレートを特定する
請求項 3に記載のデータ処理装置。
[8] 前記特定回路は、過去の前記符号化データ内のピクチヤの平均ビット量と、前記ピ クチャのピクチャレートとを基に、前記符号ィ匕データのビットレートを特定する 請求項 7に記載のデータ処理装置。
[9] 前記符号ィ匕データが動画の複数のピクチャで構成される場合に、
前記量子化制御回路は、前記複数のピクチャの前記量子化スケールを制御する 請求項 1に記載のデータ処理装置。
[10] 前記量子化制御回路は、前記特定回路が特定した前記ビットレートと前記目標算 出回路が算出した前記目標ビットレートとの比と、前回決定した前記量子化スケール とを基に、新たな前記量子化スケールを決定して前記制御を行う
請求項 3に記載のデータ処理装置。
[11] 前記量子化制御回路は、前記特定回路が特定した前記ビットレートと、前記目標算 出回路が算出した前記目標ビットレートとの差分と、前回決定した前記量子化スケー ルとを基に、前記ビットレートのオーバシュートおよびアンダーシュートを抑制するよう に、新たな前記量子化スケールを決定して前記制御を行う
請求項 3に記載のデータ処理装置。
[12] 被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決 定するデータ処理方法であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復 号に供されるビットレートを特定する第 1の工程と、
前記被処理データの符号化難易度を検出する第 2の工程と、
前記第 1の工程で特定した前記ビットレートと、前記第 2の工程で検出した前記符 号化難易度とを基に、前記量子化スケールを制御する第 3の工程と
を有するデータ処理方法。
量子化スケールを算出する量子化スケール算出回路と、
前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理デ ータを量子化する量子化回路と、
前記量子化回路の量子化結果を符号化して符号化データを生成する符号化回路 と
を有し、
前記量子化スケール算出回路は、
前記符号化回路が生成した前記符号化データを基に、当該符号化データが復号 時に復号に供されるビットレートを特定する特定回路と、
前記被処理データの符号化難易度を検出する符号化難易度検出回路と、 前記特定回路が特定した前記ビットレートと、前記符号化難易度検出回路が検出 した前記符号ィヒ難易度とを基に、前記量子化スケールを制御する量子化制御回路と を有する符号化装置。
PCT/JP2005/007472 2004-04-20 2005-04-19 データ処理装置およびその方法と符号化装置 WO2005104561A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20050734425 EP1650976A1 (en) 2004-04-20 2005-04-19 Data processing device, method thereof, and encoding device
US10/561,595 US7711197B2 (en) 2004-04-20 2005-04-19 Method and apparatus for determining a quantization scale of encoded data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-123753 2004-04-20
JP2004123753A JP2005311559A (ja) 2004-04-20 2004-04-20 データ処理装置およびその方法と符号化装置

Publications (1)

Publication Number Publication Date
WO2005104561A1 true WO2005104561A1 (ja) 2005-11-03

Family

ID=35197369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/007472 WO2005104561A1 (ja) 2004-04-20 2005-04-19 データ処理装置およびその方法と符号化装置

Country Status (7)

Country Link
US (1) US7711197B2 (ja)
EP (1) EP1650976A1 (ja)
JP (1) JP2005311559A (ja)
KR (1) KR20060132761A (ja)
CN (1) CN100471272C (ja)
TW (1) TWI277890B (ja)
WO (1) WO2005104561A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101282193B1 (ko) * 2009-11-10 2013-07-04 한국전자통신연구원 칼만 필터와 ｆｉｒ 필터를 사용한 동영상 인코더에서의 비트율 제어 방법
CN103548350B (zh) * 2011-06-28 2017-03-01 日本电气株式会社 图像编码设备和图像解码设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177513A (ja) * 1993-12-20 1995-07-14 Mitsubishi Electric Corp 映像信号符号化方式
JPH1075443A (ja) * 1996-08-30 1998-03-17 Sony Corp 映像データ圧縮装置およびその方法
JPH10164588A (ja) * 1996-11-26 1998-06-19 Sony Corp 映像信号符号化方法、映像信号符号化装置及び記録媒体
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
JP2003299081A (ja) * 2002-04-05 2003-10-17 Sony Corp 符号化装置および符号化方法、プログラム、並びに記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
KR19990042668A (ko) * 1997-11-27 1999-06-15 정선종 다중 비디오 전송을 위한 비디오 부호화 장치 및 방법
JP4256574B2 (ja) * 2000-08-04 2009-04-22 富士通株式会社 画像信号符号化方法および画像信号符号化装置
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
US7373004B2 (en) * 2003-05-23 2008-05-13 Silicon Integrated Systems Corp. Apparatus for constant quality rate control in video compression and target bit allocator thereof
US7535959B2 (en) * 2003-10-16 2009-05-19 Nvidia Corporation Apparatus, system, and method for video encoder rate control
JP4407249B2 (ja) * 2003-11-18 2010-02-03 ソニー株式会社 データ処理装置およびその方法と符号化装置、その方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177513A (ja) * 1993-12-20 1995-07-14 Mitsubishi Electric Corp 映像信号符号化方式
JPH1075443A (ja) * 1996-08-30 1998-03-17 Sony Corp 映像データ圧縮装置およびその方法
JPH10164588A (ja) * 1996-11-26 1998-06-19 Sony Corp 映像信号符号化方法、映像信号符号化装置及び記録媒体
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
JP2003299081A (ja) * 2002-04-05 2003-10-17 Sony Corp 符号化装置および符号化方法、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
TW200539000A (en) 2005-12-01
US7711197B2 (en) 2010-05-04
JP2005311559A (ja) 2005-11-04
US20070122047A1 (en) 2007-05-31
TWI277890B (en) 2007-04-01
CN100471272C (zh) 2009-03-18
CN1788495A (zh) 2006-06-14
EP1650976A1 (en) 2006-04-26
KR20060132761A (ko) 2006-12-22

Similar Documents

Publication Publication Date Title
JP3871840B2 (ja) 圧縮動画像再符号化装置
KR101322498B1 (ko) 부호화 장치, 부호화 방법 및 프로그램
KR101089325B1 (ko) 디지털 화상 시퀀스를 위한 인코딩 방법, 디코딩 방법 및 인코딩 장치
US6141380A (en) Frame-level rate control for video compression
US20070025441A1 (en) Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
EP1170957A2 (en) Video encoding and decoding apparatus
KR20090108026A (ko) 비디오 코딩 표준에 대한 개선된 비디오율 제어
US8948242B2 (en) Encoding device and method and multimedia apparatus including the encoding device
JP4795223B2 (ja) 画像処理装置
CN113286145B (zh) 视频编码方法、装置和电子设备
JP4407249B2 (ja) データ処理装置およびその方法と符号化装置、その方法及びプログラム
WO2005104561A1 (ja) データ処理装置およびその方法と符号化装置
JP4427713B2 (ja) 符号化装置および符号化方法、撮像装置および画像処理方法、並びに、プログラム
US6968087B1 (en) Encoding apparatus, encoding method, and storage medium
JP3779066B2 (ja) 動画像符号化装置
JP4517963B2 (ja) 符号化装置、符号化方法、プログラムおよび記録媒体
KR100778473B1 (ko) 비트율 제어 방법
JP2005303576A (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP3617652B2 (ja) 画像符号化装置および画像符号化方法
JP4000581B2 (ja) 画像符号化装置および方法
JP3922581B2 (ja) 可変転送レート符号化方法および装置
JP4023451B2 (ja) 圧縮動画像再符号化装置及び圧縮動画像再符号化方法
JP2007135045A (ja) 圧縮符号化装置、圧縮符号化方法、および記録媒体
JP4292658B2 (ja) 画像情報変換装置及び画像情報変換方法
JPH07298257A (ja) 画像データの伝送方法及び復号化装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 1020057024317

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007122047

Country of ref document: US

Ref document number: 2005800411X

Country of ref document: CN

Ref document number: 10561595

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2005734425

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2005734425

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 1020057024317

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10561595

Country of ref document: US