WO2011024222A1 - 画像を符号化する装置、方法およびプログラム - Google Patents

画像を符号化する装置、方法およびプログラム Download PDF

Info

Publication number
WO2011024222A1
WO2011024222A1 PCT/JP2009/004151 JP2009004151W WO2011024222A1 WO 2011024222 A1 WO2011024222 A1 WO 2011024222A1 JP 2009004151 W JP2009004151 W JP 2009004151W WO 2011024222 A1 WO2011024222 A1 WO 2011024222A1
Authority
WO
WIPO (PCT)
Prior art keywords
quantization
quantization parameter
parameter
image
bit rate
Prior art date
Application number
PCT/JP2009/004151
Other languages
English (en)
French (fr)
Inventor
松村淳
古藤晋一郎
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/004151 priority Critical patent/WO2011024222A1/ja
Publication of WO2011024222A1 publication Critical patent/WO2011024222A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers

Definitions

  • the present invention relates to an apparatus, a method, and a program for encoding an image.
  • the present invention has been made in view of the above problems, and it is possible to calculate an appropriate quantization matrix value based on bit rate control and adaptive quantization information.
  • the present invention provides an image encoding apparatus that quantizes an image with a quantization width determined according to a quantization parameter and a quantization matrix, and divides the image into a plurality of blocks, and A quantization rate in the image is set based on the quantization parameter set for each block.
  • the prediction unit for predicting and the upper limit value of the variation range of the quantization parameter exceeds the first reference
  • the quantization matrix is adjusted to be a small value
  • the lower limit value is lower than the second reference
  • the quantization is performed.
  • the matrix is adjusted so as to have a large value
  • the encoding parameter is adjusted according to the first adjustment unit for obtaining the quantization matrix and the adjustment amount of the quantization matrix.
  • an appropriate quantization matrix value can be calculated based on bit rate control and adaptive quantization information.
  • the input image to be encoded may be a moving image or a still image. If the input image is a still image, the image encoding method is JPEG, JPEG2000, H.264, or the like. Any method of H.264 intra may be used. If the input image is a moving image having a plurality of frames, any method may be used as the image encoding method as long as a quantization matrix (or one having a function equivalent thereto) can be used. For example, MPEG-2, MPEG-4, H.264. H.264, VC-1. In each of the following embodiments, the input image is a moving image. An example using H.264 will be described. H. In H.264, the function is the same although it is called a scaling list instead of a quantization matrix. Each embodiment will be described as a quantization matrix.
  • FIG. 1 is a diagram illustrating an image encoding device 103 according to the present embodiment.
  • an encoding unit (not shown) encodes the input image 101 and outputs encoded data 102.
  • the image encoding device 103 includes a prediction unit 104 that predicts a variation range of a quantization parameter, a quantization matrix adjustment unit 105 that sets a quantization matrix, an encoding parameter adjustment unit 106 that adjusts an encoding parameter, A bit rate control unit 107 that performs control to reach the target bit rate, a quantization parameter adjustment unit 108 that adjusts a quantization parameter in units of macroblocks in order to improve subjective image quality, and a code that encodes an input image
  • the conversion unit 110 is provided.
  • the prediction unit 104 includes information on the input image 101 (for example, difficulty in encoding based on the luminance dispersion in the screen and the difference between the screens) and information on the bit rate control unit 107 (for example, the target bit rate).
  • the fluctuation range of the quantization parameter is predicted based on the current bit rate).
  • the quantization parameter is a parameter indicating the quantization width. For example, in MPEG-2, the quantization width and the quantization parameter are in a proportional relationship. H. In H.264 / AVC, the logarithm of the quantization width and the quantization parameter are in a proportional relationship.
  • the quantization matrix adjustment unit 105 calculates each coefficient of the quantization matrix based on the predicted quantization parameter fluctuation range and information of the bit rate control unit 107.
  • the quantization matrix indicates a matrix-like expression for dividing the DCT coefficient after the discrete cosine transform. Each coefficient of the quantization matrix can take an individual value for each DCT coefficient.
  • the encoding parameter adjustment unit 106 calculates an encoding parameter value corresponding to the adjustment amount of the quantization matrix.
  • the encoding parameter indicates the deblocking filter strength, the adjustment parameter ( ⁇ ) of macroblock encoding mode determination, and the like. As a result of adjusting the quantization matrix, it is preferable to reduce the strength of the filter when the quantization parameter increases, and to increase the strength of the filter when the quantization parameter decreases.
  • the bit rate control unit 107 calculates the quantization parameter based on the adjustment amount of the quantization matrix and then performs control so that the bit rate satisfies a certain condition.
  • the quantization parameter adjustment unit 108 analyzes a local feature of the input image 101 and changes the quantization parameter calculated by the bit rate control unit 107 in units of macroblocks.
  • the amount of change in the quantization parameter is referred to as adaptive quantization intensity.
  • the encoding unit 110 encodes the input image 101 and outputs encoded data 102. Next, the operation of the image coding apparatus according to this embodiment will be described.
  • FIG. 2 is a flowchart showing the operation of the image encoding device 103.
  • the bit rate control unit 107 calculates the initial value of the quantization parameter used for encoding the input image 101, the feedback intensity of the intra-screen bit rate control (hereinafter referred to as reaction parameter), and the target code amount (step 201). ). The calculated value is sent to the prediction unit 104.
  • TM5 MPEG-2 TEST MODEL 5
  • the quantization parameter QP and the reaction parameter r are calculated by the following equations. If the value of the reaction parameter is too large, the value of the virtual buffer becomes large, the response speed with respect to the change in the complexity of the image becomes slow, and the difference between the target code amount and the generated code amount is likely to open. On the other hand, if it is too small, the response speed to the change in the complexity of the image becomes faster, but the fluctuation of the quantization parameter between the macroblocks becomes severe, and the image quality tends to be uneven.
  • QP is a quantization parameter
  • d is a virtual buffer for controlling the bit rate
  • the subscript indicates the j-th macroblock.
  • B j represents the amount of code generated up to the j-th macroblock
  • T represents the target code amount
  • MB_cnt represents the number of macroblocks in the screen.
  • QP 0 to be applied to the first image of the input image 101 may be set to a predetermined value determined empirically.
  • T can be obtained according to TM5, any method may be used for calculating T. It may be simply calculated from bit_rate / picture_rate.
  • the prediction unit 104 predicts the variation range of the quantization parameter in the screen based on QP 0 , r, T calculated by the bit rate control unit 107 and the adaptive quantization intensity set by the quantization parameter adjustment unit 108. (Step 202).
  • the screen may be the entire image to be encoded or a plurality of blocks in the input image 101.
  • the quantization parameter fluctuation range prediction unit 104 predicts that there is ⁇ % deviation in code amount as a fluctuation threshold for bit rate control. The fluctuation range of the quantization parameter predicted to fluctuate within the screen is calculated using the following equation.
  • ⁇ > 10 is preferable because it depends on the characteristics of each scene. Even if the information calculated by the bit rate control unit 107 does not include the reaction parameter and the target code amount, for example, QP_range may be fixedly calculated by the following equation.
  • QP_range max_QP ⁇ ( ⁇ / 100)
  • max_QP is an upper limit quantization parameter in the standard
  • ⁇ is a parameter for adjusting the fluctuation amount.
  • ⁇ 10 may be set.
  • There are various quantization methods used in the quantization parameter adjustment unit 108 but in this embodiment, a case where TM5 STEP3 is used will be described.
  • the adaptive quantization strength in TM5 STEP3 is calculated by the following equation.
  • act j is the activity (dispersion) of the j-th macroblock
  • ave_act is the average value of the act in the screen.
  • the variation range of N_act is between 0.5 and 2.0
  • the quantization parameter is changed according to the following equation.
  • QP QP ⁇ N_act j
  • the final fluctuation range of the quantization parameter is calculated by the following equation.
  • QP_upper (QP + QP_range) ⁇ 2.0
  • QP_lower (QP ⁇ QP_range) ⁇ 0.5
  • the quantization parameter adjustment unit 108 may not be STEP3 of TM5.
  • the quantization parameter adjustment unit 108 there is a quantization method in which a specific color (skin color or the like) is detected in units of macroblocks to reduce the quantization parameter.
  • a value (max_QP_offset) for reducing the quantization parameter to the maximum in units of macroblocks is known.
  • the fluctuation range of the quantization parameter is calculated by the following equation.
  • QP_upper (QP + QP_range)
  • QP_lower (QP ⁇ QP_range) ⁇ max_QP_offset
  • the variation range of the quantization parameter is calculated based on the bit rate control information, and is calculated using the following equation.
  • the quantization matrix adjustment unit 105 determines whether or not to change the quantization matrix in the lower process.
  • the threshold A is set to a value equal to or smaller than the upper limit value in the quantization parameter standard.
  • the threshold value A may be an upper limit value in the quantization parameter standard.
  • step 203 When QP_upper is larger than 51 (step 203, Yes), the process proceeds to the step of adjusting the quantization matrix (step 205), and when it is 51 or less (step 203, No), the determination of the variation lower limit value of the quantization parameter is made. The process proceeds to processing (step 204).
  • Step 204 it is determined whether or not the variation lower limit value of the quantization parameter is smaller than the threshold value B.
  • the threshold value B is a value equal to or greater than the lower limit value in the quantization parameter standard.
  • step 204 When QP_lower is smaller than 0 (step 204, Yes), the process proceeds to quantization matrix adjustment processing (step 206). When QP_lower is 0 or more (step 204, No), the input image 101 is encoded (step 208). Transition.
  • step 205 the quantization matrix is adjusted according to the magnitude of the variation upper limit value of the quantization parameter exceeding the threshold A.
  • the adjustment amount of the quantization matrix is determined using the following equation.
  • matrix_scale is an adjustment amount to be multiplied by each element of the quantization matrix
  • FIG. 5 is a diagram for explaining the quantization parameter.
  • FIG. 5A shows an example in which the quantization matrix is 16 flat
  • FIG. 5B shows an example in which the quantization matrix is 32 flat.
  • FIG. 6 is a diagram illustrating the range of the quantization width due to the difference in the quantization matrix.
  • FIG. 6 shows before and after adjusting the quantization matrix.
  • the adjustment range of the quantization width can be expanded by adjusting the quantization matrix.
  • encoding may be performed without using a quantization matrix, but all elements of the quantization matrix at this time are equivalent to 16.
  • all elements are adjusted for 16 quantization matrices.
  • a quantization matrix is set in accordance with the magnitude of the variation lower limit value of the quantization parameter that is below the threshold value B. Similar to the control at the upper limit of variation in (step 205), H. In accordance with the H.264 quantization characteristics, the quantization matrix adjustment amount is determined using the following equation.
  • matrix_scale 1/2.
  • the quantization matrix is adjusted based on the calculated matrix_scale.
  • the encoding parameter adjustment unit 106 adjusts the encoding parameter based on the adjustment amount, and the bit rate control unit 107 adjusts the quantization parameter (step 207).
  • the matrix_scale is 2, that is, when the adjustment equivalent to an increase of 6 in the quantization parameter is performed
  • the bit rate control unit 107 decrements the quantization parameter by -6.
  • the matrix_scale is 1 ⁇ 2, that is, when the adjustment equivalent to 6 reduction is performed on the quantization parameter, the bit rate control unit 107 increases the quantization parameter to +6.
  • the bit rate control unit 107 performs processing based on TM5, it is possible to adjust d0 first based on Expression (1) without adjusting the quantization parameter of each macroblock each time. Equivalent processing can be performed in all macroblocks.
  • the encoding parameter adjustment unit 106 sets slice_alpha_c0_offset_div2 and slice_beta_offset_div2 which are one of the encoding parameters to -6. That is, the deblocking filter strength before the quantization parameter is increased by 12 is adjusted.
  • the matrix_scale is 1 ⁇ 4, that is, when the adjustment equivalent to a decrease of 12 in the quantization parameter is performed, the values of slice_alpha_c0_offset_div2 and slice_beta_offset_div2 are increased by 6. That is, the deblocking filter strength before the quantization parameter is decreased by 12 is adjusted.
  • the encoding parameter needs to be changed depending on the size of the quantization parameter.
  • the encoding parameter adjustment unit 106 performs adjustment, the encoding mode determination for each macroblock in the image encoding apparatus 103 may be performed based on the quantization parameter.
  • the cost function for determining the coding mode can be calculated by the following equation.
  • the encoding unit 110 performs encoding using the default quantization matrix, encoding parameters, and quantization parameters when there is no adjustment, and when adjustment is performed, the input image is adjusted using the parameters adjusted at each processing step.
  • the encoding process 101 is performed (step 208).
  • the encoding unit 110 repeats the above processing steps until the end of the input image 101 comes (step 209).
  • the end of the processing step may be any. For example, it may be the end of a sequence or the end of a frame. According to the image encoding device of the present embodiment, even when the set quantization parameter exceeds the limit range in the standard, the quantization matrix is adjusted to perform appropriate quantization. Is possible.
  • the input image 101 is processed at any time. That is, the processing is repeated until the end of the sequence of the input image 101 comes in (Step 209).
  • the present embodiment is different in that the amount of code required to encode the quantization matrix is reduced by pre-reading a plurality of frames of the input image 101 and calculating necessary information in advance. Therefore, there is no processing step for determining the end of the input image 101.
  • FIG. 3 is a diagram illustrating an operation of the image encoding device 103 according to the present embodiment.
  • the bit rate control unit 107 performs image analysis of the input image 101 (step 301).
  • image analysis methods There are various image analysis methods.
  • an example using an analysis method (so-called two-pass bit rate control) by provisional encoding will be described.
  • This is a method of temporarily encoding the input image 101 with a specific quantization parameter and modeling the relationship between the quantization parameter and the generated code amount from the generated code amount.
  • the target code amount and the initial value of the quantization parameter of each image of the input image 101 are calculated (step 302).
  • the reaction parameter, the target code amount, and the quantization parameter may be calculated by the same method as in the first embodiment.
  • the prediction unit 104 predicts the variation range of the quantization parameter in the screen (step 303).
  • the method for predicting the quantization parameter fluctuation range is the same as that of the first embodiment for each screen, except that the fluctuation upper limit value and the fluctuation lower limit value calculated in this embodiment are values for the sequence of the input image 101. .
  • step 304 and step 305 The point (step 304 and step 305) that the processing is switched depending on the threshold value of the variation upper limit value and the variation lower limit value is the same as in the first embodiment.
  • step 304 When viewed in the sequence of the input image 101, (step 304) is YES in a certain frame, and (step 305) is YES in a certain frame.
  • the processing of (step 304) has priority.
  • Step 305) is not performed.
  • the quantization parameter is large, the degree of influence becomes large, for example, the target code amount may not be reached unless it is corrected.
  • the quantization parameter is small, particularly when the lower limit value in the standard is reached, it is expected that sufficient image quality is obtained, so the influence is small.
  • the threshold value B of the variation lower limit value is set to 0, which is the lower limit value in the standard.
  • the quantization parameter variation upper limit value does not exceed the standard upper limit value in the quantization matrix adjustment (step 307) and the quantization parameter adjustment (step 308). It is.
  • Quantization matrix adjustment section 105 adjusts the quantization matrix based on threshold processing for the upper limit value and the lower limit value (steps 306 and 307).
  • the encoding parameter adjustment unit 106 adjusts the encoding parameter of the sequence of the input image 101 (step 308).
  • the encoding unit 110 encodes the input image 101 according to the encoding parameter adjusted by the batch processing (step 309). At this time, since information such as a quantization matrix is encoded at a time, the amount of codes can be reduced.
  • FIG. 7 is a diagram illustrating a data structure of the encoded data 102 encoded by the image encoding device according to the present embodiment. It can be seen that since the information such as the quantization matrix is encoded at a time, the amount of codes can be reduced.
  • the sequence of the input image 101 has been described as being collectively processed.
  • this processing unit may be processed in units of a predetermined number of frames or scene changes, for example (one frame unit is the first unit). Equivalent to the embodiment).
  • the fluctuation of the quantization parameter is considered to be relatively stable. Therefore, it is considered that (Step 304) and (Step 305) are not satisfied at the same time, and appropriate processing can be performed in each scene. is expected.
  • the image coding apparatus 103 according to the present embodiment is different from the first embodiment in the quantization parameter adjustment method.
  • the quantization parameter calculated by the bit rate control unit 107 is corrected according to the adjustment amount of the quantization matrix in the same manner as in the first embodiment, and then the quantization parameter is further largely adjusted.
  • FIG. 4 is a diagram illustrating an operation of the image encoding device 103 according to the present embodiment.
  • the encoding unit 110 encodes the input image 101 with the image encoding device 103 (step 401).
  • the encoding unit 110 compares the target code amount calculated by the bit rate control unit 107 with the generated code amount (step 402). If the difference between the target code amount and the generated code amount is equal to or smaller than the predetermined code amount, the encoding process in FIG. 4 is terminated. If the code amount difference is larger than the predetermined code amount, the coding is performed again because the bit rate control accuracy is poor.
  • the code amount of the difference may be simply ⁇ ( ⁇ 100)% of the target code amount. For example, a minimum occupation amount of CPB in H.264 may be set and a value exceeding the minimum occupation amount may be set.
  • Quantization parameters, feedback strength, and target code amount for re-encoding are calculated again by the bit rate control unit 107 (step 403).
  • the recalculation of the target code amount may be calculated by the following equation, or simply ⁇ ( ⁇ 100)% of the immediately preceding target code amount.
  • the feedback intensity may not be changed, or may be weaker than the previous intensity.
  • the quantization parameter is calculated based on TM5
  • the quantization parameter is calculated from information obtained by provisional encoding of the first pass. Then, since there is a result of actual encoding, the quantization parameter is calculated based on this value. Specifically, the average value of the quantization parameter used for the encoded image is calculated.
  • the prediction unit 104 predicts the fluctuation range of the quantization parameter in the screen (step 404).
  • the method for predicting the quantization parameter fluctuation range is the same as in the first embodiment, but in this embodiment, the fluctuation upper limit value may be calculated.
  • the threshold value A is the upper limit value in the standard, but in the present embodiment, it is preferable to set the threshold value to a value smaller than the upper limit value.
  • the fluctuation range is predicted from the average value of the quantization parameter used for the already encoded image, it is already known that the predetermined code amount condition is not satisfied. It is necessary to increase the quantization parameter and start again.
  • the coding parameter adjustment unit 106 adjusts the deblock filter strength and the cost function of the coding mode as in the first embodiment (step 407).
  • the adjustment method of the quantization parameter is different from that of the first embodiment.
  • the quantization parameter calculated by the bit rate control unit 107 in (Step 401) is corrected according to the adjustment amount of the quantization matrix in the same manner as in the first embodiment, and then further quantized. Adjust the parameter greatly. It becomes easy to reach the target code amount by largely adjusting the value of the quantization parameter.
  • the quantization parameter calculated initially in (Step 401) is compared with the average value of the quantization parameter obtained as a result of encoding.
  • Step 401 After adjusting the encoding parameters, the process returns to (Step 401) and the input image 101 is encoded again.
  • this processing unit is processed in units of a predetermined number of frames or scene changes, for example, the entire input image. Also good. By performing the processing in a unit of processing such as each scene or the entire input, the amount of information for encoding the quantization matrix can be reduced as in the second embodiment, so that the encoding efficiency is improved.
  • the image encoding device of each of the above embodiments can be realized by using, for example, a general-purpose computer device as basic hardware.
  • the program to be executed has a module configuration including each function described above.
  • the program is an installable or executable file that is recorded on a computer-readable recording medium such as a CD-ROM, CD-R, DVD, etc. Also good.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　ビットレート制御情報と適応量子化情報とに基づいて適切な量子化マトリクスを設定する。ビットレート制御から与えられる量子化パラメータと、ビットレート制御によって画面内で変動する量子化パラメータの範囲と、適応量子化によって画面内で変動する量子化パラメータの範囲から量子化マトリクスの値を算出する。

Description

画像を符号化する装置、方法およびプログラム
　本発明は、画像を符号化する装置、方法およびプログラムに関する。
　画像符号化技術（例えば、Ｈ．２６４など）において、ビットレートを制御する様々な手法が提案されている。目標とするビットレートとなるように、量子化パラメータと量子化マトリクスの値を変更して、直交変換係数の符号量を調整する方法が一般的である。入力画像の符号化難易度が閾値よりも高い場合には、量子化を粗くする量子化マトリクスを用い、それ以外の場合には量子化を細かくする量子化マトリクスを用いる方法が提案されている（例えば特許文献１）。しかしながら、実際に発生する符号量と符号化難易度との関係は一意に導きだされるものではない。そのため、単純な符号化難易度による閾値処理では量子化マトリクスを適切に設定できない。
特開２００４－７２１４３号公報
　本発明は、上記課題に鑑みてなされたものであり、ビットレート制御や適応量子化の情報に基づいて、適切な量子化マトリクスの値を算出することが可能となる。
　上記目的を達成するために本発明は、量子化パラメータと量子化マトリクスに従って決定される量子化幅で画像を量子化する画像符号化装置において、前記画像を複数のブロックに分割し、前記ブロック毎の量子化パラメータを設定し、目標符号量となるように制御するビットレート制御部と、前記ブロック毎に設定された前記量子化パラメータに基づいて、前記画像内での量子化パラメータの変動範囲を予測する予測部と、前記量子化パラメータの変動範囲の上限値が第１の基準を上回る場合、量子化マトリクスが小さな値となるよう調整し、下限値が第２の基準を下回る場合、量子化マトリクスが大な値となるよう調整し、量子化マトリクスを求める第１調整部と、前記量子化マトリクスの調整量に従って、符号化パラメータを調整する第２調整部と、を備えることを特徴とする画像符号化装置を提供する。
　本発明によれば、ビットレート制御や適応量子化の情報に基づいて、適切な量子化マトリクスの値を算出することが可能となる。
第１の実施形態の画像符号化装置を示す図。 第１の実施形態の画像符号化装置の動作を示す図。 第２の実施形態の画像符号化装置の動作を示す図。 第３の実施形態の画像符号化装置の動作を示す図。 量子化パラメータを説明する図。量子化マトリクスが、（Ａ）16フラットの場合（Ｂ）32フラットの場合を示す図。 量子化マトリクスの違いによる量子化幅の変動範囲を説明する図。 量子化マトリクスの符号化方法の変更例を説明する図。
　以下、本発明の実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
　符号化対象の入力画像は動画像でも静止画像でも良い。入力画像が静止画像であれば、画像符号化方法は、ＪＰＥＧ、ＪＰＥＧ２０００、Ｈ．２６４イントラいずれの手法を用いても良い。入力画像が複数のフレームを有する動画像であれば、画像符号化方法は、量子化マトリクス（あるいはそれに準ずる機能を持つもの）を使用可能であればいずれの手法を用いても良い。例えば、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＶＣ－１であってよい。以下の各実施形態では、入力画像が動画像であり、Ｈ．２６４を用いたものについて例示する。Ｈ．２６４では量子化マトリクスとは呼ばずにスケーリングリストと呼ばれるが、機能は同等である。各実施形態においては量子化マトリクスと記載して説明する。
　（第１の実施形態）　
　図１は、本実施形態の画像符号化装置１０３を示す図である。画像符号化装置１０３は、入力画像１０１を図示しない符号化部が符号化処理を行い、符号化データ１０２を出力する。　
　画像符号化装置１０３は、量子化パラメータの変動範囲を予測する予測部１０４と、量子化マトリクスを設定するする量子化マトリクス調整部１０５と、符号化パラメータを調整する符号化パラメータ調整部１０６と、目標ビットレートに到達するように制御を行うビットレート制御部１０７と、主観画質を向上させるためにマクロブロック単位で量子化パラメータを調整する量子化パラメータ調整部１０８と、入力画像を符号化する符号化部１１０を備える。　
予測部１０４は、入力画像１０１の情報（例えば、画面内の輝度分散の大きさや画面間の差分の大きさに基づく符号化の難しさ）とビットレート制御部１０７の情報（例えば、目標ビットレートに対する現在のビットレートとのずれの大きさ）に基づいて量子化パラメータの変動範囲を予測する。　
　量子化パラメータとは、量子化幅を示すパラメータである。例えば、ＭＰＥＧ－２では量子化幅と量子化パラメータは比例関係にある。また、Ｈ．２６４／ＡVCでは量子化幅の対数と量子化パラメータとが比例関係にある。
　量子化マトリクス調整部１０５は、予測された量子化パラメータ変動範囲とビットレート制御部１０７の情報に基づいて量子化マトリクスの各係数を算出する。量子化マトリクスとは、離散コサイン変換後のDCT係数を除算する係数を、マトリクス状に表現したものを示す。量子化マトリクスの各係数は、各々のDCT係数に対し個別の値をとることができる。
　符号化パラメータ調整部１０６は、量子化マトリクスの調整量に応じた符号化パラメータの値を算出する。符号化パラメータとは、デブロックフィルタの強度やマクロブロックの符号化モード判定の調整パラメータ（λ）などを示す。量子化マトリクスが調整された結果、量子化パラメータが大きくなった場合にはフィルタの強度を弱くし、量子化パラメータが小さくなった場合には、フィルタの強度を強くするのが好ましい。
　ビットレート制御部１０７は、量子化マトリクスの調整量に基づいて量子化パラメータの算出を行ってから、ビットレートが一定の条件を満たすように制御を行う。　
　量子化パラメータ調整部１０８は、入力画像１０１の局所的な特徴を解析して、ビットレート制御部１０７で算出された量子化パラメータをマクロブロック単位で変化させる。以下、量子化パラメータの変化量を適応量子化強度と記載する。　
　符号化部１１０は、入力画像１０１を符号化し、符号化データ１０２を出力する。　
　次に、本実施形態の画像符号化装置の動作を説明する。　
　図２は、画像符号化装置１０３の動作を示すフローチャートである。　
　ビットレート制御部１０７が、入力画像１０１の符号化に用いる量子化パラメータの初期値と、画面内ビットレート制御のフィードバック強度（以下、リアクションパラメータと記載）と、目標符号量を算出する（ステップ２０１）。算出された値は予測部１０４に送られる。
　量子化パラメータとリアクションパラメータの算出方法は様々ある。本実施形態では、ＭＰＥＧ－２　ＴＥＳＴ　ＭＯＤＥＬ　５（以下、ＴＭ５と略す）を用いる例について述べる。ＴＭ５を用いた場合、量子化パラメータＱＰおよびリアクションパラメータｒは以下の式で算出される。リアクションパラメータの値が大き過ぎると仮想バッファの値が大きくなり、画像の複雑度の変化に対する対応速度が遅くなり目標符号量と発生符号量の差が開きやすくなる。また、小さ過ぎると画像の複雑度の変化に対する対応速度は早くなるが、マクロブロック間で量子化パラメータの変動が激しくなり、画質が不均一になりやすい。
Figure JPOXMLDOC01-appb-M000001
ＱＰは量子化パラメータ、ｄはビットレートの制御用の仮想バッファであり、添え字はｊ番目のマクロブロックを示す。Ｂｊはｊ番目のマクロブロックまでに発生した符号量、Ｔは目標符号量、ＭＢ＿ｃｎｔは画面内のマクロブロック数を示す。ｂｉｔ＿ｒａｔｅはユーザーが設定する目標ビットレート、ｐｉｃｔｕｒｅ＿ｒａｔｅから算出される。ｊ＝ＭＢ＿ｃｎｔになると、ｄ０の値がｄｊでアップデートされる。
　量子化パラメータの初期値ＱＰ０はｊ＝０とした以下の式で算出される。　
Figure JPOXMLDOC01-appb-M000002
入力画像１０１の最初の画像に対して適用するＱＰ０は、経験的に定めた所定の値を設定すればよい。　
　なお、Ｔに関してはＴＭ５に従えば求められるが、Ｔの算出方法はいずれの方法であっても構わない。単純にｂｉｔ＿ｒａｔｅ／ｐｉｃｔｕｒｅ＿ｒａｔｅから算出したものとしても構わない。
　予測部１０４は、ビットレート制御部１０７が算出したＱＰ０、ｒ、Ｔと、量子化パラメータ調整部１０８から設定される適応量子化強度に基づいて、画面内の量子化パラメータの変動範囲を予測する（ステップ２０２）。画面とは、符号化対象の画像全体でもいいし、入力画像１０１内の複数のブロックでも構わない。
　まず、ビットレート制御の情報に基づいて量子化パラメータの変動範囲を予測する。ＴＭ５で算出されているリアクションパラメータと目標符号量に基づいてマクロブロック毎の量子化パラメータの変動がどの程度変動するかを予測できる。例えば、Ｔ＝ｒであれば、マクロブロックに割り当てられた符号量（Ｔ／ＭＢ＿ｃｎｔ）と符号化した際に発生した符号量の差が目標符号量になると量子化パラメータが５１上昇することがわかる。一方で、Ｔ＝１０×ｒであれば、符号量の差が目標符号量の１０分の１で量子化パラメータが５１上昇する。そのため、Ｔ＝ｒに比べて１０倍量子化パラメータが変動しやすいことがわかる。量子化パラメータの変動範囲予測部１０４は、ビットレート制御の変動閾値として符号量のずれがα％あると予測する。以下の式で、画面内で変動すると予測される量子化パラメータの変動範囲を算出する。
Figure JPOXMLDOC01-appb-M000003
　αの値はビットレート制御の性能に依存する。例えば、２パスビットレート制御を用いた場合は、１パス目の解析結果から精度の高い符号量割り当ておよび量子化パラメータの初期値の設定が可能である。そのため、α＝１０程度で十分な性能が得られる。
　一方、１パスビットレート制御であれば、シーン毎の特性に依存するため、α＞１０とするのが好ましい。なお、ビットレート制御部１０７で算出される情報がリアクションパラメータおよび目標符号量がなかったとしても、例えば、ＱＰ＿ｒａｎｇｅを固定的に以下の式で算出してもよい。　
　　　 ＱＰ＿ｒａｎｇｅ＝ｍａｘ＿ＱＰ×（β／１００）　
ｍａｘ＿ＱＰは規格上での上限量子化パラメータで、βは変動量を調整するパラメータである。１パスビットレート制御の場合には画像の解析を行っていないため、βは固定の値あるいは経験的な値に設定される。例えば、β＝１０と設定すればよい。量子化パラメータ調整部１０８で用いられる量子化の手法は様々あるが、本実施形態ではＴＭ５　ＳＴＥＰ３を用いた場合を説明する。ＴＭ５　ＳＴＥＰ３における適応量子化強度は以下の式で算出される。
Figure JPOXMLDOC01-appb-M000004
ａｃｔｊはｊ番目のマクロブロックのアクティビティ（分散）で、ａｖｅ＿ａｃｔは画面内のａｃｔの平均値である。式からわかるようにＮ＿ａｃｔの変動範囲は０．５～２．０の間であり、量子化パラメータは以下の式に従って変化される。　
　ＱＰ＝ＱＰ×Ｎ＿ａｃｔｊ　
　以上の結果から最終的な量子化パラメータの変動範囲は以下の式より算出される。　
　ＱＰ_ｕｐｐｅｒ＝（ＱＰ＋ＱＰ_ｒａｎｇｅ）×２．０　
　ＱＰ_ｌｏｗｅｒ＝（ＱＰ－ＱＰ_ｒａｎｇｅ）×０．５
　なお、量子化パラメータ調整部１０８がＴＭ５のＳＴＥＰ３でなくても構わない。例えば、特定色（肌色など）をマクロブロック単位で検出して量子化パラメータを小さくする量子化方法がある。その場合、マクロブロック単位で最大に量子化パラメータを小さくする値（ｍａｘ＿ＱＰ＿ｏｆｆｓｅｔ）がわかれば適用可能である。その場合は、以下の式により量子化パラメータの変動範囲が算出される。　
　ＱＰ_ｕｐｐｅｒ＝（ＱＰ＋ＱＰ_ｒａｎｇｅ）　
　ＱＰ_ｌｏｗｅｒ＝（ＱＰ－ＱＰ_ｒａｎｇｅ）－ｍａｘ_ＱＰ_ｏｆｆｓｅｔ
　また、本実施形態では量子化パラメータ調整部１０８が存在する場合について述べたが、量子化パラメータ調整部１０８を備えていない符号化装置においても適用可能である。その場合、量子化パラメータの変動範囲がビットレート制御の情報によって算出され、以下の式で算出される。
　ＱＰ_ｕｐｐｅｒ＝ＱＰ＋ＱＰ_ｒａｎｇｅ　
　ＱＰ_ｌｏｗｅｒ＝ＱＰ－ＱＰ_ｒａｎｇｅ　
　算出された量子化パラメータの変動範囲の上限および下限に基づいて、量子化マトリクス調整部１０５は、量子化マトリクスを変更するか否かが、下段の処理で決定される。
　量子化パラメータの変動上限値が閾値Ａよりも大きいか否か判定する（ステップ２０３）。ここで、閾値Ａは量子化パラメータの規格上での上限値以下の値とする。閾値Ａは量子化パラメータの規格上での上限値でも良いが、前述のように量子化パラメータの変動範囲はビットレート制御情報と適応量子化強度から予測される値であるため、多少の余裕を持って設定することも可能である。本実施形態では、リアクションパラメータや目標符号量といった情報が得られているため、高精度に量子化パラメータの変動上限値が予測できているため、Ａ＝５１とする。
　ＱＰ＿ｕｐｐｅｒが５１よりも大きい場合（ステップ２０３，Ｙｅｓ）、量子化マトリクスの調整を行うステップ（ステップ２０５）に移行し、５１以下の場合（ステップ２０３，Ｎｏ）、量子化パラメータの変動下限値の判定を行う処理（ステップ２０４）に移行する。
　（ステップ２０４）では、量子化パラメータの変動下限値が閾値Ｂよりも小さいか否か判定する。ここで、閾値Ｂは量子化パラメータの規格上での下限値以上の値とする。閾値Ｂは上限値の場合と同様に、規格上での量子化パラメータの下限値でも良いが、多少の余裕を持って設定することも可能である。本実施形態では、Ｂ＝０とする。
　ＱＰ＿ｌｏｗｅｒが０より小さい場合（ステップ２０４，Ｙｅｓ）、量子化マトリクスの調整処理（ステップ２０６）に移行し、０以上の場合（ステップ２０４，Ｎｏ）、入力画像１０１の符号化処理（ステップ２０８）に移行する。
　（ステップ２０５）では、閾値Ａを超えた量子化パラメータの変動上限値の大きさに応じて量子化マトリクスの調整を行う。Ｈ．２６４では、量子化パラメータの大きさが６増えることと、量子化マトリクスの値が２倍になることが等価であるため、以下の式を用いて量子化マトリクスの調整量を決定する。
Figure JPOXMLDOC01-appb-M000005
ｍａｔｒｉｘ＿ｓｃａｌｅが量子化マトリクスの各要素に乗ぜられる調整量で、ｃｅｉｌは切り上げ演算を行う関数である。例えば、ＱＰ＿ｕｐｐｅｒ＝５２～５７であれば、ｍａｔｒｉｘ＿ｓｃａｌｅ＝２となる。算出されたｍａｔｒｉｘ＿ｓｃａｌｅに基づいて、量子化マトリクスが設定される。
　図５は、量子化パラメータを説明する図である。図５（Ａ）は量子化マトリクスが16フラットの場合を、図５（Ｂ）は、量子化マトリクスが32フラットの場合の例を示す。　
　図６は、量子化マトリクスの違いによる量子化幅の範囲を示す図である。図６には、量子化マトリクスを調整した前後を示している。量子化マトリクスの調整によって、量子化幅の設定範囲を拡張することが可能となる。
　なお、Ｈ．２６４では量子化マトリクスを使用しないで符号化する場合もあるが、この際の量子化マトリクスの全要素は１６と等価である。もともと量子化マトリクスを使用しないで符号化する予定のものに対して、量子化マトリクスを調整する場合は、全要素が１６の量子化マトリクスに対して調整するものとする。
　（ステップ２０６）では、閾値Ｂを下回った量子化パラメータの変動下限値の大きさに応じた量子化マトリクスの設定を行う。（ステップ２０５）での変動上限値における制御と同様にＨ．２６４の量子化の特性に従って、以下の式を用いて量子化マトリクスの調整量を決定する。
Figure JPOXMLDOC01-appb-M000006
例えば、ＱＰ＿ｌｏｗｅｒ＝－６～－１であれば、ｍａｔｒｉｘ＿ｓｃａｌｅ＝１／２となる。算出されたｍａｔｒｉｘ＿ｓｃａｌｅに基づいて、量子化マトリクスが調整される。
　量子化マトリクスが調整された場合、その調整量に基づいて符号化パラメータ調整部１０６で符号化パラメータの調整を、ビットレート制御部１０７で量子化パラメータの調整を行う（ステップ２０７）。　
　例えば、ｍａｔｒｉｘ＿ｓｃａｌｅが２、すなわち量子化パラメータで６増加と等価な調整が行われている場合、ビットレート制御部１０７では量子化パラメータを－６する。ｍａｔｒｉｘ＿ｓｃａｌｅが１／２、すなわち量子化パラメータで６減少と等価な調整が行われている場合、ビットレート制御部１０７では量子化パラメータを＋６する。例えば、ビットレート制御部１０７はＴＭ５に基づいて処理しているため、各マクロブロックの量子化パラメータをその都度調整しなくとも、式（１）に基づいてｄ０を最初に調整することで、以降すべてのマクロブロックにおいて等価な処理を行うことができる。
　例えば、ｍａｔｒｉｘ＿ｓｃａｌｅが４、すなわち量子化パラメータで１２増加と等価な調整が行われている場合、符号化パラメータ調整部１０６では符号化パラメータの一つであるｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２およびｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２を－６する。すなわち、量子化パラメータが１２増加する前のデブロックフィルタ強度となるように調整する。ｍａｔｒｉｘ＿ｓｃａｌｅが１／４、すなわち量子化パラメータで１２減少と等価な調整が行われている場合、ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２およびｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２の値を６増加させる。すなわち、量子化パラメータが１２減少する前のデブロックフィルタ強度となるように調整する。
　符号化パラメータは、量子化パラメータの大きさに依存して値を変更する必要がある。符号化パラメータ調整部１０６が調整を行うが、画像符号化装置１０３におけるマクロブロック毎の符号化モード判定も量子化パラメータに基づいて処理が行われる場合がある。例えば、符号化モード判定のコスト関数は以下の式によって算出できる。
　ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ×Ｒａｔｅ　
　λ＝０．８５ＱＰ／６　
　このようなコスト関数を用いている画像符号化装置１０３であれば、ｍａｔｒｉｘ＿ｓｃａｌｅの値に応じて上記のλを調整する。その他、量子化パラメータの大きさに依存する符号化パラメータがあれば、符号化パラメータ調整部１０６で調整を適宜行う。
　符号化部１１０は、特に調整が無い場合は初期設定の量子化マトリクスおよび符号化パラメータ、量子化パラメータで符号化を行い、調整がなされた場合はそれぞれの処理ステップで調整されたパラメータで入力画像１０１の符号化処理を行う（ステップ２０８）。
　符号化部１１０は、入力画像１０１の終端が来るまで上記処理ステップを繰り返し行う（ステップ２０９）。上記処理ステップの終端はいずれであっても構わない。例えば、シーケンスの終端であっても良いし、フレームの終端であっても良い。　
　本実施形態の画像符号化装置によれば、設定された量子化パラメータが規格上での制限範囲を超えた場合であっても、量子化マトリクスを調整することで、適切な量子化を行うことが可能となる。
　（第２の実施形態）　
　第１の実施形態では、入力画像１０１に対して随時処理していくこと想定している。すなわち、(ステップ２０９)で入力画像１０１のシーケンスの終端が来るまで繰り返して処理を行っていた。一方、本実施形態では入力画像１０１を複数フレーム先読みして必要な情報を事前に算出することで、量子化マトリクスを符号化するために必要な符号量を抑える点が異なる。そのため、入力画像１０１の終端を判定する処理ステップがない。
　図３は、本実施形態の画像符号化装置１０３の動作を示す図である。　
　まず、ビットレート制御部１０７が、入力画像１０１の画像解析を行う（ステップ３０１）。画像の解析方法は様々な手法があるが、本実施形態は仮符号化による解析方法（いわゆる２パスビットレート制御）を用いる例について説明する。入力画像１０１を一度、特定の量子化パラメータで仮符号化し、その発生符号量から、量子化パラメータと発生符号量の関係をモデル化する方法である。
　画像解析によって得られたモデルに従って、目標符号量と入力画像１０１の各画像の量子化パラメータの初期値を算出する（ステップ３０２）。なお、第１の実施形態と同様の方法でリアクションパラメータ、目標符号量および量子化パラメータの算出すればよい。
　算出された量子化パラメータ、目標符号量およびリアクションパラメータ、量子化パラメータに基づいて、予測部１０４は画面内の量子化パラメータの変動範囲を予測する（ステップ３０３）。量子化パラメータ変動範囲の予測方法は画面ごとの第１の実施形態と同様であるが、本実施形態で算出される変動上限値および変動下限値は入力画像１０１のシーケンスに対する値である点が異なる。
　変動上限値および変動下限値が閾値の大小によって処理が切り替わる点（ステップ３０４およびステップ３０５）は第１の実施形態と同様である。なお、入力画像１０１のシーケンスで見た場合、あるフレームでは（ステップ３０４）がＹＥＳになり、あるフレームでは（ステップ３０５）がＹＥＳになる場合が、本実施形態では（ステップ３０４）の処理が優先されて（ステップ３０５）の処理が行われない。その場合、量子化パラメータが大きい場合は、補正しないと目標符号量に到達しない場合があるなど影響度は大きくなる。しかしながら、量子化パラメータが小さい場合、特に規格上での下限値に到達するような場合は十分な画質が得られていると予想されるため影響度は小さい。したがって、本実施形態のように変動上限値を優先して調整することが望ましい。なお、変動下限値の閾値Ｂを第１の実施形態では、規格上での下限値である０としていた。本実施形態のように、シーケンスを調整する場合においては、閾値Ｂは以下の式に基づいて算出した方が好ましい。
Figure JPOXMLDOC01-appb-M000007
　上記の閾値にしたがって処理すれば、量子化マトリクスの調整（ステップ３０７）および量子化パラメータの調整（ステップ３０８）で、量子化パラメータの変動上限値が規格上での上限値を超えることが無くなるためである。
　変動上限値および下限値に対する閾値処理に基づいて量子化マトリクス調整部１０５では、それぞれ量子化マトリクスを調整する（ステップ３０６および３０７）。
　調整された量子化マトリクスに基づいて、符号化パラメータ調整部１０６で、入力画像１０１のシーケンスの符号化パラメータを調整する（ステップ３０８）。
　一括処理で調整された符号化パラメータに従って、符号化部１１０は入力画像１０１を符号化する（ステップ３０９）。この際、量子化マトリクスなどの情報を１度で符号化するため、符号量を削減することが可能となる。
　図７は、本実施形態の画像符号化装置が符号化した符号化データ１０２のデータ構造を示す図である。量子化マトリクスなどの情報を１度で符号化するため、符号量を削減することが可能となっていることがわかる。
　なお、本実施形態は入力画像１０１のシーケンスを一括処理するものとして説明したが、この処理単位を例えば、所定のフレーム数単位あるいはシーンチェンジ単位などで処理しても良い（１フレーム単位は第１の実施形態と等価）。シーン内では、量子化パラメータの変動は比較的安定していると考えられるため、（ステップ３０４）と（ステップ３０５）を同時に満たす場合はなくなると考えられ、各シーンで適切な処理が可能となると予想される。

（第３の実施形態）　
　本実施形態の画像符号化装置１０３は、第１の実施形態と量子化パラメータの調整方法が異なる。本実施形態では、ビットレート制御部１０７が算出する量子化パラメータを、第１の実施形態と同様に量子化マトリクスの調整量に合わせて修正した上で、さらに量子化パラメータを大きく調整する。
　図４は、本実施形態の画像符号化装置１０３の動作を示す図である。　
　まず、符号化部１１０は、入力画像１０１を画像符号化装置１０３で符号化する（ステップ４０１）。
　符号化部１１０は、符号化した後、ビットレート制御部１０７で算出された目標符号量と、発生した符号量とを比較する（ステップ４０２）。目標符号量と発生した符号量との差分が所定の符号量以下であれば、図４の符号化処理を終了する。符号量の差分が所定の符号量よりも大きければ、ビットレート制御の精度が悪いとして符号化をやりなおす。ここで、差分の符号量は単純に目標符号量のα（＜１００）％としても良いし、Ｈ．２６４におけるＣＰＢの最低占有量などを設定し、その最低占有量を上回る値としても良い。
　符号化をやりなおすための量子化パラメータ、フィードバック強度と目標符号量を、ビットレート制御部１０７で再度算出する（ステップ４０３）。目標符号量の再算出は、以下の式で算出しても良いし、単純に直前の目標符号量のβ（＜１００）％にしても良い。
ｔａｒｇｅｔ_ｂｉｔ=ｐｒｅｖｉｏｕｓ_ｔａｒｇｅｔ_ｂｉｔ×２=ｇｅｎｅｒａｔｅｄ_ｂｉｔ　
ｔａｒｇｅｔ＿ｂｉｔは新たな目標符号量、ｐｒｅｖｉｏｕｓ＿ｔａｒｇｅｔ＿ｂｉｔは直前の目標符号量、ｇｅｎｅｒａｔｅｄ＿ｂｉｔは発生符号量を示す。フィードバック強度は変更しなくても良いし、直前の強度よりも弱めても良い。
　第１の実施形態では、量子化パラメータはＴＭ５に基づいて算出され、第２の実施形態では、１パス目の仮符号化によって得られた情報からモデル化して算出するとしていたが、本実施形態では、実際に符号化した結果があるため、この値に基づいて量子化パラメータを算出する。具体的には符号化した画像に用いられた量子化パラメータの平均値を算出する。
　算出された量子化パラメータ、目標符号量およびリアクションパラメータ、適応量子化強度に基づいて、予測部１０４は画面内の量子化パラメータの変動範囲を予測する（ステップ４０４）。量子化パラメータ変動範囲の予測方法は第１の実施形態と同様であるが、本実施形態では変動上限値を算出すればよい。第１の実施形態では、閾値Ａを規格上での上限値にしていたが、本実施形態では上限値よりも小さい値に設定することが好ましい。すでに符号化された画像に用いられた量子化パラメータの平均値から変動範囲が予測されているが、すでに所定の符号量条件を満たしていないことがわかっているため、次回の符号化のやり直しでは量子化パラメータを上昇させてやりなおす必要がある。すなわち、量子化パラメータの平均値よりも大きくなることが想定されるため、それを考慮して閾値を設定した方が良い。Ｈ．２６４の規格上での上限を考慮し、閾値Ａを５１－６＝４５とする。それによって、量子化マトリクスの調整を行いながら、量子化パラメータの動作点を下げることができる。
　量子化マトリクスが変更された場合、符号化パラメータ調整部１０６で、デブロックフィルタ強度や符号化モードのコスト関数が第１の実施形態と同様に調整される（ステップ４０７）。ただし、量子化パラメータの調整方法が第１の実施形態とは異なる。本実施形態では、ビットレート制御部１０７が（ステップ４０１）で算出していた量子化パラメータを、第１の実施形態と同様に量子化マトリクスの調整量に合わせて修正した上で、さらに量子化パラメータを大きく調整する。量子化パラメータの値を大きく調整することで、目標符号量に到達しやすくなる。大きく調整する基準としては、例えば、（ステップ４０１）で初期に算出していた量子化パラメータと符号化した結果得られた量子化パラメータの平均値を比較して、平均値が大きければ初期の量子化パラメータでは小さすぎたことがわかり、その差分値だけ補正すればよい。差が無い、あるいは平均値の方が小さければ単純に量子化パラメータに２や４を加算すればよい。　
　符号化パラメータを調整した後、（ステップ４０１）に戻り入力画像１０１を再度符号化する。　
　なお、本実施形態は入力画像１０１の１フレーム単位で処理するものとして説明したが、この処理単位を例えば、所定のフレーム数単位あるいはシーンチェンジ単位、入力画像全体を単位とするなどで処理しても良い。シーン毎や入力全体などのまとまった処理単位で行うことで、第２の実施形態と同様に量子化マトリクスを符号化するための情報量が削減できるため、符号化効率が向上する。
　なお、上記の各実施形態の画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD－R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１０１　入力画像データ
１０２　符号化データ
１０３　画像符号化装置
１０４　予測部
１０５　量子化マトリクス調整部
１０６　符号化パラメータ調整部
１０７　ビットレート制御部
１０８　量子化パラメータ調整部
１１０　符号化部

Claims (6)

  1. 量子化パラメータと量子化マトリクスに従って決定される量子化幅で画像を量子化する画像符号化装置において、
    前記画像を複数のブロックに分割し、前記ブロック毎の量子化パラメータを設定し、ビットレートを制御するビットレート制御部と、
    　前記ブロック毎に設定された前記量子化パラメータに基づいて、前記画像内での量子化パラメータの変動範囲を予測する予測部と、
    前記量子化パラメータの変動範囲の上限値が第１の基準を上回る場合、量子化マトリクスが小さな値となるよう調整し、下限値が第２の基準を下回る場合、量子化マトリクスが大な値となるよう調整し、量子化マトリクスを求める第１調整部と、
    前記量子化マトリクスの調整量に従って、符号化パラメータを調整する第２調整部と、
    を備えることを特徴とする画像符号化装置。
  2. 前記ビットレート制御部は、前記量子化パラメータの値を変動させる場合に用いるリアクションパラメータを算出し、
    前記予測部は、前記量子化パラメータと、前記リアクションパラメータとに基づいて、量子化パラメータの変動範囲を予測する、
    ことを特徴とする請求項１記載の画像符号化装置。
  3. 前記ビットレート制御部は、前記ブロックに割り当てた符号量と、発生した符号量との差分量に応じて変動する量子化パラメータの大きさから前記リアクションパラメータを算出する、
    ことを特徴とする請求項２記載の画像符号化装置。
  4. 前記画像の解析結果に基づいて前記量子化パラメータの変化量を算出する量子化パラメータ調整部をさらに備え、
    前記予測部は、前記量子化パラメータと前記リアクションパラメータと、前記変化量に基づいて、前記量子化パラメータの変動範囲を予測する、
    ことを特徴とする請求項３記載の画像符号化装置。
  5. 前記ビットレート制御部は、前記画像内の複数フレームをあらかじめ解析し、解析結果から前記画像に対する前記量子化パラメータと前記リアクションパラメータを算出し、
    前記予測部は、解析対象となった前記複数フレームに対する量子化パラメータとリアクションパラメータに基づいて、前記量子化パラメータの変動範囲を予測する
    ことを特徴とする請求項４記載の画像符号化装置。
  6. 前記ビットレート制御部は、符号化が終了した画像内の前記量子化パラメータの平均を算出し、
    前記予測部は、前記平均と、前記リアクションパラメータに基づいて、前記量子化パラメータの変動範囲を予測する
    ことを特徴とする請求項５記載の画像符号化装置。
PCT/JP2009/004151 2009-08-27 2009-08-27 画像を符号化する装置、方法およびプログラム WO2011024222A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004151 WO2011024222A1 (ja) 2009-08-27 2009-08-27 画像を符号化する装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004151 WO2011024222A1 (ja) 2009-08-27 2009-08-27 画像を符号化する装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2011024222A1 true WO2011024222A1 (ja) 2011-03-03

Family

ID=43627352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004151 WO2011024222A1 (ja) 2009-08-27 2009-08-27 画像を符号化する装置、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2011024222A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326614A (ja) * 1993-05-17 1994-11-25 Hitachi Ltd 符号化装置
JPH07131789A (ja) * 1993-10-29 1995-05-19 Sanyo Electric Co Ltd 画像符号化方式
JPH10243397A (ja) * 1997-02-24 1998-09-11 Sony Corp 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JP2001078194A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化制御方法および動画像圧縮符号化装置
WO2006098226A1 (ja) * 2005-03-14 2006-09-21 Matsushita Electric Industrial Co., Ltd. 符号化装置および符号化装置を備えた動画像記録システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326614A (ja) * 1993-05-17 1994-11-25 Hitachi Ltd 符号化装置
JPH07131789A (ja) * 1993-10-29 1995-05-19 Sanyo Electric Co Ltd 画像符号化方式
JPH10243397A (ja) * 1997-02-24 1998-09-11 Sony Corp 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JP2001078194A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化制御方法および動画像圧縮符号化装置
WO2006098226A1 (ja) * 2005-03-14 2006-09-21 Matsushita Electric Industrial Co., Ltd. 符号化装置および符号化装置を備えた動画像記録システム

Similar Documents

Publication Publication Date Title
US9185430B2 (en) Deblocking filtering method and deblocking filter
US6912255B2 (en) Bit rate control through selective modification of DCT coefficients
JP4747975B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US8699563B2 (en) Image coding apparatus and image coding method
US9369720B2 (en) Image coding apparatus and image coding method
JP5844263B2 (ja) デジタル画像を再圧縮するための装置および方法
US10264268B2 (en) Pre-encoding for high efficiency video coding
EP1718080A1 (en) Image encoding method, device thereof, and control program thereof
WO2014139396A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
WO2011142291A1 (ja) 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
WO2009157579A1 (ja) 画像処理装置及び画像処理方法
JPWO2009157577A1 (ja) 画像処理装置及び画像処理方法
JP5295429B2 (ja) 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
JP2008182562A (ja) 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
JP5618128B2 (ja) 符号化装置、符号化方法、およびプログラム
US20180020233A1 (en) Moving image encoding device
JP4736619B2 (ja) 画像処理装置および画像処理方法
JP5649296B2 (ja) 画像符号化装置
WO2011024222A1 (ja) 画像を符号化する装置、方法およびプログラム
JP4942208B2 (ja) 符号化装置
JP5641755B2 (ja) 符号化装置、符号化装置の制御方法、プログラム
US9438907B2 (en) Motion picture encoding apparatus
EP2048888A1 (en) Method and decoder for decoding an image frame of an image frame sequence
JP7357481B2 (ja) デブロッキングフィルタ制御装置及びプログラム
JP2008177916A (ja) 画像符号化装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09848673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09848673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP