JP5179306B2 - Moving picture coding method, moving picture coding apparatus, and moving picture coding program - Google Patents

Moving picture coding method, moving picture coding apparatus, and moving picture coding program Download PDF

Info

Publication number
JP5179306B2
JP5179306B2 JP2008243188A JP2008243188A JP5179306B2 JP 5179306 B2 JP5179306 B2 JP 5179306B2 JP 2008243188 A JP2008243188 A JP 2008243188A JP 2008243188 A JP2008243188 A JP 2008243188A JP 5179306 B2 JP5179306 B2 JP 5179306B2
Authority
JP
Japan
Prior art keywords
code amount
image quality
frame
determined
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008243188A
Other languages
Japanese (ja)
Other versions
JP2010074783A (en
Inventor
剛 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008243188A priority Critical patent/JP5179306B2/en
Publication of JP2010074783A publication Critical patent/JP2010074783A/en
Application granted granted Critical
Publication of JP5179306B2 publication Critical patent/JP5179306B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することにより、主観動画像品質を向上させる技術に関する。   The present invention relates to a technique for improving subjective video quality by appropriately controlling a quantization parameter and a frame rate with a limited code amount.

従来から、種々の画像符号化技術が提案されている。例えば、特許文献1には、ビットレートと画像品質が最適と考えられるフレームレートの対応を、主観品質評価実験により予め用意し、これに基づいて画像品質が最適となるフレームレートを決定する技術が開示されている。また、特許文献2に開示されている技術は、符号化データの出力時の遅延量を超えない範囲で、符号量と符号化するフレーム数を決定し、画質に応じたフレームレートを決定する。さらに、特許文献3には、画像の性質が再生時刻によって変化した場合、コマ落ちやフレーム数の急激な変化による画像の滑らかさが損なわれることを回避するため、画像の変化度合いを示す画質パラメータ値を予め定義し、目標コマ落ち範囲内に収まるよう制御する技術が開示されている。
特開平06−090441号公報 特許第3651706号公報 特開平09−261638号公報
Conventionally, various image encoding techniques have been proposed. For example, Patent Document 1 discloses a technique for preparing a correspondence between a bit rate and a frame rate at which the image quality is considered optimal by a subjective quality evaluation experiment, and determining a frame rate at which the image quality is optimal based on this. It is disclosed. The technique disclosed in Patent Document 2 determines the code amount and the number of frames to be encoded within a range that does not exceed the delay amount when the encoded data is output, and determines the frame rate in accordance with the image quality. Furthermore, Patent Document 3 discloses an image quality parameter indicating a degree of change of an image in order to avoid a loss of image smoothness due to frame dropping or a rapid change in the number of frames when the property of the image changes depending on the reproduction time. A technique is disclosed in which a value is defined in advance and controlled to fall within a target frame drop range.
Japanese Patent Laid-Open No. 06-090441 Japanese Patent No. 3651706 JP 09-261638 A

しかしながら、画面内の複雑さや動きの速さといった符号化する画像シーケンスの性質は様々であることから、特許文献1に開示されている技術では、ビットレートと最適フレームレートとを一意に対応付けることは困難である。また、特許文献2では、符号化データの出力時の遅延量の制約を守るために、十分な符号量を割り当てることができず、画像品質が十分でないことが生じ得ると考えられる。さらに、特許文献3では、VBV(Video Buffer Verifier)に代表される仮想バッファやビットレートの制約があるために、画質パラメータを、目的とする範囲内に収める制御ができない場合がある。   However, since the nature of the image sequence to be encoded, such as the complexity within the screen and the speed of movement, varies, the technique disclosed in Patent Document 1 does not uniquely associate the bit rate with the optimum frame rate. Have difficulty. Further, in Patent Document 2, it is considered that a sufficient code amount cannot be allocated and image quality is not sufficient in order to keep the restriction on the delay amount when outputting encoded data. Further, in Patent Document 3, there are cases where control of an image quality parameter within a target range may not be possible due to limitations of a virtual buffer represented by VBV (Video Buffer Verifier) and a bit rate.

また、一般的な動画像符号化装置では、仮想バッファやビットレートの制約を満たすため、次の順番で制御を実施する。
(1)量子化パラメータ(QP)を増加する。
(2)フレームスキップを行なう。
Moreover, in a general moving image encoding device, control is performed in the following order in order to satisfy the restrictions of the virtual buffer and the bit rate.
(1) Increase the quantization parameter (QP).
(2) Perform frame skipping.

しかしながら、(2)のフレームスキップが実施される時点では、量子化パラメータは最大値を取ることとなる。これでは画像フレームの品質が最低となってしまう。   However, when the frame skip of (2) is performed, the quantization parameter takes a maximum value. This results in the lowest image frame quality.

さらに、H.264に代表される高圧縮の符号化方式では、量子化パラメータの制御範囲内で仮想バッファやビットレートの制約を満たすことが多くの場合で可能であるが、量子化パラメータ値が高いと、十分な画像品質を達成できない場合がある。一方、ビットレートが高く、各フレームの画像品質が必要以上に十分な場合では、指定したフレームレートよりも高いフレームレートで符号化することにより、時間解像度(動きの滑らかさ)を向上させる方が主観画質を向上させることが可能となる。   Further, H.C. In the high compression encoding system represented by H.264, it is possible to satisfy the restrictions of the virtual buffer and the bit rate within the control range of the quantization parameter in many cases. However, a high quantization parameter value is sufficient. Image quality may not be achieved. On the other hand, when the bit rate is high and the image quality of each frame is more than necessary, it is better to improve the temporal resolution (smoothness of motion) by encoding at a frame rate higher than the specified frame rate. Subjective image quality can be improved.

本発明は、このような事情に鑑みてなされたものであり、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することにより、主観動画像品質を向上させることができる動画像符号化方法、動画像符号化装置および動画像符号化プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and a moving image code capable of improving subjective moving image quality by appropriately controlling a quantization parameter and a frame rate with a limited code amount. An object of the present invention is to provide an encoding method, a moving image encoding device, and a moving image encoding program.

(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の動画像符号化方法は、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化方法であって、動画像を構成する画像素材に対して第1符号化を行なうステップと、前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定するステップと、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するステップと、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定するステップと、前記判定の結果に応じて、フレームレートを変更するステップと、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第2符号化を行なうステップと、を含むことを特徴としている。   (1) In order to achieve the above object, the present invention takes the following measures. That is, the moving picture coding method of the present invention is a moving picture coding method for changing a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required picture quality, Performing first encoding on the image material constituting the image, estimating a generated code amount of each frame in all quantization parameters based on the first encoded image data, and estimating A step of determining an allocation code amount in units of frames according to encoding conditions using a generated code amount of each frame; and a step of determining whether or not the determined allocation code amount in units of frames satisfies a required image quality , A step of changing a frame rate according to the result of the determination, and the determined code amount determined by changing the frame rate If it meets the requested image quality, it is characterized by comprising the steps of performing a second encoding, the.

このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。   In this way, it is determined whether the allocated code amount per frame satisfies the required image quality, and the frame rate is changed according to the determination result. Therefore, the quantization parameter and the frame rate are appropriately set with the limited code amount. Can be controlled. As a result, the subjective moving image quality can be improved. For example, in a low bit rate environment, subjective image quality can be improved by lowering the image quality of a certain level or more in each image frame, that is, by reducing the quantization parameter and reducing the encoding degradation. Also, in a high bit rate environment, the subjective image quality can be improved by reducing the image quality, which is more than necessary, by increasing the quantization parameter and increasing the time resolution.

(2)また、本発明の動画像符号化方法は、前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴としている。   (2) In the moving image encoding method of the present invention, the image quality of the entire image sequence is calculated based on the determined allocated code amount for each frame, and the image quality indicates a first required image quality. If it is less than the threshold value, the frame rate is uniformly reduced in the entire image sequence.

このように、画像シーケンス全体の画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。   As described above, when the image quality of the entire image sequence is lower than the first threshold value indicating the required image quality, the frame rate is uniformly reduced for the entire image sequence, so that the image quality of a certain level or more is increased in each image frame Thus, the subjective image can be improved.

(3)また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、前記第1の閾値未満であるフレームを除外することによりフレームレートを下げることを特徴としている。   (3) Further, in the moving image encoding method of the present invention, the image quality calculated from the assigned code amount of any frame unit among the determined assigned code amounts of each frame indicates the required image quality. If it is less than the first threshold, the frame rate is lowered by excluding frames that are less than the first threshold.

このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、第1の閾値未満であるフレームを除外することによりフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。   In this way, when the image quality calculated from the assigned code amount of any frame unit among the determined assigned code amounts of each frame unit is less than the first threshold value indicating the required image quality, the first Since the frame rate is lowered by excluding frames that are less than the threshold value, the subjective image can be improved by raising the image quality above a certain level in each image frame.

(4)また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴としている。   (4) Also, the moving picture coding method of the present invention is characterized in that the image quality calculated from the allocated code amount of any frame unit among the determined allocated code amount of each frame unit or a frame having a predetermined ratio or more. When the image quality calculated from the unit assigned code amount is less than the first threshold value indicating the required image quality, the frame rate is uniformly reduced in the entire image sequence.

このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げるので、各画像フレームで一定以上の画像品質を高めることにより、主観画像を向上させることができる。   In this way, among the determined assigned code amounts for each frame, the image quality calculated from the assigned code amount for any frame unit or the image quality calculated from the assigned code amount for a frame unit equal to or greater than a predetermined ratio When the image quality is less than the first threshold value indicating the required image quality, the frame rate is uniformly reduced for the entire image sequence, so that the subjective image can be improved by increasing the image quality above a certain level in each image frame.

(5)また、本発明の動画像符号化方法は、前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴としている。   (5) Further, the moving image encoding method of the present invention calculates the image quality of the entire image sequence based on the determined allocated code amount in units of frames, and the image quality indicates a second required image quality. If the threshold value is exceeded, the frame rate is uniformly increased in the entire image sequence.

このように、画像シーケンス全体の画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げるので、必要以上に十分であった画像品質を下げて、時間解像度を上げることができる。これにより、主観画質を向上させることができる。   In this way, when the image quality of the entire image sequence exceeds the second threshold value indicating the required image quality, the frame rate is uniformly increased throughout the entire image sequence. The time resolution can be increased. Thereby, subjective image quality can be improved.

(6)また、本発明の動画像符号化方法は、前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴としている。   (6) Further, the moving image encoding method of the present invention is characterized in that the image quality calculated from the assigned code amount of any frame unit among the determined assigned code amount of each frame unit or a frame having a predetermined ratio or more. When the image quality calculated from the unit assigned code amount exceeds the second threshold value indicating the required image quality, the frame rate is increased uniformly in the entire image sequence.

このように、決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げるので、必要以上に十分であった画像品質を下げて、時間解像度を上げることができる。これにより、主観画質を向上させることができる。   In this way, among the determined assigned code amounts for each frame, the image quality calculated from the assigned code amount for any frame unit or the image quality calculated from the assigned code amount for a frame unit equal to or greater than a predetermined ratio When the second threshold value indicating the required image quality is exceeded, the frame rate is uniformly increased for the entire image sequence, so that the image quality that is more than necessary can be lowered and the temporal resolution can be increased. Thereby, subjective image quality can be improved.

(7)また、本発明の動画像符号化方法は、前記変更後のフレームレートに基づいて、前記フレーム毎の割り当て符号量が要求画像品質を満たすかどうかを再度判定するステップを、更に含むことを特徴としている。   (7) Moreover, the moving image encoding method of the present invention further includes a step of re-determining whether the allocated code amount for each frame satisfies the required image quality based on the changed frame rate. It is characterized by.

このように、変更後のフレームレートに基づいて、前記フレーム毎の割り当て符号量が要求画像品質を満たすかどうかを再度判定するので、再帰的に処理を繰り返すことができる。これにより、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。   Thus, since it is determined again whether the allocated code amount for each frame satisfies the required image quality based on the changed frame rate, the process can be repeated recursively. Thereby, it is possible to appropriately control the quantization parameter and the frame rate with a limited code amount. As a result, the subjective moving image quality can be improved.

(8)また、本発明の動画像符号化装置は、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化装置であって、動画像を構成する画像素材に対して第1符号化を行なう第1符号化部と、前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する符号量推定部と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する割り当て符号量決定部と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する判定部と、前記判定の結果に応じて、フレームレートを変更するフレームレート変更部と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第2符号化を行なう第2符号化部と、を備えることを特徴としている。   (8) The moving picture encoding apparatus of the present invention is a moving picture encoding apparatus that changes a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required image quality. A first encoding unit that performs first encoding on an image material constituting a moving image, and a generated code amount of each frame in all quantization parameters based on the first encoded image data A code amount estimator, an allocation code amount determination unit that determines an allocation code amount in units of frames according to encoding conditions using the estimated generated code amount of each frame, and the determined allocation code in units of frames A determination unit that determines whether or not the amount satisfies the required image quality, a frame rate change unit that changes a frame rate according to a result of the determination, and a change in the frame rate Ri, assignment code amount said determining if they meet the requested image quality, it is characterized in that it comprises a second coding section that performs second encoding, the.

このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。   In this way, it is determined whether the allocated code amount per frame satisfies the required image quality, and the frame rate is changed according to the determination result. Therefore, the quantization parameter and the frame rate are appropriately set with the limited code amount. Can be controlled. As a result, the subjective moving image quality can be improved. For example, in a low bit rate environment, subjective image quality can be improved by lowering the image quality of a certain level or more in each image frame, that is, by reducing the quantization parameter and reducing the encoding degradation. Also, in a high bit rate environment, the subjective image quality can be improved by reducing the image quality, which is more than necessary, by increasing the quantization parameter and increasing the time resolution.

(9)また、本発明の動画像符号化プログラムは、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、動画像を構成する画像素材に対して第1符号化を行なう処理と、前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、前記判定の結果に応じて、フレームレートを変更する処理と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第2符号化を行なう処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。   (9) The moving picture encoding program of the present invention is a moving picture encoding program for changing a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required picture quality. A process of performing a first encoding on an image material constituting a moving image, a process of estimating a generated code amount of each frame in all quantization parameters based on the first encoded image data, Using the estimated generated code amount of each frame, a process for determining an allocated code amount in frame units according to encoding conditions, and determining whether the determined allocated code amount in frame units satisfies a required image quality Processing, changing the frame rate according to the result of the determination, and changing the frame rate, the determined allocated code amount is requested. If they meet the image quality, a process of performing a second encoding, a series of processes including, is characterized in that a read by a computer, and can execute the command of.

このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。   In this way, it is determined whether the allocated code amount per frame satisfies the required image quality, and the frame rate is changed according to the determination result. Therefore, the quantization parameter and the frame rate are appropriately set with the limited code amount. Can be controlled. As a result, the subjective moving image quality can be improved. For example, in a low bit rate environment, subjective image quality can be improved by lowering the image quality of a certain level or more in each image frame, that is, by reducing the quantization parameter and reducing the encoding degradation. Also, in a high bit rate environment, the subjective image quality can be improved by reducing the image quality, which is more than necessary, by increasing the quantization parameter and increasing the time resolution.

本発明によれば、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。   According to the present invention, since it is determined whether the allocated code amount per frame satisfies the required image quality and the frame rate is changed according to the determination result, the quantization parameter and the frame rate are limited with a limited code amount. Can be controlled appropriately. As a result, the subjective moving image quality can be improved.

本発明は、限られた符号量で量子化パラメータおよびフレームレートを適切に制御し、生成する映像ストリームの主観動画像品質を向上させる。このため、第1段階目の符号化で画像フレームの符号化難易度の特徴を分析し、その分析結果に基づいて、適宜フレームレートを変更し、第2段階目の符号化を実施する2パス動画像符号化方法を採用する。以下、図面を参照して本発明を詳細に説明する。   The present invention appropriately controls the quantization parameter and the frame rate with a limited code amount, and improves the subjective moving image quality of the generated video stream. For this reason, the first-stage encoding analyzes the characteristics of the encoding difficulty of the image frame, changes the frame rate as appropriate based on the analysis result, and performs the second-stage encoding. A moving image encoding method is adopted. Hereinafter, the present invention will be described in detail with reference to the drawings.

図1は、本実施形態に係る動画像符号化装置の概略構成を示すブロック図である。動画像符号化装置10は、データベース11から、入出力インタフェース12を介して画像素材を入力する。第1符号化部13は、動画像を構成する画像素材に対して第1符号化を行なう。符号量推定部14は、第1符号化された画像データに基づいて、符号化難易度を分析し、全量子化パラメータにおける各フレームの発生符号量を推定する。割り当て符号量決定部15は、符号量推定部14が推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量(ビットアロケーション)を決定する。   FIG. 1 is a block diagram showing a schematic configuration of a video encoding apparatus according to the present embodiment. The moving image encoding apparatus 10 inputs an image material from the database 11 via the input / output interface 12. The 1st encoding part 13 performs 1st encoding with respect to the image material which comprises a moving image. The code amount estimation unit 14 analyzes the encoding difficulty level based on the first encoded image data, and estimates the generated code amount of each frame in all quantization parameters. The assigned code amount determination unit 15 uses the generated code amount of each frame estimated by the code amount estimation unit 14 to determine an assigned code amount (bit allocation) for each frame according to the encoding condition.

判定部16は、割り当て符号量決定部15が決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する。フレームレート変更部17は、判定部16の判定の結果に応じて、フレームレートを変更する。さらに、VBVチェック部18は、受信バッファの状態をモデル化し、正常に動画像が再生できるかどうかを判定する(VBVチェック)。また、この判定(VBVチェック)の結果、フレーム単位の符号量の再割り当てが必要であると判定された場合は、割り当て符号量修正部19は、VBVの条件を満たすフレーム単位の割り当て符号量を決定する。第2符号化部20は、上記フレームレートの変更により、決定した割り当て符号量が要求画像品質を満たす場合に、第2符号化を行ない、最終的に映像ストリームが出力される。なお、これらの構成要素は、制御バス30に接続され、相互にデータを送受信することができるように構成されている。   The determination unit 16 determines whether the allocation code amount in units of frames determined by the allocation code amount determination unit 15 satisfies the required image quality. The frame rate changing unit 17 changes the frame rate according to the determination result of the determining unit 16. Further, the VBV check unit 18 models the state of the reception buffer and determines whether or not a moving image can be normally reproduced (VBV check). As a result of this determination (VBV check), when it is determined that reassignment of the code amount in units of frames is necessary, the assigned code amount correction unit 19 sets the assigned code amount in units of frames satisfying the condition of VBV. decide. The second encoding unit 20 performs the second encoding when the determined allocated code amount satisfies the required image quality due to the change in the frame rate, and finally the video stream is output. These components are connected to the control bus 30 and configured to be able to transmit / receive data to / from each other.

図2は、本実施形態に係る動画像符号化装置の動作を示すフローチャートである。本実施形態で示す2パス動画像符号化方法は、まず、データベース11から符号化する画像素材を取得し、取得した画像素材に対して第1符号化を行なう(ステップS1)。次に、第1符号化の結果取得したデータから符号化難易度を分析し、全量子化パラメータにおける各フレームの発生符号量を推定する(ステップS2)。次に、ステップS2で推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するビットアロケーションを行なう(ステップS3)。   FIG. 2 is a flowchart showing the operation of the video encoding apparatus according to the present embodiment. In the two-pass moving image encoding method shown in the present embodiment, first, an image material to be encoded is acquired from the database 11, and first encoding is performed on the acquired image material (step S1). Next, the encoding difficulty level is analyzed from the data acquired as a result of the first encoding, and the generated code amount of each frame in all quantization parameters is estimated (step S2). Next, using the generated code amount of each frame estimated in step S2, bit allocation is performed to determine the allocated code amount in units of frames according to the encoding condition (step S3).

次に、ステップS3で決定したフレーム単位の割り当て符号量が、要求画像品質を満たすかどうかを判定する(ステップS4)。すなわち、画像品質は適切であるかどうかを判断する。ステップS4における判定方法は、次のようなものがある。   Next, it is determined whether or not the allocated code amount for each frame determined in step S3 satisfies the required image quality (step S4). That is, it is determined whether the image quality is appropriate. The determination method in step S4 includes the following.

<PSNR値を用いた判定方法>
図3は、PSNR(Peak Signal-to-Noise Ratio)値を用いた判定方法を示す図である。図3において、丸1は、符号化する画像シーケンス全体の平均PSNR値を用いる方法を示している。本方法では、画像シーケンス全体の平均PSNR値に対し、画像品質が十分でないと判定するための閾値1と、画像品質が必要以上に十分であると判定するための閾値2の2つの閾値を用いる。これらの2つの閾値を用いることにより、平均PSNR値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、画像シーケンス全体に対して判定される。例えば、図3に示す例では、平均PSNR値が27.5[dB]である。
<Determination method using PSNR value>
FIG. 3 is a diagram illustrating a determination method using a PSNR (Peak Signal-to-Noise Ratio) value. In FIG. 3, a circle 1 indicates a method using the average PSNR value of the entire image sequence to be encoded. In this method, two threshold values are used for the average PSNR value of the entire image sequence: a threshold value 1 for determining that the image quality is not sufficient, and a threshold value 2 for determining that the image quality is more than necessary. . By using these two thresholds, it is determined whether the average PSNR value satisfies the required image quality. Accordingly, whether or not the required image quality is satisfied is determined for the entire image sequence. For example, in the example shown in FIG. 3, the average PSNR value is 27.5 [dB].

[閾値1を30[dB]、閾値2を35[dB]に設定する場合]
この場合は、平均PSNR値が閾値1を下回るため、要求画像品質を満たさないと判定される。
[When threshold 1 is set to 30 [dB] and threshold 2 is set to 35 [dB]]
In this case, since the average PSNR value is below the threshold value 1, it is determined that the required image quality is not satisfied.

[閾値1を25[dB]、閾値2を30[dB]に設定する場合]
この場合は、平均PSNR値が閾値1を上回り、且つ閾値2を下回るため、要求画像品質を満たす、つまり画像品質は適切であると判定される。
[When threshold 1 is set to 25 [dB] and threshold 2 is set to 30 [dB]]
In this case, since the average PSNR value exceeds the threshold value 1 and falls below the threshold value 2, it is determined that the required image quality is satisfied, that is, the image quality is appropriate.

[閾値1を20[dB]、閾値2を25[dB]に設定する場合]
この場合は、平均PSNR値が閾値2を上回るため、要求画像品質を必要以上に十分満たすと判定される。
[When threshold 1 is set to 20 [dB] and threshold 2 is set to 25 [dB]]
In this case, since the average PSNR value exceeds the threshold value 2, it is determined that the required image quality is more than necessary.

また、図3において、丸2は、各フレームのPSNR値を用いる方法を示している。本方法では、各フレームのPSNR値に対し、画像品質が十分でないと判定するための閾値1と、画像品質が必要以上に十分であると判定するための閾値2の2つの閾値を用いる。これらの2つの閾値を用いることにより、各フレームのPSNR値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、フレーム毎に判定される。   In FIG. 3, circle 2 indicates a method using the PSNR value of each frame. In this method, two threshold values, ie, a threshold value 1 for determining that the image quality is not sufficient and a threshold value 2 for determining that the image quality is more than necessary are used for the PSNR value of each frame. By using these two thresholds, it is determined whether the PSNR value of each frame satisfies the required image quality. Accordingly, whether or not the required image quality is satisfied is determined for each frame.

[閾値1を25[dB]、閾値2を30[dB]に設定する場合]
この場合は、フレーム1、2は要求画像品質を必要以上に十分満たすと判定され、フレーム3、4は要求画像品質を満たす、つまり画像品質は適切であると判定され、フレーム5、6は要求画像品質を満たさないと判定される。
[When threshold 1 is set to 25 [dB] and threshold 2 is set to 30 [dB]]
In this case, frames 1 and 2 are determined to satisfy the required image quality more than necessary, frames 3 and 4 are determined to satisfy the required image quality, that is, the image quality is determined to be appropriate, and frames 5 and 6 are required. It is determined that the image quality is not satisfied.

<QP値を用いた判定方法>
図4は、QP(Quantization Parameter)値を用いた判定方法を示す図である。図4において、丸1は、符号化する画像シーケンス全体の平均QP値を用いる方法を示す。本方法では、画像シーケンス全体の平均QP値に対し、画像品質が十分でないと判定するための閾値1と、画像品質が必要以上に十分であると判定するための閾値2の2つの閾値を用いる。これらの2つの閾値を用いることにより、平均QP値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、画像シーケンス全体に対して判定される。ここで、QP値は、量子化の粗さを規定するパラメータであり、値が小さい程、量子化が細かくなり、品質が向上する。逆に、値が大きい程、量子化が粗くなり、品質が劣化する、という性質がある。図3に示す例では、平均QP値は35である。
<Determination method using QP value>
FIG. 4 is a diagram illustrating a determination method using a QP (Quantization Parameter) value. In FIG. 4, circle 1 indicates a method using the average QP value of the entire image sequence to be encoded. In this method, two threshold values are used for the average QP value of the entire image sequence: a threshold value 1 for determining that the image quality is not sufficient, and a threshold value 2 for determining that the image quality is more than necessary. . By using these two threshold values, it is determined whether the average QP value satisfies the required image quality. Accordingly, whether or not the required image quality is satisfied is determined for the entire image sequence. Here, the QP value is a parameter that defines the roughness of quantization. The smaller the value, the finer the quantization and the higher the quality. Conversely, the larger the value, the rougher the quantization and the quality deteriorates. In the example shown in FIG. 3, the average QP value is 35.

[閾値1を30、閾値2を20に設定する場合]
この場合は、平均QP値が閾値1を上回るため、要求画像品質を満たさないと判定される。
[When threshold 1 is set to 30 and threshold 2 is set to 20]
In this case, since the average QP value exceeds the threshold value 1, it is determined that the required image quality is not satisfied.

[閾値1を40、閾値2を30に設定する場合」
この場合は、平均QP値が閾値1を下回り、且つ閾値2を上回るため、要求画像品質を満たす、つまり画像品質は適切であると判定される。
[When threshold 1 is set to 40 and threshold 2 is set to 30]
In this case, since the average QP value is lower than the threshold value 1 and higher than the threshold value 2, it is determined that the required image quality is satisfied, that is, the image quality is appropriate.

[閾値1を50、閾値2を40に設定する場合」
この場合は、平均QP値が閾値2を下回るため、要求画像品質を必要以上に十分満たすと判定される。
[When threshold 1 is set to 50 and threshold 2 is set to 40]
In this case, since the average QP value is lower than the threshold value 2, it is determined that the required image quality is sufficiently satisfied more than necessary.

また、図4において、丸2は、各フレームのQP値を用いる方法を示している。本方法では、各フレームのQP値に対し、画像品質が十分でないと判定するための閾値1と、画像品質が必要以上に十分であると判定するための閾値2の2つの閾値を用いる。これらの2つの閾値を用いることにより、各フレームのQP値が、要求画像品質を満たすかどうかを判定する。従って、要求画像品質を満たすかどうかについては、フレーム毎に判定される。   In FIG. 4, circle 2 indicates a method using the QP value of each frame. In this method, two threshold values are used for the QP value of each frame: a threshold value 1 for determining that the image quality is not sufficient and a threshold value 2 for determining that the image quality is more than necessary. By using these two threshold values, it is determined whether or not the QP value of each frame satisfies the required image quality. Accordingly, whether or not the required image quality is satisfied is determined for each frame.

[閾値1を40、閾値2を30に設定する場合]
この場合は、フレーム1、2は要求画像品質を必要以上に十分満たすと判定され、フレーム3、4は要求画像品質を満たす、つまり画像品質は適切であると判定され、フレーム5、6は要求画像品質を満たさないと判定される。
[When threshold 1 is set to 40 and threshold 2 is set to 30]
In this case, frames 1 and 2 are determined to satisfy the required image quality more than necessary, frames 3 and 4 are determined to satisfy the required image quality, that is, the image quality is determined to be appropriate, and frames 5 and 6 are required. It is determined that the image quality is not satisfied.

次に、図2に示すステップS4において、画像品質は適切でない場合は、画像品質が低いかどうかを判断する(ステップS5)。画像品質が低い場合は、フレームレートを下げて(ステップS6)、ステップS4に遷移する。ステップS6において、フレームレートを下げるには、以下の方法がある。   Next, when the image quality is not appropriate in step S4 shown in FIG. 2, it is determined whether the image quality is low (step S5). If the image quality is low, the frame rate is lowered (step S6), and the process proceeds to step S4. In step S6, there are the following methods for reducing the frame rate.

<フレームレートを下げる場合>
図5は、フレームレートを下げる場合の方法を示す図である。図5において、丸1は、符号化する画像シーケンスで一律にフレームレートを下げる方法を示している。本方法では、画像シーケンスで一律にフレームレートを下げる、つまりフレームレートを1/2、1/3等に下げる。図5では、フレームレートを1/2に下げる例を示しており、例えば、30fpsを15fpsに、10fpsを5fpsに下げる。図5において、丸2は、要求画像品質を満たさないと判定されたフレームのみをスキップする方法を示している。要求画像品質をフレーム毎に判定する場合において、本方法では要求画像品質を満たさないと判定されたフレームのみをスキップする。図5では、フレーム2、3、5、7、8が要求画像品質を満たさないと判定され、これらのフレームを除外している。なお、フレームレートを下げる方法として、上記以外の方法を用いてもよい。
<To reduce the frame rate>
FIG. 5 is a diagram illustrating a method for lowering the frame rate. In FIG. 5, a circle 1 indicates a method for uniformly reducing the frame rate in the image sequence to be encoded. In this method, the frame rate is uniformly reduced in the image sequence, that is, the frame rate is reduced to 1/2, 1/3, and the like. FIG. 5 shows an example in which the frame rate is lowered to 1/2. For example, 30 fps is lowered to 15 fps, and 10 fps is lowered to 5 fps. In FIG. 5, a circle 2 indicates a method of skipping only frames determined not to satisfy the required image quality. When determining the required image quality for each frame, the present method skips only the frames determined not to satisfy the required image quality. In FIG. 5, it is determined that the frames 2, 3, 5, 7, and 8 do not satisfy the required image quality, and these frames are excluded. Note that a method other than the above may be used as a method of reducing the frame rate.

ステップS4とステップS5を介して、ステップS6において、フレームレートを下げる場合は、種々のバリエーションが考えられる。例えば、画像シーケンス全体で要求画像品質を満たすかどうかを判断し、または、フレーム毎に要求画像品質を満たすかどうかを判断して、フレームレートを下げる手法がある。また、フレーム毎に要求画像品質を満たすかどうかを判断して、要求画像品質を満たさないフレームのみを除外(スキップ)することにより、フレームレートを下げる手法もある。さらに、フレーム毎に要求画像品質を満たすかどうかを判断して、所定割合以上(例えば、半数以上)のフレームで要求画像品質を満たさない場合は、フレームレートを下げ、または、要求画像品質を満たさないフレームのみを除外(スキップ)することにより、フレームレートを下げる手法もある。なお、この他の実施方法決定アルゴリズムを規定しても良い。   Various variations are conceivable when the frame rate is lowered in step S6 via steps S4 and S5. For example, there is a technique for determining whether or not the required image quality is satisfied in the entire image sequence, or determining whether or not the required image quality is satisfied for each frame and lowering the frame rate. In addition, there is a method of reducing the frame rate by determining whether or not the required image quality is satisfied for each frame and excluding (skipping) only frames that do not satisfy the required image quality. Furthermore, it is determined whether the required image quality is satisfied for each frame, and if the required image quality is not satisfied with a frame of a predetermined ratio or more (for example, more than half), the frame rate is lowered or the required image quality is satisfied. There is also a technique for lowering the frame rate by excluding (skipping) only frames that are not present. Other implementation method determination algorithms may be defined.

次に、図2に示すステップS5において、画像品質が低くない場合は、フレームレートを上げて(ステップS7)、ステップS4へ遷移する。ステップS7において、フレームレートを上げるには、以下の方法がある。   Next, in step S5 shown in FIG. 2, when the image quality is not low, the frame rate is increased (step S7), and the process proceeds to step S4. In step S7, there are the following methods for increasing the frame rate.

<フレームレートを上げる場合>
図6は、フレームレートを上げる場合の方法を示す図である。但し、フレームレートの上限は、符号化する画像素材のフレームレートである。図6において、丸1は、符号化する画像シーケンスで一律にフレームレートを上げる方法を示している。本方法では、画像シーケンスで一律にフレームレートを上げる、つまりフレームレートを2倍、3倍等に上げる。図6では、フレームレートを2倍に上げる例を示している。例えば、15fpsを30fpsに、5fpsを10fpsに上げる。なお、フレームレートを上げる方法として、上記以外の方法を用いてもよい。
<To increase the frame rate>
FIG. 6 is a diagram illustrating a method for increasing the frame rate. However, the upper limit of the frame rate is the frame rate of the image material to be encoded. In FIG. 6, circle 1 shows a method of uniformly increasing the frame rate in the image sequence to be encoded. In this method, the frame rate is uniformly increased in the image sequence, that is, the frame rate is increased to 2 times, 3 times, or the like. FIG. 6 shows an example in which the frame rate is doubled. For example, 15 fps is increased to 30 fps, and 5 fps is increased to 10 fps. A method other than the above may be used as a method for increasing the frame rate.

ステップS4とステップS5を介して、ステップS7において、フレームレートを上げる場合は、種々のバリエーションが考えられる。例えば、画像シーケンス全体で要求画像品質を満たすかどうかを判断し、または、フレーム毎に要求画像品質を満たすかどうかを判断して、フレームレートを上げる手法がある。例えば、要求画像品質を満たすフレームがひとつでも存在する場合、または、所定割合以上(例えば、半数以上)のフレームで要求画像品質を満たす場合に、フレームレートを上げることが考えられる。   Various variations are conceivable when the frame rate is increased in step S7 via steps S4 and S5. For example, there is a method of increasing the frame rate by determining whether or not the required image quality is satisfied for the entire image sequence, or determining whether or not the required image quality is satisfied for each frame. For example, it is conceivable to increase the frame rate when there is even one frame that satisfies the required image quality, or when the required image quality is satisfied with a frame of a predetermined ratio or higher (for example, more than half).

次に、図2に示すステップS4において、画像品質が適切である場合は、受信バッファの状態をモデル化し、正常に動画像が再生できるか判定するVBVチェックを行なう(ステップS8)。ステップS8におけるVBVチェックの結果、OKとならずにフレーム単位の符号量再割り当てが必要であると判定された場合は、再度ビットアロケーション修正を行ない(ステップS9)、ステップS8に遷移する。一方、ステップS8におけるVBVチェックの結果、OKである場合は、決定したフレーム単位の符号量に従って第2符号化を実施して(ステップS10)、最終的な出力映像ストリームを得る。   Next, in step S4 shown in FIG. 2, when the image quality is appropriate, the state of the reception buffer is modeled, and a VBV check is performed to determine whether or not a moving image can be normally reproduced (step S8). As a result of the VBV check in step S8, when it is determined that the code amount reassignment in units of frames is necessary without being OK, the bit allocation is corrected again (step S9), and the process proceeds to step S8. On the other hand, if the result of the VBV check in step S8 is OK, the second encoding is performed according to the determined code amount for each frame (step S10), and a final output video stream is obtained.

なお、本実施形態では、ステップS4〜ステップS7を規定するものであり、その他構成要素については、従来の2パス動画像符号化方法を用いることができる。また、上記のステップS4〜ステップS7で規定する要求画像品質の判定方式およびフレームレート変更方式は、各ステップの実施毎に任意に選択可能である。さらに、ステップS4〜ステップS7がループとなっているように、一度要求画像品質を判定し、フレームレートの変更を実施した後、再び要求画像品質を判定し、2回目以降のフレームレートの変更を実施するといった再帰的な処理も可能である。   In the present embodiment, steps S4 to S7 are defined, and the conventional two-pass moving image encoding method can be used for the other components. The required image quality determination method and the frame rate change method defined in steps S4 to S7 can be arbitrarily selected for each step. Further, the required image quality is once determined and the frame rate is changed, so that the steps S4 to S7 are in a loop, the required image quality is determined again, and the second and subsequent frame rates are changed. Recursive processing such as implementation is also possible.

以上のような本発明の特徴的な動作は、コンピュータにプログラムを実行させることによりおこなうことができる。すなわち、本発明の動画像符号化プログラムは、フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、動画像を構成する画像素材に対して第1符号化を行なう処理と、前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、前記推定した各フレームの発生符号量を用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、前記判定の結果に応じて、フレームレートを変更する処理と、前記フレームレートの変更により、前記決定した割り当て符号量が要求画像品質を満たす場合に、第2符号化を行なう処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。   The characteristic operations of the present invention as described above can be performed by causing a computer to execute a program. That is, the moving image encoding program of the present invention is a moving image encoding program for changing a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required image quality. Processing for performing the first encoding on the image material constituting the image, processing for estimating the generated code amount of each frame in all quantization parameters based on the first encoded image data, and the estimation A process for determining an allocated code amount in units of frames according to encoding conditions using a generated code amount of each frame, and a process for determining whether the determined allocated code amount in units of frames satisfies a required image quality Depending on the result of the determination, a process for changing the frame rate, and the determined assigned code amount is determined by the change in the frame rate. If it meets the quality, a process of performing a second encoding, a series of processes including, is characterized in that a read by a computer, and can execute the command of.

このように、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。例えば、低ビットレート環境下の場合は、各画像フレームで一定以上の画像品質、つまり、量子化パラメータを下げ、符号化劣化を低減することにより、主観画質を向上させることができる。また、高ビットレート環境下の場合は、必要以上に十分であった画像品質を、量子化パラメータを増加することにより下げ、時間解像度を上げることにより、主観画質を向上させることができる。   In this way, it is determined whether the allocated code amount per frame satisfies the required image quality, and the frame rate is changed according to the determination result. Therefore, the quantization parameter and the frame rate are appropriately set with the limited code amount. Can be controlled. As a result, the subjective moving image quality can be improved. For example, in a low bit rate environment, subjective image quality can be improved by lowering the image quality of a certain level or more in each image frame, that is, by reducing the quantization parameter and reducing the encoding degradation. Also, in a high bit rate environment, the subjective image quality can be improved by reducing the image quality, which is more than necessary, by increasing the quantization parameter and increasing the time resolution.

以上説明したように、本実施形態によれば、フレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定し、判定の結果に応じて、フレームレートを変更するので、限られた符号量で量子化パラメータおよびフレームレートを適切に制御することができる。その結果、主観動画像品質を向上させることができる。   As described above, according to the present embodiment, it is determined whether the allocated code amount in units of frames satisfies the required image quality, and the frame rate is changed according to the determination result. Thus, the quantization parameter and the frame rate can be controlled appropriately. As a result, the subjective moving image quality can be improved.

本実施形態に係る動画像符号化装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the moving image encoder which concerns on this embodiment. 本実施形態に係る動画像符号化装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving image encoder which concerns on this embodiment. PSNR値を用いた判定方法を示す図である。It is a figure which shows the determination method using a PSNR value. QP値を用いた判定方法を示す図である。It is a figure which shows the determination method using QP value. フレームレートを下げる場合の方法を示す図である。It is a figure which shows the method in the case of reducing a frame rate. フレームレートを上げる場合の方法を示す図である。It is a figure which shows the method in the case of raising a frame rate.

符号の説明Explanation of symbols

10 動画像符号化装置
11 データベース
12 入出力インタフェース
13 第1符号化部
14 符号量推定部
15 割り当て符号量決定部
16 判定部
17 フレームレート変更部
18 VBVチェック部
19 割り当て符号量修正部
20 第2符号化部
30 制御バス
DESCRIPTION OF SYMBOLS 10 Moving image encoder 11 Database 12 Input / output interface 13 1st encoding part 14 Code amount estimation part 15 Allocation code amount determination part 16 Determination part 17 Frame rate change part 18 VBV check part 19 Allocation code quantity correction part 20 2nd Encoder 30 Control bus

Claims (9)

フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化方法であって、
データベースから入力された動画像を構成する画像素材に対して第1符号化を行なうステップと、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定するステップと、
前記推定した各フレームの発生符号量および設定されているフレームレートを用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定するステップと、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定するステップと、
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たす場合に、前記第1符号化の対象とされた画像データに対して第2符号化を行ない、前記第2符号化を行なわれた画像素材を出力するステップと、
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たさない場合には、前記設定されているフレームレートを変更し、その結果、前記第1符号化された画像データに基づいて決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを再度判定するステップと、を含むことを特徴とする動画像符号化方法。
A video encoding method for changing a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required image quality,
Performing first encoding on image material constituting a moving image input from a database;
Estimating a generated code amount of each frame in all quantization parameters based on the first encoded image data;
Using the estimated generated code amount of each frame and a set frame rate to determine an allocated code amount in units of frames according to encoding conditions;
Determining whether or not the determined code amount of the determined frame unit satisfies a required image quality;
As a result of the determination, when the determined allocated code amount satisfies the required image quality, the second encoding is performed on the image data that is the target of the first encoding, and the second encoding is performed. A step of outputting the selected image material,
As a result of the determination, when the determined allocated code amount does not satisfy the required image quality, the set frame rate is changed, and as a result, determined based on the first encoded image data. Re-determining whether or not the allocated code amount per frame satisfies the required image quality.
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たさない場合には、一律にフレームレートを下げるか、要求画像品質を満たさないフレームのみを除外するかの方法により前記設定されているフレームレートを変更することを特徴とする請求項1記載の動画像符号化方法。 If the determined allocation code amount does not satisfy the required image quality as a result of the determination, the setting is performed by a method of uniformly reducing the frame rate or excluding only frames that do not satisfy the required image quality. 2. The moving picture encoding method according to claim 1, wherein the frame rate is changed . 前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴とする請求項1または請求項2記載の動画像符号化方法。   The image quality of the entire image sequence is calculated based on the determined code amount allocated for each frame, and when the image quality is less than a first threshold value indicating the required image quality, the frame rate is uniformly applied to the entire image sequence. The moving picture encoding method according to claim 1 or 2, wherein the moving picture encoding method is reduced. 前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、前記第1の閾値未満であるフレームを除外することによりフレームレートを下げることを特徴とする請求項1または請求項2記載の動画像符号化方法。   When the image quality calculated from the assigned code amount of any frame unit among the determined assigned code amounts of each frame unit is less than the first threshold value indicating the required image quality, it is less than the first threshold value 3. The moving picture encoding method according to claim 1, wherein the frame rate is lowered by excluding frames that are. 前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第1の閾値未満である場合、画像シーケンス全体で一律にフレームレートを下げることを特徴とする請求項1または請求項2記載の動画像符号化方法。   Of the determined allocation code amount for each frame, the image quality calculated from the allocation code amount of any frame unit or the image quality calculated from the allocation code amount of a frame unit equal to or greater than a predetermined ratio is the required image. 3. The moving picture encoding method according to claim 1, wherein when the quality is less than the first threshold value indicating the quality, the frame rate is uniformly reduced over the entire image sequence. 前記決定したフレーム単位の割り当て符号量に基づいて、画像シーケンス全体の画像品質を算出し、前記画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴とする請求項1または請求項2記載の動画像符号化方法。   The image quality of the entire image sequence is calculated based on the determined allocated code amount in frame units, and when the image quality exceeds a second threshold value indicating the required image quality, the frame rate is uniformly set for the entire image sequence. 3. The moving picture coding method according to claim 1, wherein the moving picture coding method is increased. 前記決定した各フレーム単位の割り当て符号量のうち、いずれかのフレーム単位の割り当て符号量から算出される画像品質または所定の割合以上のフレーム単位の割り当て符号量から算出される画像品質が、要求画像品質を示す第2の閾値を超える場合、画像シーケンス全体で一律にフレームレートを上げることを特徴とする請求項1または請求項2記載の動画像符号化方法。   Of the determined allocation code amount for each frame, the image quality calculated from the allocation code amount of any frame unit or the image quality calculated from the allocation code amount of a frame unit equal to or greater than a predetermined ratio is the required image. 3. The moving picture encoding method according to claim 1, wherein when the second threshold value indicating quality is exceeded, the frame rate is uniformly increased over the entire image sequence. フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化装置であって、
データベースから入力された動画像を構成する画像素材に対して第1符号化を行なう第1符号化部と、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する符号量推定部と、
前記推定した各フレームの発生符号量および設定されているフレームレートを用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する割り当て符号量決定部と、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する判定部と、
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たす場合に、前記第1符号化の対象とされた画像データに対して第2符号化を行ない、前記第2符号化を行なわれた画像素材を出力する第2符号化部と、を備え、
前記符号量決定部は、前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たさない場合には、前記設定されているフレームレートを変更し、その結果、前記判定部は、前記第1符号化された画像データに基づいて決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを再度判定することを特徴とする動画像符号化装置。
A video encoding device that changes a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required image quality,
A first encoding unit that performs first encoding on an image material constituting a moving image input from a database;
A code amount estimating unit that estimates the generated code amount of each frame in all quantization parameters based on the first encoded image data;
An allocation code amount determination unit that determines an allocation code amount in units of frames according to encoding conditions, using the estimated generated code amount of each frame and a set frame rate;
A determination unit that determines whether the determined code amount of the determined frame unit satisfies a required image quality;
As a result of the determination, when the determined allocated code amount satisfies the required image quality, the second encoding is performed on the image data that is the target of the first encoding, and the second encoding is performed. A second encoding unit for outputting the obtained image material,
The code amount determination unit changes the set frame rate when the determined allocation code amount does not satisfy the required image quality as a result of the determination, and as a result, the determination unit A moving picture coding apparatus which judges again whether or not an allocated code amount per frame determined based on one coded image data satisfies a required picture quality.
フレーム単位で決定された割り当て符号量が、予め規定された要求画像品質を満たすようにフレームレートを変更する動画像符号化プログラムであって、
データベースから入力された動画像を構成する画像素材に対して第1符号化を行なう処理と、
前記第1符号化された画像データに基づいて、全量子化パラメータにおける各フレームの発生符号量を推定する処理と、
前記推定した各フレームの発生符号量および設定されているフレームレートを用いて、符号化条件に応じたフレーム単位の割り当て符号量を決定する処理と、
前記決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを判定する処理と、
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たす場合に、前記第1符号化の対象とされた画像データに対して第2符号化を行ない、前記第2符号化を行なわれた画像素材を出力する処理と、
前記判定の結果、前記決定した割り当て符号量が要求画像品質を満たさない場合には、前記設定されているフレームレートを変更し、その結果、前記第1符号化された画像データに基づいて決定したフレーム単位の割り当て符号量が要求画像品質を満たすかどうかを再度判定する処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴とする動画像符号化プログラム。
A video encoding program for changing a frame rate so that an allocated code amount determined in units of frames satisfies a predetermined required image quality,
A process of performing first encoding on image material constituting a moving image input from a database;
A process of estimating the generated code amount of each frame in all quantization parameters based on the first encoded image data;
Using the estimated generated code amount of each frame and a set frame rate, a process of determining an allocated code amount in units of frames according to encoding conditions;
A process of determining whether or not the determined code amount of the determined frame unit satisfies a required image quality;
As a result of the determination, when the determined allocated code amount satisfies the required image quality, the second encoding is performed on the image data that is the target of the first encoding, and the second encoding is performed. Output the processed image material,
As a result of the determination, when the determined allocated code amount does not satisfy the required image quality, the set frame rate is changed, and as a result, determined based on the first encoded image data. A moving image encoding program characterized in that a series of processes including a process of re-determining whether or not an allocated code amount in frame units satisfies a required image quality is read by a computer and converted into an executable command.
JP2008243188A 2008-09-22 2008-09-22 Moving picture coding method, moving picture coding apparatus, and moving picture coding program Expired - Fee Related JP5179306B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008243188A JP5179306B2 (en) 2008-09-22 2008-09-22 Moving picture coding method, moving picture coding apparatus, and moving picture coding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008243188A JP5179306B2 (en) 2008-09-22 2008-09-22 Moving picture coding method, moving picture coding apparatus, and moving picture coding program

Publications (2)

Publication Number Publication Date
JP2010074783A JP2010074783A (en) 2010-04-02
JP5179306B2 true JP5179306B2 (en) 2013-04-10

Family

ID=42206099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008243188A Expired - Fee Related JP5179306B2 (en) 2008-09-22 2008-09-22 Moving picture coding method, moving picture coding apparatus, and moving picture coding program

Country Status (1)

Country Link
JP (1) JP5179306B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3866538B2 (en) * 2001-06-29 2007-01-10 株式会社東芝 Video coding method and apparatus
KR100850706B1 (en) * 2002-05-22 2008-08-06 삼성전자주식회사 Method for adaptive encoding and decoding motion image and apparatus thereof
JP2004147104A (en) * 2002-10-24 2004-05-20 Sony Corp Moving image coding device
JP3846488B2 (en) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 Image data compression apparatus, encoder, electronic device, and image data compression method
JP4701065B2 (en) * 2005-10-17 2011-06-15 キヤノン株式会社 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2010074783A (en) 2010-04-02

Similar Documents

Publication Publication Date Title
JP4901772B2 (en) Moving picture coding method and moving picture coding apparatus
US9706203B2 (en) Low latency video encoder
JP2005065291A (en) Method of controlling encoding rate of video encoder, method of transmitting video data, encoding rate controller for video encoder, and video data transmission system
EP1575300B1 (en) System and method for controlling bit rate of an image
JP4358215B2 (en) Video encoding apparatus and method
US9014268B2 (en) Video encoder and its decoder
JP4366571B2 (en) Video encoding apparatus and method
EP3328083A1 (en) Method and apparatus for encoding a video applying adaptive quantisation
EP2041984A1 (en) Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
US6510176B1 (en) Variable-bit-rate coding apparatus
JP4790669B2 (en) Transcoder
JP4795223B2 (en) Image processing device
US7274739B2 (en) Methods and apparatus for improving video quality in statistical multiplexing
JP4179917B2 (en) Video encoding apparatus and method
JP5179306B2 (en) Moving picture coding method, moving picture coding apparatus, and moving picture coding program
US8780977B2 (en) Transcoder
US9426474B2 (en) Transcoder
JP4942208B2 (en) Encoder
JP4254784B2 (en) Moving picture coding apparatus, method and program
JP4186543B2 (en) Encoding apparatus, encoding method, program, and recording medium
JP2005045736A (en) Method and device for encoding image signal, encoding controller, and program
US8923391B2 (en) Encoding apparatus, control method for encoding apparatus and program
JP4556844B2 (en) Code amount control method and code amount control apparatus
JP4273386B2 (en) Encoding apparatus, encoding method, program, and recording medium
JP4621415B2 (en) Moving picture coding method, moving picture coding apparatus, and moving picture coding processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130109

R150 Certificate of patent or registration of utility model

Ref document number: 5179306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees