JP5342391B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、動画像圧縮における符号量制御アルゴリズムに関する。

符号量制御とは、発生符号量を制御することによって画質の最適化を図る技術である（例えば下記特許文献１，２参照）。現行の符号量制御アルゴリズムでは、ＧＯＰ（Group Of Picture）単位又はフレーム単位で符号量制御を行うものが一般的である。例えばフレーム単位の符号量制御では、１フレームに対する割り当て符号量が算出され、当該符号量を超えないように、フレーム内の各マクロブロックに対する量子化パラメータが制御される。

特開平１０−２１５４６０号公報 特開平１０−２４３３９９号公報

ＧＯＰ単位又はフレーム単位の符号量を目標符号量として制御する方法では、目標コンスタントビットレートを得るための平均区間が長く、符号量のピーク値として比較的大きな値が許容されるため、画質の向上を図ることが可能である。しかしながら、平均区間が長いということはバッファ時間が大きいことを意味し、エンコード処理に伴う遅延量が必然的に大きくなる。従って、ＧＯＰ単位又はフレーム単位の符号量制御は、記録番組の再生等のような遅延制限のないアプリケーションには適しているが、遅延制限の厳しいアプリケーション（例えば無線伝送のテレビゲーム機）には適していない。

本発明はかかる事情に鑑みて成されたものであり、マクロブロックライン単位の符号量を目標符号量とする符号量制御を行うことによって、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能な画像処理装置を得ることを目的とするものである。

本発明の第１の態様に係る画像処理装置は、画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、前記量子化処理における量子化パラメータを制御する制御部とを備え、前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前記直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値を用いることを特徴とするものである。

第１の態様に係る画像処理装置によれば、制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求める。そして、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを決定する。従って、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。
また、第１の態様に係る画像処理装置によれば、制御部は、直前に処理した所定数のマクロブロックに関する発生符号量を、所定数に対応する幅の計算窓を有する移動累積演算によって求める。従って、直前に処理した所定数のマクロブロックに関する発生符号量の変動が移動累積演算によって平滑化されるため、制御の精度を向上することが可能となる。
また、第１の態様に係る画像処理装置によれば、制御部は、計算窓が充填されるまでは、所定の初期値を基準値として用いる。従って、処理の開始直後において量子化パラメータが大きく変動する事態を回避できるため、画質を向上することが可能となる。
また、第１の態様に係る画像処理装置によれば、第１のしきい値は複数段階に設定されており、各段階に応じて異なる増減値が設定されている。従って、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差の大小に応じて、現在の処理対象のマクロブロックに関する量子化パラメータを細かく調整することが可能となる。
また、第１の態様に係る画像処理装置によれば、制御部は、現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照する。このように、マクロブロックに関する活発性評価値を付加情報として用いることにより、そのマクロブロックに関する量子化パラメータをより正確に設定することが可能となる。
また、第１の態様に係る画像処理装置によれば、制御部は、計算窓が充填された後は、基準値として、直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値を用いる。従って、マクロブロック間での量子化パラメータの増減が滑らかになるため、画質の向上を図ることが可能となる。

本発明の第２の態様に係る画像処理装置は、画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、前記量子化処理における量子化パラメータを制御する制御部とを備え、前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前回処理したマクロブロックに関する量子化パラメータを用いることを特徴とするものである。

第２の態様に係る画像処理装置によれば、制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求める。そして、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを決定する。従って、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。
また、第２の態様に係る画像処理装置によれば、制御部は、直前に処理した所定数のマクロブロックに関する発生符号量を、所定数に対応する幅の計算窓を有する移動累積演算によって求める。従って、直前に処理した所定数のマクロブロックに関する発生符号量の変動が移動累積演算によって平滑化されるため、制御の精度を向上することが可能となる。
また、第２の態様に係る画像処理装置によれば、制御部は、計算窓が充填されるまでは、所定の初期値を基準値として用いる。従って、処理の開始直後において量子化パラメータが大きく変動する事態を回避できるため、画質を向上することが可能となる。
また、第２の態様に係る画像処理装置によれば、第１のしきい値は複数段階に設定されており、各段階に応じて異なる増減値が設定されている。従って、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差の大小に応じて、現在の処理対象のマクロブロックに関する量子化パラメータを細かく調整することが可能となる。
また、第２の態様に係る画像処理装置によれば、制御部は、現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照する。このように、マクロブロックに関する活発性評価値を付加情報として用いることにより、そのマクロブロックに関する量子化パラメータをより正確に設定することが可能となる。
また、第２の態様に係る画像処理装置によれば、制御部は、計算窓が充填された後は、基準値として、前回処理したマクロブロックに関する量子化パラメータを用いる。従って、発生符号量の変動に対して素早く追従できるため、発生符号量の大きいマクロブロックが突発的に出現する際に、瞬間符号量が伝送路の最大伝送レートを超えて動画像の再生が途切れるという事態を回避することが可能となる。

本発明の第３の態様に係る画像処理装置は、画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、前記量子化処理における量子化パラメータを制御する制御部とを備え、前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前記直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値、及び、前回処理したマクロブロックに関する量子化パラメータの一方を選択的に用いることを特徴とするものである。

第３の態様に係る画像処理装置によれば、制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求める。そして、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを決定する。従って、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。
また、第３の態様に係る画像処理装置によれば、制御部は、直前に処理した所定数のマクロブロックに関する発生符号量を、所定数に対応する幅の計算窓を有する移動累積演算によって求める。従って、直前に処理した所定数のマクロブロックに関する発生符号量の変動が移動累積演算によって平滑化されるため、制御の精度を向上することが可能となる。
また、第３の態様に係る画像処理装置によれば、制御部は、計算窓が充填されるまでは、所定の初期値を基準値として用いる。従って、処理の開始直後において量子化パラメータが大きく変動する事態を回避できるため、画質を向上することが可能となる。
また、第３の態様に係る画像処理装置によれば、第１のしきい値は複数段階に設定されており、各段階に応じて異なる増減値が設定されている。従って、直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差の大小に応じて、現在の処理対象のマクロブロックに関する量子化パラメータを細かく調整することが可能となる。
また、第３の態様に係る画像処理装置によれば、制御部は、現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照する。このように、マクロブロックに関する活発性評価値を付加情報として用いることにより、そのマクロブロックに関する量子化パラメータをより正確に設定することが可能となる。
また、第３の態様に係る画像処理装置によれば、制御部は、計算窓が充填された後は、基準値として、直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値、及び、前回処理したマクロブロックに関する量子化パラメータの一方を選択的に用いる。従って、処理対象である動画像の種類に応じて適切な基準値を選択することにより、動画像の種類に応じて適切な符号量制御を実行することが可能となる。

本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、前記第２のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されていることを特徴とするものである。

第４の態様に係る画像処理装置によれば、第２のしきい値は複数段階に設定されており、各段階に応じて異なる増減値が設定されている。従って、マクロブロックに関する活発性評価値の大小に応じて、そのマクロブロックに関する量子化パラメータを細かく調整できるため、画質を向上することが可能となる。

本発明の第５の態様に係る画像処理装置は、第１〜第４のいずれか一つの態様に係る画像処理装置において特に、前記現在の処理対象のマクロブロックに関する量子化パラメータには、所定の下限値が設定されていることを特徴とするものである。

第５の態様に係る画像処理装置によれば、現在の処理対象のマクロブロックに関する量子化パラメータには、所定の下限値が設定されている。従って、静止画像が長時間連続すること等に起因して量子化パラメータが無制限に小さくなっていくという事態を回避することが可能となる。

本発明によれば、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 マクロブロック単位でのエンコード処理の一例を示す図である。 図１に示した制御部の構成を示すブロック図である。 量子化パラメータの決定結果を、視覚的に理解しやすいように区分して示す図である。 量子化パラメータの決定結果を、視覚的に理解しやすいように区分して示す図である。 量子化パラメータの決定結果を、視覚的に理解しやすいように区分して示す図である。 図１に示した制御部の他の構成を示すブロック図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、エンコーダ２及び制御部３を備えて構成されている。エンコーダ２は、ＭＰＥＧ−２又はＭＰＥＧ−４等の動画像に関する規格に準拠しており、圧縮符号化前の画像信号Ｓ１に対して量子化処理及び符号化処理等の画像処理を施すことにより、圧縮符号化後の画像信号Ｓ４を出力する。画像信号Ｓ４は、画像処理装置１から無線ＬＡＮ等によって表示装置に伝送され、表示装置において動画像が表示される。

制御部３には、画像信号Ｓ１，Ｓ４が入力されるとともに、１マクロブロックあたりの目標符号量を示す信号Ｓ２が入力される。制御部３は、これらの信号Ｓ１，Ｓ２，Ｓ４に基づいて、エンコーダ２内での量子化処理における量子化パラメータを、制御信号Ｓ３によって制御する。なお、１マクロブロックあたりの目標符号量は、画像処理装置１から表示装置への伝送ビットレートと、動画像のフレームレートと、表示装置の画素数とに基づいて算出される。

図２は、マクロブロック単位でのエンコード処理の一例を示す図である。図２には、行方向に１２８０画素、列方向に７２０画素を有する高精細の１フレームの画像を例示している。行方向に１６画素、列方向に１６画素ごとにマクロブロックとして分割されるため、１フレームは、行方向に８０個、列方向に４５個のマクロブロックに分割される。エンコーダ２は、マクロブロック単位で画像の圧縮処理を行う。なお、１行分のマクロブロックの集合は、マクロブロックラインと称される。

図３は、図１に示した制御部３の構成を示すブロック図である。図３に示すように、制御部３は、評価値演算部１０、パラメータ決定部１１、記憶部１２、移動累積演算部１３、及びビット数カウンタ１４を備えて構成されている。画像信号Ｓ１は、評価値演算部１０に入力される。信号Ｓ２は、パラメータ決定部１１に入力される。画像信号Ｓ４は、ビット数カウンタ１４に入力される。制御信号Ｓ３は、パラメータ決定部１１から出力される。

以下、本実施の形態に係る画像処理装置１の動作について説明する。以下の説明において、「Ｂ」は符号量、「ＢＮ」は１マクロブロックあたりの目標符号量、「ΔＢ」は目標符号量と実際に発生した発生符号量との差、「ｊ」はマクロブロックの番号、「ＱＰ」は量子化パラメータの値、「ＱＰ_０」は量子化パラメータの初期値、「ＱＰ_ｊ」は現在の処理対象のマクロブロックに関する量子化パラメータの値、「ＱＰ_ｊ−１」は前回処理したマクロブロックに関する量子化パラメータの値、「ＱＰ_Ｌ」は量子化パラメータの下限値、「Ｗ」は移動累積演算部１３が有する計算窓の幅（マクロブロック数）、「ｙ」は画素値（例えば輝度値）、「ｓ」はマクロブロック内における画素の行番号、「ｔ」はマクロブロック内における画素の列番号、「Ｍ」は１マクロブロックが有する行数及び列数、「Ｘ」はマクロブロック内における画素値のばらつき度合いを示す活発性評価値、「Ｔｈ１〜Ｔｈ３」（Ｔｈ１＞Ｔｈ２＞Ｔｈ３）は符号量に関するしきい値、「Ａ１，Ａ２」（Ａ１＞Ａ２）は活発性評価値に関するしきい値、「α_１，α_２」（α_１＜α_２）は任意の所定値、「β_１，β_２」（β_１＜β_２）は任意の所定値、とそれぞれ定義する。一例として、ＱＰ_０＝３８、ＱＰ_Ｌ＝２４、Ｗ＝８０、Ｔｈ１＝２０００、Ｔｈ２＝１０００、Ｔｈ３＝−２０００、Ａ１＝１０、Ａ２＝５、α_１＝１、α_２＝２、β_１＝１、β_２＝２、にそれぞれ設定されている。但し、これらの数値に限定されず、任意の値に設定することが可能である。

図３を参照して、ビット数カウンタ１４は、マクロブロック毎に発生符号量をカウントし、カウント結果を信号Ｓ１０として出力する。信号Ｓ１０は移動累積演算部１３に入力される。移動累積演算部１３は、直前に処理した所定数のマクロブロック（つまり幅Ｗに対応する複数個のマクロブロック）に関する発生符号量の総和を求め、その値を信号Ｓ１１として出力する。信号Ｓ１１はパラメータ決定部１１に入力される。

しきい値Ｔｈ１〜Ｔｈ３，Ａ１，Ａ２は、予め設定され、記憶部１２に記憶されている。しきい値Ｔｈ１〜Ｔｈ３，Ａ１，Ａ２は、信号Ｓ１３として記憶部１２からパラメータ決定部１１に入力される。同様に、所定値α_１，α_２，β_１，β_２は、予め設定され、記憶部１２に記憶されている。所定値α_１，α_２，β_１，β_２は、信号Ｓ１４として記憶部１２からパラメータ決定部１１に入力される。また、現在の処理対象のマクロブロックに関する活発性評価値Ｘ_ｊが、信号Ｓ１２として評価値演算部１０からパラメータ決定部１１に入力される。

まず、１番目のマクロブロック（つまりｊ＝１）に関する、量子化パラメータＱＰの決定アルゴリズム（換言すればアルゴリズムの初期化）について説明する。式（１）に示すように、１番目のマクロブロックに関しては、ΔＢ_１は０となる。式（２）に示すように、パラメータ決定部１１は、量子化パラメータＱＰ_１を初期値ＱＰ_０に決定する。

次に、２番目からＷ番目までのマクロブロック（つまり２≦ｊ≦Ｗ）に関する、量子化パラメータＱＰの決定アルゴリズムについて説明する。ΔＢ_ｊは式（３）で表される。式（４−１）に示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを式（４−２）の通りに決定する。式（４−１）中の記号「∩」は、「かつ」を意味する。同様に、式（５−１），（６−１），（７−１），（８−１），（９−１），（１０−１），（１１−１）にそれぞれ示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを、式（５−２），（６−２），（７−２），（８−２），（９−２），（１０−２），（１１−２）の通りにそれぞれ決定する。

次に、活発性評価値Ｘを求める演算について説明する。評価値演算部１０は、式（３２）に従って活発性評価値Ｘを求める。なお、式（３２）中における平均画素値（バーｙ_ｓ，ｔ）は、式（３３）によって定義される。

図４は、上記の式（３）〜（１１−２）で示したアルゴリズムによる量子化パラメータＱＰ_ｊの決定結果を、視覚的に理解しやすいように区分して示す図である。パラメータ決定部１１は、１マクロブロックあたりの目標符号量ＢＮと、直前に処理したｊ−１個のマクロブロックに関する発生符号量とに基づいて、ｊ−１個のマクロブロックに関する目標符号量と発生符号量との差（ΔＢ_ｊ）を求める。そして、パラメータ決定部１１は、その差（ΔＢ_ｊ）としきい値Ｔｈ１〜Ｔｈ３との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合は初期値ＱＰ_０）に対する増減値として決定する。

また、パラメータ決定部１１は、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値Ｘ_ｊと、しきい値Ａ１，Ａ２との比較結果を参照する。つまり、パラメータ決定部１１は、活発性評価値Ｘ_ｊとしきい値Ａ１，Ａ２との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合は初期値ＱＰ_０）に対する増減値として決定する。

ここで、量子化パラメータＱＰ_ｊには下限値ＱＰ_Ｌが設定されている。パラメータ決定部１１は、図４のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌより大きい場合には、その量子化パラメータＱＰ_ｊを採用し、一方、図４のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌ以下である場合には、下限値ＱＰ_Ｌを採用する。量子化パラメータＱＰ_ｊと下限値ＱＰ_Ｌとの比較結果に基づく量子化パラメータＱＰの決定アルゴリズムを表す式を示す。式（１２−１）に示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを式（１２−２）の通りに決定する。また、式（１３−１）に示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを式（１３−２）の通りに決定する。

次に、Ｗ＋１番目以降のマクロブロックに関する、量子化パラメータＱＰの第１の決定アルゴリズムについて説明する。ΔＢ_ｊは式（１４）で表される。式（１５−１）に示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを式（１５−２）の通りに決定する。同様に、式（１６−１），（１７−１），（１８−１），（１９−１），（２０−１），（２１−１），（２２−１）にそれぞれ示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを、式（１６−２），（１７−２），（１８−２），（１９−２），（２０−２），（２１−２），（２２−２）の通りにそれぞれ決定する。なお、前回処理したマクロブロック以前のＷ個のマクロブロックに関する量子化パラメータの平均値（バーＱＰ_ｊ−１）は、式（２３）によって定義される。

図５は、上記の式（１４）〜（２３）で示したアルゴリズムによる量子化パラメータＱＰ_ｊの決定結果を、視覚的に理解しやすいように区分して示す図である。パラメータ決定部１１は、１マクロブロックあたりの目標符号量ＢＮと、直前に処理したＷ個のマクロブロックに関する発生符号量とに基づいて、Ｗ個のマクロブロックに関する目標符号量と発生符号量との差（ΔＢ_ｊ）を求める。そして、パラメータ決定部１１は、その差（ΔＢ_ｊ）としきい値Ｔｈ１〜Ｔｈ３との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合はバーＱＰ_ｊ−１）に対する増減値として決定する。

また、パラメータ決定部１１は、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値Ｘ_ｊと、しきい値Ａ１，Ａ２との比較結果を参照する。つまり、パラメータ決定部１１は、活発性評価値Ｘ_ｊとしきい値Ａ１，Ａ２との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合はバーＱＰ_ｊ−１）に対する増減値として決定する。

ここで、上記と同様に量子化パラメータＱＰ_ｊには下限値ＱＰ_Ｌが設定されている。パラメータ決定部１１は、図５のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌより大きい場合には、その量子化パラメータＱＰ_ｊを採用し、一方、図５のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌ以下である場合には、下限値ＱＰ_Ｌを採用する。

次に、Ｗ＋１番目以降のマクロブロックに関する、量子化パラメータＱＰの第２の決定アルゴリズムについて説明する。ΔＢ_ｊは上記の式（１４）で表される。式（２４−１）に示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを式（２４−２）の通りに決定する。同様に、式（２５−１），（２６−１），（２７−１），（２８−１），（２９−１），（３０−１），（３１−１）にそれぞれ示す条件を満たす場合、パラメータ決定部１１は、量子化パラメータＱＰ_ｊを、式（２５−２），（２６−２），（２７−２），（２８−２），（２９−２），（３０−２），（３１−２）の通りにそれぞれ決定する。

図６は、上記の式（２４−１）〜（３１−２）で示したアルゴリズムによる量子化パラメータＱＰ_ｊの決定結果を、視覚的に理解しやすいように区分して示す図である。パラメータ決定部１１は、１マクロブロックあたりの目標符号量ＢＮと、直前に処理したＷ個のマクロブロックに関する発生符号量とに基づいて、Ｗ個のマクロブロックに関する目標符号量と発生符号量との差（ΔＢ_ｊ）を求める。そして、パラメータ決定部１１は、その差（ΔＢ_ｊ）としきい値Ｔｈ１〜Ｔｈ３との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合は前回処理したマクロブロックに関する量子化パラメータＱＰ_ｊ−１）に対する増減値として決定する。

また、パラメータ決定部１１は、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値Ｘ_ｊと、しきい値Ａ１，Ａ２との比較結果を参照する。つまり、パラメータ決定部１１は、活発性評価値Ｘ_ｊとしきい値Ａ１，Ａ２との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを、基準値（この場合は量子化パラメータＱＰ_ｊ−１）に対する増減値として決定する。

ここで、上記と同様に量子化パラメータＱＰ_ｊには下限値ＱＰ_Ｌが設定されている。パラメータ決定部１１は、図６のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌより大きい場合には、その量子化パラメータＱＰ_ｊを採用し、一方、図６のアルゴリズムによって決定した量子化パラメータＱＰ_ｊの値が下限値ＱＰ_Ｌ以下である場合には、下限値ＱＰ_Ｌを採用する。

図７は、図１に示した制御部３の他の構成を示すブロック図である。画像処理装置１の処理対象である動画像の種類に関する情報が、信号Ｓ２０としてパラメータ決定部１１に入力されている。例えば、画像処理装置１がテレビゲーム機に搭載される場合には、ゲームの種類に関する情報や、ゲーム内で進行している現在の場面に関する情報が、信号Ｓ２０として入力される。パラメータ決定部１１は、信号Ｓ２０に基づいて、図５に示したアルゴリズム、及び、図６に示したアルゴリズムの一方を選択して適用する。

このように本実施の形態に係る画像処理装置１によれば、制御部３は、１マクロブロックあたりの目標符号量ＢＮと、直前に処理したＷ個のマクロブロックに関する発生符号量とに基づいて、直前に処理したＷ個のマクロブロックに関する目標符号量と発生符号量との差（ΔＢ_ｊ）を求める。そして、その差（ΔＢ_ｊ）としきい値Ｔｈ１〜Ｔｈ３との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを決定する。従って、ＧＯＰ単位やフレーム単位で符号量制御を行う場合と比較すると、遅延量を削減することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、制御部３は、直前に処理したＷ個のマクロブロックに関する発生符号量を、その個数に対応する幅の計算窓を有する移動累積演算によって求める。従って、直前に処理したＷ個のマクロブロックに関する発生符号量の変動が移動累積演算によって平滑化されるため、制御の精度を向上することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、制御部３は、計算窓が充填されるまでは、所定の初期値ＱＰ_０を基準値として用いる。従って、処理の開始直後において量子化パラメータが大きく変動する事態を回避できるため、画質を向上することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、しきい値Ｔｈ１〜Ｔｈ３は複数段階に設定されており、各段階に応じて異なる増減値（−１，±０，＋β_１，＋β_２）が設定されている。従って、直前に処理したＷ個のマクロブロックに関する目標符号量と発生符号量との差（ΔＢ_ｊ）の大小に応じて、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを細かく調整することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、制御部３は、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値Ｘ_ｊと、しきい値Ａ１，Ａ２との比較結果を参照する。従って、マクロブロックに関する活発性評価値Ｘ_ｊを付加情報として用いることにより、そのマクロブロックに関する量子化パラメータＱＰ_ｊをより正確に設定することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、しきい値Ａ１，Ａ２は複数段階に設定されており、各段階に応じて異なる増減値（±０，−α_１，−α_２）が設定されている。従って、マクロブロックに関する活発性評価値Ｘ_ｊの大小に応じて、そのマクロブロックに関する量子化パラメータＱＰ_ｊを細かく調整できるため、画質を向上することが可能となる。

また、本実施の形態に係る画像処理装置１によれば、現在の処理対象のマクロブロックに関する量子化パラメータＱＰ_ｊには、所定の下限値ＱＰ_Ｌが設定されている。従って、静止画像が長時間連続すること等に起因して量子化パラメータＱＰ_ｊが無制限に小さくなっていくという事態を回避することが可能となる。

また、図５に示した例によれば、制御部３は、基準値として、直前に処理したＷ個のマクロブロックに関する量子化パラメータの平均値（バーＱＰ_ｊ−１）を用いる。従って、マクロブロック間での量子化パラメータＱＰ_ｊの増減が滑らかになるため、画質の向上を図ることが可能となる。

また、図６に示した例によれば、制御部３は、基準値として、前回処理したマクロブロックに関する量子化パラメータＱＰ_ｊ−１を用いる。従って、発生符号量の変動に対して素早く追従できるため、発生符号量の大きいマクロブロックが突発的に出現する際に、瞬間符号量が伝送路の最大伝送レートを超えて動画像の再生が途切れるという事態を回避することが可能となる。

また、図７に示した例によれば、制御部３は、基準値として、直前に処理したＷ個のマクロブロックに関する量子化パラメータの平均値（バーＱＰ_ｊ−１）、及び、前回処理したマクロブロックに関する量子化パラメータＱＰ_ｊ−１の一方を選択的に用いる。従って、処理対象である動画像の種類に応じて適切な基準値を選択することにより、動画像の種類に応じて適切な符号量制御を実行することが可能となる。

１ 画像処理装置
２ エンコーダ
３ 制御部
１０ 評価値演算部
１１ パラメータ決定部
１２ 記憶部
１３ 移動累積演算部
１４ ビット数カウンタ

Claims (5)

1. 画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、
   前記量子化処理における量子化パラメータを制御する制御部と
   を備え、
   前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、
   前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、
   前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、
   前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、
   前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前記直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値を用いる、画像処理装置。
2. 画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、
   前記量子化処理における量子化パラメータを制御する制御部と
   を備え、
   前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、
   前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、
   前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、
   前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、
   前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前回処理したマクロブロックに関する量子化パラメータを用いる、画像処理装置。
3. 画像信号に対する量子化処理を含むエンコード処理を実行するエンコーダと、
   前記量子化処理における量子化パラメータを制御する制御部と
   を備え、
   前記制御部は、１マクロブロックあたりの目標符号量と、直前に処理した所定数のマクロブロックに関する発生符号量とに基づいて、前記直前に処理した所定数のマクロブロックに関する目標符号量と発生符号量との差を求め、その差と所定の第１のしきい値との比較結果に基づいて、現在の処理対象のマクロブロックに関する量子化パラメータを、基準値に対する増減値として決定し、
   前記制御部は、前記直前に処理した所定数のマクロブロックに関する発生符号量を、前記所定数に対応する幅の計算窓を有する移動累積演算によって求め、
   前記第１のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されており、
   前記制御部は、前記現在の処理対象のマクロブロックに関する量子化パラメータを決定するにあたり、当該マクロブロック内における画素値のばらつき度合いを示す活発性評価値と、所定の第２のしきい値との比較結果を参照し、
   前記制御部は、前記計算窓が充填されるまでは、所定の初期値を前記基準値として用い、前記計算窓が充填された後は、前記基準値として、前記直前に処理した所定数のマクロブロックに関する量子化パラメータの平均値、及び、前回処理したマクロブロックに関する量子化パラメータの一方を選択的に用いる、画像処理装置。
4. 前記第２のしきい値は複数段階に設定されており、各段階に応じて異なる前記増減値が設定されている、請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記現在の処理対象のマクロブロックに関する量子化パラメータには、所定の下限値が設定されている、請求項１〜４のいずれか一つに記載の画像処理装置。
   

Images