JP4632049B2 - 動画像符号化方法及び装置 - Google Patents

Description

本発明は、動画像符号化技術に関し、特に、マルチフレーム動き予測を行う動画像符号化方法及び装置に関する。

図１は、動画像信号を符号化する従来の典型的な符号化装置の構成を示すブロック図である。

図１に示される符号化装置は、局所的復号装置を含んでおり、周波数変換装置１０１、量子化装置１０２、可変長符号化装置１０３、逆量子化装置１０４、逆周波数変換装置１０５、フレームメモリ１０６、フレーム内予測装置１０７、動き補償装置１０８、動き推定装置１０９、バッファ１１０および符号量制御装置１１１を備えている。さらに符号化装置は、減算器１２１、スイッチ１２２および加算器１２３を備えている。

入力画像フレームは、符号化装置に入力されて、複数のブロックに分割される。分割されたブロックは、減算器１２１によって、フレーム内予測あるいはフレーム間予測による予測値が減じられる。ここで、フレーム内予測とは、現在の符号化フレームの再構築領域を用いて現在の画像を予測する方法であり、フレーム間予測とは、過去に再構築された画像フレームを用いて現在の画像を予測する方法である。フレーム内予測あるいはフレーム間予測による予測値が減じられた画像ブロックを予測誤差と呼ぶ。なお、同一符号化フレームの隣接画素から予測値を生成するフレーム内予測のみで符号化フレーム内の全てのブロックを符号化した画像フレームをＩピクチャと呼ぶ。フレーム内予測とフレーム間予測とを混在して用いて符号化された画像フレームをＰピクチャと呼ぶ。さらに、フレーム間予測において、現在の符号化フレームに対して入力時刻が過去と未来である複数の画像フレームを参照して符号化された画像フレームを、Ｂピクチャと呼ぶ。

一般に、符号化動画像データにおいて、Ｉピクチャは一定周期で設定され、このＩピクチャで区切られる複数フレームからなる区間をＧＯＰ（グループオブピクチャ；Group Of Picture）と呼ぶ。Ｉ，Ｐ，ＢピクチャおよびＧＯＰの定義は、国際標準の動画像符号化規格であるＭＰＥＧ(Motion Picture Expert Group)方式などで定められている。

次に、予測誤差は、周波数変換装置１０１によって周波数領域に変換される。周波数領域に変換された予測誤差は、量子化装置１０２によって量子化される。量子化された予測誤差すなわち変換係数は、可変長符号化装置１０３によってエントロピー符号化され、バッファ１１０に蓄積される。バッファ１１０は、蓄積した発生符号すなわちビットストリームを所定のタイミングで出力する。また、量子化された予測誤差は、局所的復号処理として、逆量子化装置１０４および逆周波数変換装置１０５により、再び元の空間領域の予測誤差に戻される。さらに空間領域に戻された予測誤差は、加算器１２３により予測値を加えられ、再構築画像としてフレームメモリ１０６に格納される。

フレームメモリ１０６に格納された再構築画像は、フレーム内予測装置１０７、動き補償装置１０８および動き推定装置１０９によって予測値の生成に参照される。よってフレームメモリ１０６に格納された再構築画像は参照フレームとも呼ばれる。

フレーム内予測装置１０７は、フレームメモリ１０７内の再構築画像に基づいてフレーム内予測を行い、予測値を出力する。動き推定装置１０９は、入力画像のブロックとフレームメモリ１０６から読み出される参照フレームとから、入力ブロックと予測値との差分すなわち予測誤差を最小にする、入力ブロックの動きベクトルと参照フレームとを検出する。動き補償装置１０８は、動き推定装置１０９から供給される動きベクトルと参照フレームを用いて、フレームメモリ１０６に格納された参照フレームから予測値を生成する。動き補償装置１０９による予測値はフレーム間予測に基づくものである。そこで、スイッチ１２２を設け、フレーム内予測装置１０７が出力する予測値と動き補償装置１０８が出力する予測値のうち、減算器１２１に供給される予測値を切り替えられるようにしている。

上記の処理によって圧縮された動画像情報であるビットストリームは、主にブロックごとの変換係数、量子化パラメータ、（予測誤差を最小にする）動きベクトル、および（予測誤差を最小にする）参照フレームからなる可変長符号によって構成されている。

以上は、動画像圧縮技術の基本動作である。

ところで、一般に、デジタル放送システムや画像通信サービスなどにおいて、動画像信号は、伝送・蓄積のために、その発生符号量すなわちビットレートが制御されている。そこで、符号量制御装置１１１は、可変長符号化装置１０３が供給する発生符号量を検出して、以下に示す２つの処理を実行して、発生符号量を制御する。

第１の処理では、符号量制御器１１１は、各ピクチャタイプに応じて各フレームに目標符号量を設定する。ＲをＧＯＰ内でまだ符号化されていないフレームに対して割り当てられる符号量、ＮｐおよびＮｂをそれぞれＧＯＰ内でまだ符号化されていないＰピクチャとＢピクチャの枚数、Ｘｉ，Ｘｐ，Ｘｂを式（１）〜（３）で定義される各ピクチャの画面の複雑さを示すパラメータ、ＫｐとＫｂをピクチャタイプ別の主観画質を考慮したパラメータであるとすると、ピクチャタイプ別の目標符号量Ｔｉ，Ｔｐ，Ｔｂは、式（４）〜（６）で与えられる。

Ｘｉ＝Ｑｉ×Ｃｉ …（１），
Ｘｐ＝Ｑｐ×Ｃｐ …（２），
Ｘｂ＝Ｑｂ×Ｃｂ …（３），
Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／（Ｋｐ×Ｘｉ）＋Ｎｂ×Ｘｂ／（Ｋｂ×Ｘｉ）） …（４），
Ｔｐ＝Ｒ／（Ｎｐ＋Ｎｂ×Ｋｐ×Ｘｂ／（Ｋｂ×Ｘｐ）） …（５），
Ｔｂ＝Ｒ／（Ｎｂ＋Ｎｐ×Ｋｂ×Ｘｐ／（Ｋｐ×Ｘｂ）） …（６）．
ここで、Ｃｉ，Ｃｐ，Ｃｂは、それぞれ、最後に符号化したＩ，Ｐ，Ｂピクチャの発生符号量であり、Ｑｉ，Ｑｐ，Ｑｂは、それぞれ、最後に符号化したＩ，Ｐ，Ｂピクチャの平均量子化ステップサイズとする。なお、以下の説明において、表記の簡単化のため、例えば、Ｃｉ，Ｃｐ，Ｃｂのいずれかである値は、Ｃｉ，ｐ，ｂのように記載する。また、Ｑｉ，ｐ，ｂ＝Ｘｉ，ｐ，ｂ／Ｔｉ，ｐ，ｂなる式は、Ｉピクチャに対するＱｉ＝Ｘｉ／Ｔｉという式と、Ｐピクチャに対するＱｐ＝Ｘｐ／Ｔｐという式と、Ｂピクチャに対するＱｂ＝Ｘｂ／Ｔｂという式とをまとめて示している。

各フレームを第１の処理と以下で説明する第２の処理とにしたがって符号化するごとに、ＧＯＰ内でまだ符号化されていないフレームに対して割り当てられる符号量Ｒを式（７）に基づいて更新する。

Ｒ＝Ｒ−Ｃｉ，ｐ，ｂ …（７）．
また、ＧＯＰ先頭のピクチャを符号化する際には、符号量Ｒを式（８）で初期化する。

Ｒ＝ｂｉｔ＿ｒａｔｅ×Ｎ／ｆｒａｍｅ＿ｒａｔｅ＋Ｒ …（８）．
ここで、ｂｉｔ＿ｒａｔｅは目標とするビットレートであり、ｆｒａｍｅ＿ｒａｔｅはフレームレートであり、ＮはＧＯＰ内のフレームの枚数である。

第２の処理では、第１の処理で求められた各フレームに対する割り当て符号量Ｔｉ，Ｔｐ，Ｔｂと実際の発生符号量を一致させるために、各ピクチャタイプ別に設定した仮想バッファ容量に基づいて、量子化ステップをマクロブロック単位のフィードバック制御で求める。

まずｊ番目のマクロブロックの符号化に先立ち、仮想バッファの占有量をピクチャタイプ別に式（９）でもとめる。

ｄｉ，ｐ，ｂ（ｊ）＝ｄｉ，ｐ，ｂ（０）＋Ｂ（ｊ−１）−Ｔｉ，ｐ，ｂ×（ｊ−１）／ＭＢｃｏｕｎｔ …（９）．
ｄｉ，ｐ，ｂ（０）は、仮想バッファの初期占有量であり、Ｂ（ｊ）は、フレームの先頭からｊ番目のマクロブロックまでの発生符号量であり、ＭＢｃｏｕｎｔは、フレーム内のマクロブロックの数である。

各フレームの符号化が終了した時、ピクチャタイプ別の仮想バッファの初期占有量ｄｉ，ｐ，ｂ（ＭＢｃｏｕｎｔ）は、次のピクチャに対する仮想バッファの初期占有量ｄｉ，ｐ，ｂ（０）として用いられる。

次に、ｊ番目のマクロブロックに対する量子化ステップサイズＱ（ｊ）を式（１０）によって、計算する。

Ｑ（ｊ）＝Ｑｉ，ｐ，ｂ×ｄｉ，ｐ，ｂ（ｊ）×３１／（１０×ｒ） …（１０），
Ｑｉ，ｐ，ｂ＝Ｘｉ，ｐ，ｂ／Ｔｉ，ｐ，ｂ …（１１）．
ｒは、リアクションパラメータと呼ばれるフィードバックループの応答速度を制御するパラメータであり、式（１２）で与えられる。

ｒ＝２×ｂｉｔｒａｔｅ／ｆｒａｍｅ＿ｒａｔｅ …（１２）．
なお、符号化の開始時における仮想バッファの初期占有量ｄｉ，ｐ，ｂ（０）は、式（１３）〜（１５）で与えられる。

ｄｉ（０）＝１０×ｒ／３１ …（１３），
ｄｐ（０）＝Ｋｐ×ｄｉ（０） …（１４），
ｄｂ（０）＝Ｋｂ×ｄｉ（０） …（１５）．
一方、直前に符号化したＩピクチャまたはＰピクチャだけからでなくさらに過去に符号化したフレームからＰピクチャを予測し、直前に符号化したＩピクチャまたはＰピクチャからだけでなくさらに過去に符号化したＢピクチャからもＢピクチャを予測するという、動き予測が可能なマルチフレーム動き予測を取り入れた動画像の符号化方式が考えられている。この方式では、過去に符号化した高画質なフレームを選択して動き予測を行えるため、動き予測の自由度が増大する。

しかしながら、上述した従来の動画像符号化技術は、マルチフレーム動き予測による動き予測の自由度を利用しないで、単純にピクチャタイプと、最後に符号化した各ピクチャの複雑度とのみで各フレームに対する割り当て符号量を制御する。このため従来の手法では、マルチフレーム動き予測を用いる動画像圧縮において、マルチフレーム動き予測を有効的に用いて動画像を高画質に符号化しているとはいえない。逆に言えば、マルチフレーム動き予測を用いる動画像圧縮において、マルチフレーム動き予測を有効的に用いることにより、動画像を高品質に符号化できる技術が望まれている。

本発明の目的は、マルチフレーム動き予測を有効的に活用して動画像を高画質に符号化することができる動画像符号化方法を提供することにある。

本発明の別の目的は、マルチフレーム動き予測を有効的に活用して動画像を高画質に符号化することができる動画像符号化装置を提供することにある。

本発明の目的は、複数枚の画像フレームを参照してマルチフレーム動き予測を行う動画像符号化方法であって、マルチフレーム動き予測に用いる参照フレームに、同じピクチャタイプの他のフレームよりも高画質に符号化されたフレームを含めることを有する、動画像符号化方法によって達成される。

本発明の別の目的は、複数枚の画像フレームを参照してマルチフレーム動き予測を行って符号化を行う動画像符号化装置であって、同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択する選択手段と、選択された参照フレームを同じピクチャタイプの他の参照フレームよりも高画質に符号化する符号化手段と、を有することを特徴とする動画像符号化装置によって達成される。

本発明では、マルチフレーム動き予測を用いる動画像圧縮において、単純にピクチャタイプと最後に符号化した各ピクチャの複雑度を利用するのではなく、マルチフレーム動き予測における符号化対象フレームと参照フレームとの関係も考慮し、参照フレームとして優先度の高いフレームを高画質に符号化することによって、シーン全体の動き予測の効果を改善するような符号量制御を行う。これにより、本発明によれば、マルチフレーム動き予測による動き予測の自由度を利用した動画像圧縮において、高画質な動画像符号化方法を実現できる。

また、動画像のシーンに応じて、高画質に符号化するフレームを一定のフレーム間隔で配置したり、高画質に符号化するフレームのフレーム間隔を、参照フレームと符号化対象フレームとの間の差分情報及び動き情報とによって適応的に変更することで、優先的に高画質に符号化する参照フレームを正確に選択することができ、より高画質な動画像の符号量制御を提供できる。この結果、さらに動画像を高画質に符号化することができる。

また、参照フレームとして優先度の高いＢピクチャフレームにより多くの符号量を割り当てることにより、高画質な動画像の符号量制御も提供できる。この結果、シーケンス全体の動き予測の効果を改善できるので、動画像を高画質に符号化することができる。

図１は、従来の典型的な動画像符号化装置の構成を示すブロック図である。 図２は、本発明に基づく動画像符号化処理を説明する図である。 図３は、本発明に基づく動画像符号化処理を説明する図である。 図４は、本発明の第１の実施形態の動画像符号化装置の構成を示すブロック図である。 図５は、画質制御装置の構成を示すブロック図である。 図６は、画質判定の処理を示すフローチャートである。 図７は、高画質に符号化されるフレームを説明する図である。 図８は、画質制御カウンタ処理を示すフローチャートである。 図９は、符号量制御装置の構成を示すブロック図である。 図１０は、フレーム符号量割り当ての処理を示すフローチャートである。 図１１は、量子化パラメータ更新の処理を示すフローチャートである。 図１２は、本発明の第２の実施形態の動画像符号化装置の構成を示すブロック図である。 図１３は、動画像解析装置の構成を示すブロック図である。 図１４は、動き検出の処理を示すフローチャートである。 図１５は、画質制御装置の構成を示すブロック図である。 図１６は、画質判定の処理を示すフローチャートである。 図１７Ａは、最良参照フレームを説明する図である。 図１７Ｂは、最良参照フレームを説明する図である。 図１８Ａは、フレーム間予測困難度を説明する図である。 図１８Ｂは、フレーム間予測困難度を説明する図である。 図１９は、高画質符号化フレーム判定の処理を示すフローチャートである。 図２０は、高画質に符号化されるフレームを説明する図である。 図２１は、画質判定の処理を示すフローチャートである。 図２２は、高画質に符号化されるフレームを説明する図である。 図２３は、フレーム符号量割り当ての処理を示すフローチャートである。 図２４は、画質判定の処理を示すフローチャートである。 図２５は、本発明に基づく動画像符号化装置を実装した情報処理システムの一般的なブロック構成図である。 図２６は、本発明に基づいて生成された動画像ビットストリームが入力される受信機の一例を示すブロック図である。 図２７は、参照フレーム画質変動フラグを生成する処理を示すフローチャートである。

上述しように本発明では、マルチフレーム動き予測における符号化対象フレームと参照フレームとの関係も考慮し、参照フレームとして優先度の高いフレームを高画質に符号化することによって、シーン全体の動き予測の効果を改善するような符号量制御を行っている。

以下の説明において、「シーン」とは、任意の枚数の連続するフレームを意味する。「フレームを高画質に符号化する」とは、そのフレームに対して多くの符号量を割り当てる、そのフレームの量子化ステップサイズを小さくする、あるいは、そのフレームの符号化歪みを小さくすることなどを意味する。

以下に、本発明の基本原理について、従来技術と対比しながら説明する。

本発明では、マルチフレーム動き予測を用いた動画像符号化方法において、同じピクチャタイプのフレームの画質を均一ではなく、可変とすることで、シーン全体の動き予測の効果を高め、高画質な動画像の符号化を可能にしている。これに対し、従来の動き予測方向を用いた動画像符号化方法では、直前に符号化した画像のみから動き予測を行うため、同じピクチャタイプのフレームの画質を均一に保つ符号化しか行えなかった。なぜなら、同じシーンで画質を変動させた場合、画質の低下したフレームを参照するフレームでのフレーム間の差分が大きくなって動き予測の効果が低下するため、シーン全体の符号化効率が低下し、これに伴って、符号化された動画像の画質も低下するからである。

以下に図２を参照して、この問題点を説明する。

図２において実線で示すように、従来の動き予測では、各Ｐピクチャは、直前に符号化されたＩまたはＰピクチャのみを参照する。Ｐ₂，Ｐ₄フレームをＰ₁，Ｐ₃フレームよりも高画質に符号化しようとしても、Ｐ₁フレームは低画質で符号化されるため、Ｐ₁フレームを参照するＰ₂フレームでの動き予測の効果は大きく低減し、Ｐ₂フレームの画質も大きく低下する。Ｐ₂フレームを参照するＰ₃フレームも同様に画質が大きく低下し、この画質劣化が以降のフレームに伝播するため、シーン全体の画質が劣化する。このため従来の動き予測を用いた方法では、同じピクチャタイプの画像の画質を均一に保たなければならない。

しかしながら、本発明が適用される符号化方法のように、直前に符号化されたフレームだけでなく、さらに過去に符号化したフレームを参照して動き予測が可能なマルチフレーム動き予測がある。マルチフレーム動き予測により、図２に示した場合では、従来方式に追加して、点線で示すような予測が可能となる。この場合、フレーム内の領域あるいはブロックの単位で、参照するフレームを選択できる。

このマルチフレーム動き予測の構造を利用することにより、同じピクチャタイプでも、画質を変動させる符号化が可能となる。図２を参照して、本発明を説明する。

図２に示すマルチフレーム動き予測では、各Ｐピクチャは、直前に符号化された複数のＩまたはＰピクチャを参照する。ここでは、２枚のＩまたはＰピクチャを参照している。Ｐ₂，Ｐ₄フレームをＰ₁，Ｐ₃フレームよりも高画質に符号化しようとしたとき、Ｐ₁フレームが低画質で符号化されたとしても、Ｐ₁フレームだけでなくＩ₀フレームも参照するＰ₂フレームでは、動き予測の効果は大きく低減しない。よって、Ｐ₂フレームは高画質に符号化される。

また、高画質に符号化されたＰ₂フレームを参照するＰ₃フレームでの動き予測の効果も高まり、Ｐ₃フレームは、従来技術よりも高画質に符号化される。さらに、Ｐ₄フレームは、高画質に符号化されたＰ₂，Ｐ₃フレームを参照するため、より高画質に符号化される。以降のフレームでも前記と同様に、動き予測の効果が高まり、動画像を高画質に符号化することができる。

これにより、従来技術よりも動き予測の効果が高まり、動画像を高画質に符号化することが可能となる。また、本発明によって符号化された動画像は、高画質に符号化されたフレームが復号時に周期的に表示されることと、人間の残像の視覚特性により、従来技術よりも主観的にも高画質となる。

以上は、Ｉ、Ｐピクチャのみを用いた場合での例を示したが、Ｉ、Ｐ、Ｂピクチャを用いた場合にも、本発明を適用することができる。そこで、図３を用いて、Ｉ、Ｐ、Ｂピクチャが存在する場合の本発明の利点について、従来技術と対比させながら説明する。なお、Ｐピクチャに対する本発明の基本的な概念は図２に示したものと同様であるので、以下では、Ｂピクチャのみに着目して説明する。

従来技術において、Ｂピクチャフレームは、被参照でないフレーム、すなわち他のフレームから参照されないフレームである。したがって、Ｂピクチャフレームが連続する場合、その連続する各Ｂピクチャでの動き予測の効果が同等であるから、連続する各Ｂフレームには同じ符号量が割り当てられ、同じ画質で符号化される。ここで、連続する各Ｂピクチャの動き予測の効果が同等とする理由は、図３の例でＢ₁およびＢ₂フレームに着目すると、Ｉ₀，Ｐ₃フレームからＢ₁フレームまでのフレーム間距離がそれぞれ１，２であり、Ｂ₂フレームまではそれぞれ２，１であって、動き予測の効果を決定するフレーム間距離の総和がともに３だからである。

しかしながら、マルチフレーム動き予測を用いた動画像符号化においては、Ｂピクチャは、過去に符号化されたＢピクチャも参照することが可能である。このため、連続するＢピクチャの動き予測の効果は可変となる、図３のＢ₁およびＢ₂フレームに着目すると、Ｂ₂フレームでは、Ｉ₀フレームだけでなく、フレーム間距離の短いＢ₁フレームを参照した動き予測が可能であり、Ｂ₂フレームでは、明らかにＢ₁フレームよりも高い動き予測の性能が得られる。このため、Ｂ₁フレームとＢ₂フレームとに同じ符号量を割り当てなくとも、同じ画質で符号化することができる。

このことを利用し、本発明によれば、マルチフレーム動き予測を用いた動画像符号化方法において、連続するＢフレームにおいて符号化順で先行する参照Ｂフレームに優先的に符号量を配分することで、高画質に動画像符号化を行うことができることになる。図３に示したＢ₁およびＢ₂フレームにおいては、優先的に符号量が割り当てられた分だけ、Ｂ₁フレームは従来技術よりも高画質に符号化されることとなり、より高画質に符号化されたＢ₁フレームを参照するＢ₂フレームも、より高画質に符号化できる。すなわち、Ｂピクチャフレームの画質を変動させることで、動き予測全体の効果を高め、動画像をより高画質に符号化することができる。

以下に本発明の具体的な実施形態を説明する。

図４に示した本発明の第１の実施形態の動画像符号化装置は、図１に示した動画像符号化装置に対し、さらに、画質制御装置１１２を加えたものであり、符号量制御装置１１１は、画質制御装置１１２から供給される画質制御情報に基づいて、参照フレームに対応する割り当て符号量を決定する。図４において、図１におけるものと同一の構成要素には同一の参照符号が付与されており、これらについては、詳細な説明は省略する。なお、第１の実施形態では、フレームを符号化するピクチャタイプとしてＩピクチャとＰピクチャとを用いる場合の動作を説明する。以下、本実施形態の動画像符号化装置で特徴的な画質制御装置１１２および符号量制御装置１１１を説明する。

図５に示されるように、画質制御装置１１２は、画質判定装置１１２１と画質制御カウンタ１１２２によって構成されている。画質制御装置１１２が供給する画質制御情報は、高画質化フラグＨＱ＿ｆｌｇと残り高画質化フレーム数Ｒ＿ＨＱ＿ｎｕｍと残り高画質化フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍとである。画質制御装置１１２において画質判定装置１１２１は、高画質化フラグＨＱ＿ｆｌｇ、高画質化フレーム数ＨＱ＿ｎｕｍおよび高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍを計算し、高画質化フラグＨＱ＿ｆｌｇを符号量制御装置１１１に供給し、高画質化フレーム数ＨＱ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍを画質制御カウンタ１１２２に供給する。

以下、図６を参照して、本実施形態における画質判定装置１１２１の動作を説明する。以下の説明において、高画質に符号化されるフレーム相互のフレーム間隔をＳとし、直前に高画質に符号化すると判定したフレーム番号をｐｒｅｖ＿ｈｑ＿ｎｕｍ、高画質化判定済みのフレーム枚数をｉとする。ただし、符号化対象フレームとマルチフレーム予測で参照できる最も過去のフレームとの間隔をＭＡＸ＿ＲＥＦとして、Ｓ≦ＭＡＸ＿ＲＥＦである。ｐｒｅｖ＿ｈｑ＿ｎｕｍとｉの初期値はいずれも０である。

なお、本実施形態において、高画質に符号化するフレーム間隔Ｓは、動きの速さあるいは圧縮後のフレームレートによって、ある期間ごと、例えば、ＧＯＰごとあるいはシーンごとに、切り替えてもよい。ＧＯＰごとあるいはシーンごとにそれに適したフレーム間隔Ｓを選択することによって、本発明による符号化効率の改善はさらに高まる。

ステップＳ１０１では、画質判定装置１１２１は、フレーム間隔ＳとＧＯＰのフレーム枚数Ｎとから、式（１６）を用いて高画質化フレーム数ＨＱ＿ｎｕｍを計算する。

ＨＱ＿ｎｕｍ＝（Ｎ／Ｓ）−１ …（１６）．
次にステップＳ１０２において、画質判定装置１１２１は、高画質化フレーム数ＨＱ＿ｎｕｍよりも高画質化判定済みのフレーム枚数ｉが小さいかを判定し、小さければステップＳ１０３を実行し、そうでなければ処理を終了する。

ステップＳ１０３では、画質判定装置１１２１は、高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ｉ］を式（１７）を用いて計算する。また、次の処理のために高画質化判定済みのフレーム枚数ｉを１インクリメントし、直前に高画質に符号化すると判定したフレーム番号ｐｒｅｖ＿ｈｑ＿ｎｕｍを式（１８）によって更新し、ステップＳ１０２を実行する。

ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ｉ］＝ｐｒｅｖ＿ｈｑ＿ｎｕｍ＋Ｓ …（１７），
ｐｒｅｖ＿ｈｑ＿ｎｕｍ＝ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ｉ］ …（１８）．
画質判定装置１１２１は、以上の処理を完了した後ＨＱ＿ｎｕｍが１以上であればＨＱ＿ｆｌｇをオンとし、そうでなければオフとする。

本実施形態の動画像符号化装置では、図６で示した処理によって、他のフレームの符号化に際して参照される参照フレームをＳの間隔ごとに高画質に符号化する。Ｓは、マルチフレーム予測で最も過去に参照できるフレームの間隔ＭＡＸ＿ＲＥＦ以下であるから、すべての符号化対象フレームは、必ず、高画質に符号化されたフレームを参照して動き予測が可能となる。

例として、Ｎ＝１０，ＭＡＸ＿ＲＥＦ＝３，Ｓ＝２の場合に、本実施形態の方法によって高画質に符号化されるフレームを図７に示す。この場合、Ｐ₂、Ｐ₄、Ｐ₆、Ｐ₈の各フレームが高画質に符号化される。

画質制御カウンタ１１２２は、符号量制御器１１１が供給するフレーム番号ｃｏｄｉｎｇ＿ｆｒａｍｅ＿ｎｕｍ、画質判定装置１１２１が供給する高画質化フレーム数ＨＱ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｎｕｍ］から、残り高画質化フレーム数Ｒ＿ＨＱ＿ｎｕｍと残り高画質化フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍを計算し、符号量制御器１１１に出力する。この画質制御カウンタ１１２２は、高画質化フレーム数ＨＱ＿ｎｕｍが１以上の時にのみ動作する。ここで、ＧＯＰ先頭のＩピクチャのフレーム番号をｆｒａｍｅ＿ｎｕｍ＿Ｉ、高画質フレームカウンタＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔを０とし、図８を参照して、画質制御カウンタ１１２２の動作を説明する。

ステップＳ２０１では、画質制御カウンタ１１２２は、画質判定装置１１２１から供給される高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔ］にｆｒａｍｅ＿ｎｕｍ＿Ｉを加える。これは、符号量制御器１１１から入力される符号化中のフレーム番号ｃｏｄｉｎｇ＿ｆｒａｍｅ＿ｎｕｍと高画質に符号化するフレーム番号との同期をとるためである。

ステップＳ２０２において、画質制御カウンタ１１２２は、ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔ］を残り高画質フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍとし、ＨＱ＿ｎｕｍ−ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔを残り高画質フレーム数Ｒ＿ＨＱ＿ｎｕｍとして出力する。その後、ステップＳ２０３では、画質制御カウンタ１１２２は、フレーム番号ｃｏｄｉｎｇ＿ｆｒａｍｅ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔ］とが同期したかを判定する。同期した場合にはステップＳ２０４に移行し、そうでなければステップＳ２０２に戻る。

ステップＳ２０４では、画質制御カウンタ１１２２は、ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔを１インクリメントし、ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔがＨＱ＿ｎｕｍよりも小さいかどうかを判断する。ＨＱ＿ｆｒａｍｅ＿ｃｏｕｎｔがＨＱ＿ｎｕｍよりも小さければステップＳ２０１に移行し、そうでなければ処理を終了する。

以上のようにして、画質制御カウンタ１１２２は、残り高画質フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍと残り高画質フレーム数Ｒ＿ＨＱ＿ｎｕｍとを符号量制御装置１１１に出力する。

符号量制御装置１１１は、図９に示されるように、フレーム符号量割り当て装置１１１１と量子化パラメータ更新装置１１１２とによって構成されている。本実施形態における符号量制御装置１１１と、図１に示した従来の動画像符号化装置における符号量制御装置との違いは、フレーム符号量割り当て装置１１１１の動作にある。

本実施形態においてフレーム符号量割り当て装置１１１１は、画質制御装置１１２から供給される画質制御情報（高画質化フラグＨＱ＿ｆｌｇ、残り高画質化フレーム数Ｒ＿ＨＱ＿ｎｕｍおよび残り高画質化フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍ）を用いて、各フレームに対する割り当て符号量を計算し、量子化パラメータ更新装置１１１２へ供給する。量子化パラメータ更新装置１１１２は、フレーム符号量割り当て装置１１１１から供給されるフレーム割り当て符号量とバッファ１１０から供給される発生符号量とを用いて、量子化パラメータを計算し、可変長符号化装置１０３に供給する。

以下に、フレーム符号量割り当て装置１１１１の動作を説明する。なお、以下の説明において、目標符号量Ｔｉ，Ｔｐをピクチャタイプ別の目標符号量、ＲをＧＯＰ内でまだ符号化されていないフレームに対して割り当てられる符号量、ＮｐをＧＯＰ内でまだ符号化されていないＰピクチャの枚数、Ｘｉを最後に符号化したＩピクチャの画面の複雑度、Ｘｐを最後に符号化したＰピクチャの画面の複雑度、Ｋｐをピクチャタイプ別の主観画質を考慮したパラメータとする。

図１０は、第１の実施形態におけるフレーム符号量割り当て装置１１１１の動作を示している。

まずステップＳ３０１において、フレーム符号量割り当て装置１１１１は、画質制御装置１１２から供給される高画質化フラグＨＱ＿ｆｌｇがオンかオフかを判定する。高画質化フラグＨＱ＿ｆｌｇがオンであればステップＳ３０２に移行し、オフであればステップＳ３０７に移行する。

ステップＳ３０２では、今から符号化しようとするフレームがＩピクチャか否かが判定される。符号化対象フレームがＩピクチャであればステップＳ３０３に移行し、そうでなければステップＳ３０４に移行する。

ステップＳ３０３では、フレーム符号量割り当て装置１１１１は、今から符号化するＩピクチャに対する符号量Ｔｉを式（１９）によって計算し、フレーム符号量割り当てを終了する。

Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／Ｘｉ）＋ａｄｄｉｔｉｏｎａｌ＿Ｔｉ …（１９），
ａｄｄｉｔｉｏｎａｌ＿Ｔｉ＝ｒｅｓｉｄｕ１＿ｂｉｔ１×Ｘｉ／Ｘｇｏｐ２ …（２０），
ｒｅｓｉｄｕ＿ｂｉｔ１＝（ｍａｒｇｉｎ＿ｒａｔｉｏ×Ｒ×（Ｎｐ−Ｒ＿ＨＱ＿ｎｕｍ）×Ｘｐ）／（Ｋｐ×Ｘｇｏｐ１） …（２１），
Ｘｇｏｐ１＝Ｘｉ＋Ｎｐ×Ｘｐ／Ｋｐ …（２２），
Ｘｇｏｐ２＝Ｘｉ＋Ｒ＿ＨＱ＿ｎｕｍ×Ｘｐ／Ｋｐ …（２３）．
ここで、ｍａｒｇｉｎ＿ｒａｔｉｏは１以下の数である。

この場合、従来技術よりも、ａｄｄｉｔｉｏｎａｌ＿Ｔｉだけ多いビット数がこのＩフレームに割り当てられるので、このフレームの画質は改善する。この結果、このフレームを参照するフレームの動き予測効果も改善する。

ステップＳ３０４では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＰピクチャのフレーム番号ｃｏｄｉｎｇ＿ｆｒａｍｅ＿ｎｕｍが、画質制御装置１１２から供給される残り高画質フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍと同期するかを判定する。同期すればステップＳ３０５に移行し、そうでなければステップＳ３０６に移行する。

ステップＳ３０５では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＰピクチャに対する符号量を式（２４）によって計算し、フレーム符号量割り当てを終了する。

Ｔｐ＝Ｒ／Ｎｐ＋ａｄｄｉｔｉｏｎａｌ＿Ｔｐ …（２４），
ａｄｄｉｔｉｏｎａｌ＿Ｔｐ＝（ｍａｒｇｉｎ＿ｒａｔｉｏ×Ｒ×（Ｎｐ−Ｒ＿ＨＱ＿ｎｕｍ））／（Ｎｐ×Ｒ＿ＨＱ＿ｎｕｍ） …（２５）．
この場合、従来技術よりも、ａｄｄｉｔｉｏｎａｌ＿Ｔｐだけ多いビット数がこのＰフレームに割り当てられるので、このフレームの画質は改善する。この結果、このフレームを参照するフレームの動き予測効果も改善する。

ステップＳ３０６では、フレーム符号量割り当て装置１１１１は、式（２６）によって、今から符号化しようとするＰピクチャに対する符号量を計算し、フレーム符号量割り当てを終了する。

Ｔｐ＝（１−ｍａｒｇｉｎ＿ｒａｔｉｏ）×Ｒ／Ｎｐ …（２６）．
この場合、ｍａｒｇｉｎ＿ｒａｔｉｏの分だけこのフレームに対する割り当て符号量が減少するため、このフレームの画質劣化が考えられる。しかしながら、画質制御装置１１２の制御により、高画質に符号化されたフレームを参照して動き予測が可能であるから、割り当て符号量が多少すくなくても、動き予測の性能が改善した分、画質の劣化を抑えることができる。

ステップＳ３０７では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするフレームがＩピクチャか否かを判定する。符号化対象フレームがＩピクチャであればステップＳ３０８に移行し、そうでなければステップＳ３０９に移行する。

ステップＳ３０８では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＩピクチャに対する符号量を式（２７）によって計算し、フレーム符号量割り当てを終了する。

Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／Ｘｉ） …（２７）．
同様にステップＳ３０９では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＰピクチャに対する符号量を式（２８）によって計算し、フレーム符号量割り当てを終了する。

Ｔｐ＝Ｒ／Ｎｐ …（２８）．
以上の符号量割り当てにより、マルチフレーム動き予測における動き予測の自由度を利用して、すべてのフレームが高画質に符号化されたフレームを参照することができるようになる。これにより、本実施形態によれば、シーン全体の動き予測の効果が改善されるので、動画像を高画質に符号化することができる。

量子化パラメータ更新装置１１１２は、フレーム符号量割り当て装置１１１１で求められた各フレームに対する割り当て符号量Ｔｉ，Ｔｐと実際の発生符号量を一致させるため、各ピクチャタイプ別に設定した仮想バッファ容量に基づいて、量子化パラメータをマクロブロック単位でフィードバック制御する。図１１は、量子化パラメータの更新のフローチャートである。

まずステップＳ４０１では、量子化パラメータ更新装置１１１２は、ｊ番目のマクロブロックの符号化に先立ち、仮想バッファの占有量をピクチャタイプ別に式（２９）によって計算する。

ｄｉ，ｐ（ｊ）＝ｄｉ，ｐ（０）＋Ｂ（ｊ−１）−Ｔｉ，ｐ×（ｊ−１）／ＭＢｃｏｕｎｔ …（２９）．
ｄｉ，ｐ（０）はピクチャタイプ別の仮想バッファの初期占有量、Ｂ（ｊ）はフレームの先頭からｊ番目のマクロブロックまでの発生符号量、ＭＢｃｏｕｎｔはフレーム内のマクロブロックの数である。もちろん、Ｉピクチャ用の仮想バッファの初期占有量はｄｉ（０）であり、Ｐピクチャ用のｄｐ（０）である。

各フレームの符号化の終了時において、ピクチャタイプ別の仮想バッファの初期占有量ｄｉ，ｐ（ＭＢｃｏｕｎｔ）は、次のピクチャに対する仮想バッファの初期占有量ｄｉ，ｐ（０）として用いられる。

次にステップＳ４０２において、量子化パラメータ更新装置１１１２は、ｊ番目のマクロブロックに対する量子化ステップサイズを式（３０）によって計算する。

Ｑｓｔｅｐ＝Ｑｉ，ｐ×ｄｉ，ｐ（ｊ）×３１／（１０×ｒ） …（３０），
Ｑｉ，ｐ＝Ｘｉ，ｐ／Ｔｉ，ｐ …（３１）．
フレーム符号量割り当て装置１１１１の制御により、高画質に符号化されるフレームの割り当て符号量Ｔｉ，ｐは従来方式よりも大きくなる。よって、式（３１）から分かるように、高画質化フレームの量子化ステップサイズＱｉ，ｐは小さくなり、フレームは高画質に符号化される。この結果、出力されるビットストリームのフレームの平均量子化パラメータは、Ｓのフレーム間隔で小さな値をとる。

ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御するパラメータであり、式（３２）で与えられる。

ｒ＝２×ｂｉｔｒａｔｅ／ｆｒａｍｅ＿ｒａｔｅ …（３２）．
なお、符号化の開始時に仮想バッファの初期占有量ｄｉ，ｐ（０）は、ピクチャタイプごとに、式（３３）、（３４）で与えられる。

ｄｉ（０）＝１０×ｒ／３１ …（３３），
ｄｐ（０）＝Ｋｐ×ｄｉ（０） …（３４）．
続いてステップＳ４０３において、量子化パラメータ更新装置１１１２は、量子化ステップサイズＱｓｔｅｐに対応する量子化パラメータＱを量子化テーブルから検出する。量子化テーブルに、対応する量子化ステップサイズＱｓｔｅｐが存在しない場合、量子化ステップサイズＱｓｔｅｐに最も近い量子化ステップ値の量子化パラメータＱを出力する。

以上のようにして、第１の実施形態の動画像符号化装置は、参照フレームとして優先度の高いフレームを高画質に符号化することによって、シーン全体の動き予測の効果を改善するような符号量制御を行っている。

次に、本発明の第２の実施形態の動画像符号化装置を説明する。図１２に示す本発明の第２の実施形態の動画像符号化装置は、図４に示した第１の実施形態の動画像符号化装置に対し、さらに、動画像の解析を行う動画像解析装置１１３を加えたものである。動画像解析装置１１３はフレーム差分情報とフレーム動き情報を出力し、画質制御装置１１２は、このフレーム差分情報とフレーム動き情報をも用いて、画質制御情報を生成する。そこで、第２の実施形態の動画像符号化装置について、動画像解析装置１１３および画質制御装置１１２を重点的に説明する。なお、ここでは、フレームを符号化するピクチャタイプとして、ＩピクチャとＰピクチャとを用いる場合を説明する。

動画像解析装置１１３は、入力画像からフレーム差分情報とフレーム動き情報とを計算し、計算された情報を画質制御装置１１２へ供給するものであって、図１３に示すように、入力フレームバッファ１１３１と動き検出装置１１３２とによって構成されている。

入力フレームバッファ１１３１は、入力動画像フレームのＮ枚を先読みし、各フレームに昇順に番号を割り振り、フレームを蓄積する。この先読みフレームの枚数Ｎは任意であるが、例として、ＭＰＥＧで用いられるＧＯＰ間隔などをＮとして用いることが考えられる。

動き検出装置１１３２は、入力フレームバッファ１１３１に蓄積されたフレームから、各フレームのフレーム動き情報とフレーム差分情報を計算する。以下、
図１４を参照して動き検出装置１１３２の動作を説明する。動き検出装置１１３２は、先読みした各フレームに対して、図１４に示す各ステップの処理を行う。

まず、ステップＳ５０１において、動き検出装置１１３２は、フレームをフレームサイズＷ×Ｈよりも小さなｗ×ｈサイズのブロックに分割し、ステップＳ５０２において、フレームを構成するブロックのブロック動き情報ＭＶＸ，ＭＶＹとブロック差分情報Ｄを以下の処理によって計算する。

ｃｕｒ番目のフレームの座標（ｘ，ｙ）での画素値をＦ（ｃｕｒ，ｘ，ｙ）とし、ｃｕｒ番目のフレームの分割したｋ番目ブロックをＢ（ｃｕｒ，ｋ）とし、Ｂ（ｃｕｒ，ｋ）の左上角のフレーム内での座標を（ｂｘ（ｃｕｒ，ｋ），ｂｙ（ｃｕｒ，ｋ））とする。

ｃｕｒ番フレームのブロックＢ（ｃｕｒ，ｋ）の、そのフレームからｒｅｆ枚だけ過去のフレームすなわち（ｃｕｒ−ｒｅｆ）番フレームに対するブロック動き情報ＭＶＸ（ｃｕｒ，ｋ，ｒｅｆ），ＭＶＹ（ｃｕｒ，ｋ，ｒｅｆ）と差分情報Ｄ（ｃｕｒ，ｋ，ｒｅｆ）は、式（３５）のｄｉｆｆ（ｒｅｆ，ｍｖｘ，ｍｖｙ）を最小にするｍｖｘ，ｍｖｙと、その最小なｄｉｆｆ（ｒｅｆ，ＭＶＸ（ｃｕｒ，ｋ，ｒｅｆ），ＭＶＹ（ｃｕｒ，ｋ，ｒｅｆ））によって与えられる。

ｃｕｒ＿ｐｉｘｅｌ（ｉ，ｊ）＝Ｆ（ｃｕｒ，ｂｘ（ｃｕｒ，ｋ）＋ｉ，ｂｙ（ｃｕｒ，ｋ）＋ｊ） …（３６），
ｒｅｆ＿ｐｉｘｅｌ（ｒｅｆ，ｉ，ｊ）＝Ｆ（ｃｕｒ−ｒｅｆ，ｂｘ（ｃｕｒ，ｋ）＋ｉ，ｂｙ（ｃｕｒ，ｋ＋ｊ）） …（３７）．
そこでステップＳ５０３において、動き検出装置１１３２は、ブロック動き情報ＭＶＸ，ＭＶＹとブロック差分情報Ｄとから、フレーム動き情報とフレーム差分情報を計算する。

フレーム内のブロックの数をｂｌｏｃｋ＿ｎｕｍとすると、ｉ番目フレームのｉ−ｊ番目フレームに対するフレーム動き情報ＦＭＶｊ（ｉ）およびフレーム差分情報ＦＤｊ（ｉ）は、式（３８）、（３９）によって与えられる。

動き検出装置１１３２は、以上の処理を各入力フレームｉ （１≦ｉ≦Ｎ−１）および各参照フレームｒｅｆ （１≦ｒｅｆ≦ＭＡＸ＿ＲＥＦ）について行い、すべての入力フレームと参照フレームとの間のフレーム差分情報とフレーム動き情報を計算する。

画質制御装置１１２は、図１５に示すように、画質判定装置１１２１と画質制御カウンタ１１２２によって構成される。画質制御装置１１２が供給する画質制御情報は、高画質化フラグ、残り高画質化フレーム数及び残り高画質化フレーム番号である。本実施形態における画質制御装置１１２と上述した第１の実施形態の画質制御装置１１２とは、画質判定装置１１２１の動作に関して異なっている。そこで、以下では、この第２の実施形態における画質判定装置１１２１の動作を説明する。

画質判定装置１１２１は、動画像解析装置１１２によって供給されるフレーム差分情報とフレーム動き情報から、高画質化フラグ、高画質化フレーム数および高品質化フレーム番号を計算する。高画質化フラグは、符号量制御装置１１１に対して出力され、高画質化フレーム数と高品質化フレーム番号は画質制御カウンタ１１２２に出力される。以下、図１６を参照して、本実施形態における画質判定装置１１２１の動作を説明する。

まず、ステップＳ６０１において、画質判定装置１１２１は、各フレームｉとその参照フレームｊについて、式（４０）を用いて、フレーム間コストＩＦＣ（ｉ）を計算する。αはフレームの平均量子化パラメータに依存する値である。

ＩＦＣｊ（ｉ）＝ＦＤｊ（ｉ）＋α×ＦＭＶｊ（ｉ） …（４０），

次にステップＳ６０２において、画質判定装置１１２１は、は、最小フレーム間コストＭＩＮ＿ＩＦＣ（ｉ） （１≦ｉ≦Ｎ−１）を式（４１）を用いて計算し、これに対応する最良参照フレームＢＥＳＴ＿ＲＥＦ（ｉ）を求める。ここで、ＭＡＸ＿ＲＥＦは、符号化対象フレームとマルチフレーム予測で参照できる最も過去のフレームとの間隔である。

ステップＳ６０３において、画質判定装置１１２１は、すべてのフレームのＢＥＳＴ＿ＲＥＦ（ｉ） （１≦ｉ≦Ｎ−１）が１かを判定する。図１７Ａに示されるようにすべてのフレームのＢＥＳＴ＿ＲＥＦ（ｉ）が１であれば、Ｎ枚の解析区間にシーンチェンジやフラッシュなどの瞬時的な画像の変動がない連続したシーンであると予測される。これに対し、図１７Ｂに示すようにＢＥＳＴ＿ＲＥＦ（ｉ）が１でないフレームが存在する場合は、Ｎ枚の解析区間中にシーンチェンジやフラッシュなどが存在する不連続シーンであると予測される。そこで、ステップＳ６０３においてすべてのＢＥＳＴ＿ＲＥＦ（ｉ）が１であればステップＳ６０４へ移行し、そうでなければ、高画質化フラグをオフにし、高画質化フレーム数を０として、処理を終了する。

ステップＳ６０４において、画質制御装置１１２は、すべてのフレームのＭＩＮ＿ＩＦＣ（ｉ） （＝＝ＩＦＣ１（ｉ））から、平均フレーム間コストＡＶＥＲＡＧＥ＿ＩＦＣ、フレーム間コスト上限ＩＦＣ＿ＬＯＷＥＲ＿ＬＩＭＩＴおよびフレーム間コスト下限ＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴを式（４２）〜（４４）によって計算する。ここでｍａｒｇｉｎ＿ｒａｔｉｏは１以下の値である。

ＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴ＝（１＋ｍａｒｇｉｎ＿ｒａｔｉｏ）×ＡＶＥＲＡＧＥ＿ＩＦＣ …（４３），
ＩＦＣ＿ＬＯＷＥＲ＿ＬＩＭＩＴ＝（１−ｍａｒｇｉｎ＿ｒａｔｉｏ）×ＡＶＥＲＡＧＥ＿ＩＦＣ …（４４）．
その後ステップＳ６０５において、画質制御装置１１２は、すべてのフレームのＭＩＮ＿ＩＦＣ（ｉ） （１≦ｉ≦Ｎ−１）が、ＩＦＣ＿ＬＯＷＥＲ＿ＬＩＭＩＴとＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴとの間の範囲内に収まっているかを解析する。Ｎ−１枚すべての画像フレームのＭＩＮ＿ＩＦＣ（ｉ）が上記の範囲に収まっているのであれば、図１８Ａに示すように、フレーム間予測の困難度は安定となり、そうでなければ、図１８Ｂに示すように、不安定となる。

よって、画質制御装置１１２は、ステップＳ６０５においてすべてのフレームのＭＩＮ＿ＩＦＣ（ｉ）が上記の範囲に収まっていれば高画質化フラグをオンとしてステップＳ６０６に移行し、そうでなければ高画質化フラグをオフとし、高画質化フレーム数を０として、以降の処理を終了する。

ステップＳ６０６では、画質制御装置１１２は、ＧＯＰごとあるいはシーンごとに設定する最大高画質化フレーム間隔をＳＳとして、以下で述べる処理によって、高画質に符号化するフレーム間隔ＳをＳＳの範囲で適応的に計算する。ここで最大高画質化フレーム間隔ＳＳは、符号化対象フレームとマルチフレーム予測で最も過去に参照できるフレームとの間隔以下の値であって、動きの速さや動画像圧縮後でのフレームレートによって、適切に設定される。

ＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴを超えない連続したフレームの数をｓ＿ｆｒａｍｅとし、直前に高画質に符号化すると判定したフレーム番号をｐｒｅｖ＿ｆｎｕｍとし、画質判定処理中のフレームの番号をｉとして、図１９を参照して、高画質化フレーム数ＨＱ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［Ｎ−１］の計算方法の例を示す。ただし、ｓ＿ｆｒａｍｅの初期値は１であり、ｐｒｅｖ＿ｆｎｕｍの初期値は０であり、ｉの初期値は２であり、ＨＱ＿ｎｕｍの初期値は０である。

図１９は、ステップＳ６０６での処理をさらに詳細に示している。

まず、ステップＳ７０１において、画質制御装置１１２は、ＩＦＣｓ＿ｆｒａｍｅ＋１（ｉ）が、ＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴよりも大きいかどうかを判定し、大きければステップＳ７０２に移行し、そうでなければステップＳ７０３に移行する。

ステップＳ７０２では、画質制御装置１１２は、式（４５）に基づいて高画質化フレーム番号を求め、ｐｒｅｖ＿ｆｎｕｍ、ＨＱ＿ｎｕｍおよびｓ＿ｆｒａｍｅを式（４６）〜（４８）によって更新し、ステップＳ７０６に移行する。

ＨＱ＿ｆｒａｍｅ＿ｎｕｍ ［ｈｐ＿ｎｕｍ］＝ｐｒｅｖ＿ｆｎｕｍ＋ｓ＿ｆｒａｍｅ …（４５），
ｐｒｅｖ＿ｆｎｕｍ＝ＨＱ＿ｆｒａｍｅ＿ｎｕｍ ［ｈｐ＿ｎｕｍ］ …（４６），
ＨＱ＿ｆｎｕｍ＝ＨＱ＿ｆｎｕｍ＋１ …（４７），
ｓ＿ｆｒａｍｅ＝１ …（４８）．
ステップＳ７０３では、画質制御装置１１２は、ｓ＿ｆｒａｍｅがＳＳ−１に等しいかを判定し、等しいようであればステップＳ７０４に移行し、等しくなければステップＳ７０５に移行する。

ステップＳ７０４では、画質制御装置１１２は、ｓ＿ｆｒａｍｅ＝ＳＳとして、式（４５）より高画質化フレーム番号を求め、ｐｒｅｖ＿ｆｎｕｍ、ＨＱ＿ｎｕｍおよびｓ＿ｆｒａｍｅを式（４６）〜（４８）にしたがって更新し、フレーム番号ｉを１インクリメントする。その後、ステップＳ７０６に移行する。

ステップＳ７０５では、画質制御装置１１２は、ｓ＿ｆｒａｍｅを１インクリメントし、ステップＳ７０６に移行する。

ステップＳ７０６では、画質制御装置１１２は、処理対象のフレーム番号ｉを１インクリメントして、ｉが先読みフレーム数Ｎより小さいかを判定し、小さければステップＳ７０１に戻り、そうでなければ処理を終了する。

以上の処理により、すべての符号化対象フレームが、必ず高画質に符号化されたフレームを参照して、動き予測可能となる。なお、上述した画質判定処理によって得られたＨＱ＿ｎｕｍがＮ−１に等しいとき、すなわち全てのフレームを高画質に符号化すると判定した場合には、ＨＱ＿ｎｕｍを０にリセットし、高画質化フラグをオフ、高画質化フレーム数を０とする。

Ｎ＝１５、ＲＥＦ＿ＮＵＭ＝３、０番目の先頭フレームがＩピクチャの場合に、上述した高画質符号化フレーム判定を実行した例を図２０に示す。本実施形態によれば、高画質に符号化されるフレーム間隔Ｓが、適応的に更新されることがわかる。

このようにこの第２の実施形態では、動画像解析装置１１３を設け、ＧＯＰ中でのシーンチェンジやフラッシュなどの瞬時的な画像の変動、すなわち連続するフレーム間の画素相関の急激な低下や、シーンの符号化困難度の大きな変動の影響などを考慮して、高画質に符号化するフレームを正確に選択することができる。この結果、本実施形態によれば、さらに動画像を高画質に符号化することができる。

また、高画質に符号化されるフレームの選択の方法は、上述したものに限定されない。例えば、フレーム間コストＩＦＣ（ｉ）を用いた簡単な実施形態でも実現できる。例えば、符号化対象フレームとマルチフレーム予測で参照できる最も過去のフレームとの間隔がＭＡＸ＿ＲＥＦの時に、直前に高画質化された高画質フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍを参照フレームの一つとし、ｍ≦ＭＡＸ＿ＲＥＦであるフレーム番号（Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍ＋ｍ）の中で、高画質参照フレームに対するフレーム間コストＩＦＣ（ｉ）が予め定めたしきい値より小さく、かつ最も大きいｍに対応するフレームを、次なる高画質化フレームと定めることができる。

次に、本発明の第３の実施形態の動画像符号化装置を説明する。第３の実施形態では、フレームを符号化するピクチャタイプとして、Ｉピクチャ、ＰピクチャおよびＢピクチャを用いる。第３の実施形態の動画像符号化装置は、第１の実施形態の動画像符号化装置と同じ構成を有するが、Ｂピクチャを用いて符号化を行うため、画質制御装置１１２および符号量制御装置１１１の動作が第１の実施形態の場合と異なっている。以下、第３の実施形態における画質制御装置１１２と符号量制御装置１１１の動作を説明する。

画質制御装置１１２は、第１の実施形態の場合と同様に画質判定装置１１２１と画質制御カウンタ１１２２によって構成される。画質制御装置１１２は、符号量制御装置１１１対し、画質制御情報として高画質化フラグ、残り高画質化フレーム数、残り高画質化フレーム番号を供給するが、このうちに残り高画質化フレーム数及び残り高画質化フレーム番号については第１の実施形態ではＰピクチャフレームに関するものであったのに対し、第３の実施形態では、Ｂピクチャフレームに関するものである。このため、第３の実施形態では、画質制御装置１１２における画質判定装置１１２１の動作のみが、第１の実施形態とは異なる。

そこで、図２１を用いて、第３の実施形態における画質判定装置１１２１の動作を説明する。

ＧＯＰに含まれるフレームの枚数をＮとし、画質判定処理中のフレームの番号をｉとして、図２１を参照して、高画質化フレーム数ＨＱ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｎｕｍ］の計算手順を説明する。ｉの初期値は１であり、ＨＱ＿ｎｕｍの初期値は０である。

まず、ステップＳ８０１において、画質判定装置１１２１は、現在の解析対象であるｉ番目のフレームの符号化タイプがＢピクチャか否かを判定する。ＢピクチャであればステップＳ８０２に移行し、そうでなければステップＳ８０４に移行する。

ステップＳ８０２では、画質判定装置１１２１は、続くｉ＋１番目のフレームの符号化タイプがＢピクチャか否かを判定する。ＢピクチャであればステップＳ８０３に移行し、そうでなければステップＳ８０４に移行する。

ステップＳ８０３では、画質判定装置１１２１は、式（４９）に基づいて現在のｉ番目のフレームを高画質に符号化するフレームとして記憶し、高画質化フレーム数を式（５０）によって更新する。

ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｎｕｍ］＝ｉ …（４９），
ＨＱ＿ｎｕｍ＝ＨＱ＿ｎｕｍ＋１ …（５０）．
ステップＳ８０４では、画質判定装置１１２１は、処理対象のフレーム番号ｉを１インクリメントして、Ｎより小さいかを判定し、小さければステップＳ８０１にもどり、そうでなければ処理を終了する。

画質判定装置１１２１は、以上の処理を完了した後ＨＱ＿ｎｕｍが１以上であれば高画質化フラグＨＱ＿ｆｌｇをオンとし、そうでなければオフとする。

以上の処理により、被参照であってかつＢピクチャとして符号化されるフレームを高画質フレーム番号とすることができる。すなわち、参照フレームを高画質に符号化することができる。図２２は、このような処理によって、高画質に符号化されるＢピクチャの例を示している。

符号量制御装置１１１は、第１の実施形態の場合と同様に、フレーム符号量割り当て装置１１１１と量子化パラメータ更新装置１１１２とによって構成されている。第３の実施形態における、符号量制御装置１１１でのフレーム符号量割り当て装置１１１１と量子化パラメータ更新装置１１１２の動作を説明する。

フレーム符号量割り当て装置１１１１は、画質制御装置１１２から供給される画質制御情報の高画質化制御フラグ、残り高画質化フレーム数Ｒ＿ＨＱ＿ｎｕｍおよび残り高画質化フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍを用いて、フレーム符号量割り当てを行う。

目標符号量Ｔｉ，Ｔｐ，Ｔｂをピクチャタイプ別の目標符号量とし、ＲをＧＯＰ内でまだ符号化されていないフレームに対して割り当てられる符号量とし、ＮｐおよびＮｂをＧＯＰ内でまだ符号化されていないＰおよびＢピクチャの枚数とし、Ｘｉ，Ｘｐ，Ｘｐを最後に符号化した各ピクチャの画面の複雑度とし、ＫｐとＫｂをピクチャタイプ別の主観画質を考慮したパラメータとする。図２３は、第３の実施形態におけるフレーム符号量割り当て装置１１１１の動作を示している。

まず、ステップＳ９０１において、フレーム符号量割り当て装置１１１１は、画質制御装置１１２から供給される高画質フラグＨＱ＿ｆｌｇがオンかオフかを判定する。高画質フラグＨＱ＿ｆｌｇがオンであればステップＳ９０２に移行し、オフであればステップＳ９０８に移行する。

ステップＳ９０２では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするフレームのピクチャタイプを判定する。ＩピクチャであればステップＳ９０３に移行し、ＰピクチャであればステップＳ９０４に移行し、それ以外であれば、すなわちＢピクチャであれば、ステップＳ９０５に移行する。

ステップＳ９０３では、フレーム符号量割り当て装置１１１１は、今から符号化使用とするＩピクチャに対する符号量を式（５１）によって計算し、フレーム符号量割り当てを終了する。

Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／（Ｋｐ×Ｘｉ）＋Ｎｂ×Ｘｂ／（Ｋｂ×Ｘｉ））＋ａｄｄｉｔｉｏｎａｌ＿Ｔｉ …（５１），
ａｄｄｉｔｉｏｎａｌ＿Ｔｉ＝ｒｅｓｉｄｕ＿ｂｉｔ３×Ｘｉ／Ｘｇｏｐ４ …（５２），
ｒｅｓｉｄｕ＿ｂｉｔ３＝（ｍａｒｇｉｎ＿ｒａｔｉｏ×Ｒ×（Ｎｂ−Ｒ＿ＨＱ＿ｎｕｍ）×Ｘｂ）／（Ｋｂ×Ｘｇｏｐ３） …（５３），
Ｘｇｏｐ３＝Ｘｉ＋Ｎｐ×Ｘｐ／Ｋｐ＋Ｎｂ×Ｘｂ／Ｋｂ …（５４），
Ｘｇｏｐ４＝Ｘｉ＋Ｎｐ×Ｘｐ／Ｋｐ＋（Ｎｂ−Ｒ＿ＨＱ＿ｎｕｍ）×Ｘｂ／Ｋｂ …（５５）．
この場合、従来技術と比べて、ａｄｄｉｔｉｏｎａｌ＿Ｔｉに対応する分だけ多くのビット数がこのＩフレームに割り当てられるので、このフレームの画質は改善する。この結果、このフレームを参照するフレームの動き予測効果も改善する。

ステップＳ９０４では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＰピクチャに対する符号量を式（５６）によって計算し、フレーム符号量割り当てを終了する。

Ｔｐ＝Ｒ／（Ｎｐ＋Ｎｂ×Ｋｐ×Ｘｂ／（Ｋｂ×Ｘｐ））＋ａｄｄｉｔｉｏｎａｌ＿Ｔｐ …（５６），
ａｄｄｉｔｉｏｎａｌ＿Ｔｐ＝ｒｅｓｉｄｕ＿ｂｉｔ４×Ｘｐ／（Ｋｐ×Ｘｇｏｐ６） …（５７），
ｒｅｓｉｄｕ＿ｂｉｔ４＝（ｍａｒｇｉｎ＿ｒａｔｉｏ×Ｒ×（Ｎｂ−Ｒ＿ＨＱ＿ｎｕｍ）×Ｘｂ）／（Ｋｂ×Ｘｇｏｐ５） …（５８），
Ｘｇｏｐ５＝Ｎｐ×Ｘｐ／Ｋｐ＋Ｎｂ×Ｘｂ／Ｋｂ …（５９），
Ｘｇｏｐ６＝Ｎｐ×Ｘｐ／Ｋｐ＋（Ｎｂ−Ｒ＿ＨＱ＿ｎｕｍ）×Ｘｂ／Ｋｂ …（６０）．
この場合も、従来技術に比べて、ａｄｄｉｔｉｏｎａｌ＿Ｔｐの分だけ多くのビット数がこのＰフレームに割り当てられるため、このフレームの画質は改善する。この結果、このフレームを参照するフレームの動き予測効果も改善する。

ステップＳ９０５では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＢピクチャのフレーム番号ｃｏｄｉｎｇ＿ｆｒａｍｅ＿ｎｕｍが、画質制御装置１１２から供給される残り高画質フレーム番号Ｒ＿ＨＱ＿ｆｒａｍｅ＿ｎｕｍと同期するかを判定する。同期すればステップＳ９０６に移行し、そうでなければステップＳ９０７に移行する。

ステップＳ９０６では、フレーム符号量割り当て装置１１１１は、式（６１）によって、今から符号化しようとするＢピクチャに対する符号量を計算し、フレーム符号量割り当てを終了する。

Ｔｂ＝Ｒ／（Ｎｂ＋Ｎｐ×Ｋｂ×Ｘｐ／（Ｋｐ×Ｘｂ））＋ａｄｄｉｔｉｏｎａｌ＿Ｔｂ …（６１），
ａｄｄｉｔｉｏｎａｌ＿Ｔｂ＝ｒｅｓｉｄｕ＿ｂｉｔ４×Ｘｂ／（Ｋｂ×Ｘｇｏｐ６） …（６２）．
この場合も、従来方式と比べ、ａｄｄｉｔｉｏｎａｌ＿Ｔｂの分だけ多いビット数がこのＢフレームに割り当てられるため、このフレームの画質は改善する。この結果、このフレームを参照するフレームの動き予測効果も改善する。

ステップＳ９０７では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＢピクチャに対する符号量を式（６３）によって計算し、フレーム符号量割り当てを終了する。

Ｔｂ＝（１−ｍａｒｇｉｎ＿ｒａｔｉｏ）×Ｒ／（Ｎｂ＋Ｎｐ×Ｋｂ×Ｘｐ／（Ｋｐ×Ｘｂ）） …（６３）．
このとき、ｍａｒｇｉｎ＿ｒａｔｉｏの分だけこのＢフレームに対する割り当て符号量が減少するため、このフレームの画質劣化が考えられる。しかしながら、画質制御装置１１２の制御により、高画質に符号化されたＩ，Ｐ，Ｂフレームを参照して動き予測が可能であるから、割り当て符号量が多少少なくても、動き予測の性能が改善した分、画質の劣化を抑えることができる。

ステップＳ９０８では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするフレームのピクチャタイプを判定する。ＩピクチャであればステップＳ９０９に移行し、ＰピクチャであればステップＳ９１０に移行し、それ以外であれば、すなわちＢピクチャであれば、Ｓ９１１に移行する。

ステップＳ９０９では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＩピクチャに対する符号量を式（６４）によって計算し、フレーム符号量割り当てを終了する。

Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／（Ｋｐ×Ｘｉ）＋Ｎｂ×Ｘｂ／（Ｋｂ×Ｘｉ）） …（６４）．
ステップＳ９１０では、フレーム符号量割り当て装置１１１１は、今から符号化しようとするＰピクチャに対する符号量を式（６５）によって計算し、フレーム符号量割り当てを終了する。

Ｔｐ＝Ｒ／（Ｎｐ＋Ｎｂ×Ｋｐ×Ｘｂ／（Ｋｂ×Ｘｐ）） …（６５）．
ステップＳ９１１では、フレーム符号量割り当て装置１１１１は、今から符号化するＢピクチャに対する符号量を式（６６）によって計算し、フレーム符号量割り当てを終了する。

Ｔｂ＝Ｒ／（Ｎｂ＋Ｎｐ×Ｋｂ×Ｘｐ／（Ｋｐ×Ｘｂ）） …（６６）．
以上の符号量割り当てにより、参照フレームとして優先度の低いＢピクチャフレームに余分な符号量を割り当てることなく、他のフレームから参照されるとともにＩ，Ｐ，Ｂピクチャとして符号化されるフレームを高画質に符号化することができる。この結果、すべてのフレームが高画質に符号化されたフレームから動き予測可能となり、動画像を高画質に符号化することができる。

量子化パラメータ更新装置１１１２は、フレーム符号量割り当て装置１１１１で求められた各フレームに対する割り当て符号量Ｔｉ，ｐ，ｂと実際の発生符号量を一致させるため、各ピクチャタイプ別に設定した仮想バッファ容量を元に、量子化パラメータをマクロブロック単位のフィードバック制御で求める。この量子化パラメータ更新装置１１１２の動作は、第１の実施形態の場合と同じであるが、ピクチャタイプ別の変数名に対応させるため、図１１のフローチャートを参照して、各ステップの動作を以下で説明する。

ステップＳ４０１では、量子化パラメータ更新装置１１１２は、ｊ番目のマクロブロックの符号化に先立ち、仮想バッファの占有量をピクチャタイプ別に式（６７）によって計算する。

ｄｉ，ｐ，ｂ（ｊ）＝ｄｉ，ｐ，ｂ（０）＋Ｂ（ｊ−１）−Ｔｉ，ｐ，ｂ×（ｊ−１）／ＭＢｃｏｕｎｔ …（６７）．
ｄｉ，ｐ，ｂ（０）は仮想バッファの初期占有量、Ｂ（ｊ）はフレームの先頭からｊ番目のマクロブロックまでの発生符号量、ＭＢｃｏｕｎｔはフレーム内のマクロブロックの数である。各フレームの符号化終了時において、ピクチャタイプ別の仮想バッファの初期占有量ｄｉ，ｐ，ｂ（ＭＢｃｏｕｎｔ）は、次のピクチャに対する仮想バッファの初期占有量ｄｉ，ｐ，ｂ（０）として用いられる。

ステップＳ４０２では、量子化パラメータ更新装置１１１２は、ｊ番目のマクロブロックに対する量子化ステップサイズを式（６８）に基づいて計算する。

Ｑｓｔｅｐ＝Ｑｉ，ｐ，ｂ×ｄｉ，ｐ，ｂ（ｊ）×３１／（１０×ｒ） …（６８），
Ｑｉ，ｐ，ｂ＝Ｘｉ，ｐ，ｂ／Ｔｉ，ｐ，ｂ …（６９）．
フレーム符号量割り当て１１１１の制御により、高画質に符号化されるフレームの割り当て符号量Ｔｉ，ｐ，ｂは、従来の方式よりも大きくなり、粗く符号化されるＢピクチャ符号量はＴｂは、従来の方式よりも小さくなる。式（６９）より、高画質に符号化されるＢピクチャフレームの量子化ステップサイズＱｂは小さくなり、粗く符号化されるＢピクチャフレームの量子化ステップサイズＱｂは大きくなる。すなわち、参照フレームとして優先度の高いＢピクチャフレームは、参照フレームとして優先度の低いＢピクチャフレームよりも高画質に符号化される。

ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御するパラメータであり、式（７０）で与えられる。

ｒ＝２×ｂｉｔｒａｔｅ／ｆｒａｍｅ＿ｒａｔｅ …（７０）．
なお、符号化の開始時における仮想バッファの初期占有量ｄｉ，ｐ（０）は、式（７１）〜（７３）で与えられる。

ｄｉ（０）＝１０×ｒ／３１ …（７１），
ｄｐ（０）＝Ｋｐ×ｄｉ（０） …（７２），
ｄｂ（０）＝Ｋｂ×ｄｉ（０） …（７３）．
ステップＳ４０３では、量子化パラメータ更新装置１１１２は、量子化ステップサイズＱｓｔｅｐに対応する量子化パラメータＱを量子化テーブルから検出する。量子化テーブルに、対応する量子化ステップサイズＱｓｔｅｐが存在しない場合には、量子化パラメータ更新装置１１１２は、量子化ステップサイズＱｓｔｅｐに最も近い量子化ステップ値の量子化パラメータＱを出力する。

次に、本発明の第４の実施形態の動画像符号化装置を説明する。第４の実施形態では、フレームを符号化するピクチャタイプとして、Ｉピクチャ、ＰピクチャおよびＢピクチャを用いる。第４の実施形態の動画像符号化装置は、第２の実施形態の動画像符号化装置と同じ構成を有するが、Ｂピクチャを用いて符号化を行うため、画質制御装置１１２および符号量制御装置１１１の動作が第２の実施形態の場合と異なっている。このうち、符号量制御装置１１１の動作は、第３の実施形態における符号量制御装置１１１と同じである。よって、以下では、本実施例における画質制御装置１１２を説明する。

画質制御装置１１２は、第３の実施形態の場合と同様に、画質判定装置１１２１と画質制御カウンタ１１２２によって構成される。第４の実施形態の画質制御装置が第３の実施形態の画質制御装置と異なっているところは、動画像解析装置１１２から供給されるフレーム差分情報とフレーム動き情報による画質判定装置１１２１の動作が変わったことである。図２４を用いて、第４の実施形態における画質判定装置１１２１の動作を説明する。

ＧＯＰのフレーム枚数をＮとし、画質判定処理中のフレームの番号をｉとして、図２４を参照して、高画質化フレーム数ＨＱ＿ｎｕｍと高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｎｕｍ］の計算方法を説明する。ｉの初期値は１であり、ＨＱ＿ｎｕｍの初期値は０である。

まず、ステップＳ１００１において、画質判定装置１１２１は、各フレームｉとその参照フレーム１について、動画像解析装置１１３が供給するフレーム差分情報ＦＤ１（ｉ）とフレーム動き情報ＦＭＶ１（ｉ）を用いて式（４０）よりフレーム間コストＩＦＣ１（ｉ）を計算する。また、画質判定装置１１２１は、式（４２）のＭＩＮ＿ＩＦＣ（ｉ）についてＭＩＮ＿ＩＦＣ（ｉ）＝ＩＦＣ１（ｉ）が成り立つものとして、式（４２）〜（４４）に基づいて、ＩＦＣ＿ＵＰＰＥＲ＿ＬＩＭＩＴおよびＩＦＣ＿ＬＯＷＥＲ＿ＬＩＭＩＴを求める。その上で、画質判定装置１１２１は、すべてのＩＦＣ１（ｉ）がＩＦＣ＿ＬＯＷＥＲ＿ＬＩＭＩＴ＜ＩＦＣ１（ｉ）＜ＩＦＣ＿ＵＰＰＲＥ＿ＬＩＭＩＴかを判定する。すべてのＩＦＣ１（ｉ）が上記範囲に収まっていればｉ＝１としてＳ１００２に移行し、そうでなければ処理を終了する。

ステップＳ１００２では、画質判定装置１１２１は、現在の解析対象であるｉ番目のフレームの符号化タイプがＢピクチャか否かを判定する。ＢピクチャであればステップＳ１００３に移行し、そうでなければステップＳ１００５に移行する。

ステップＳ１００３では、画質判定装置１１２１は、続くｉ＋１番目のフレームの符号化タイプがＢピクチャか否かを判定する。ＢピクチャであればステップＳ１００４に移行し、そうでなければステップＳ１００５に移行する。

ステップＳ１００４では、画質判定装置１１２１は、式（４９）に基づいて、現在のｉ番目のフレームを高画質化フレーム番号ＨＱ＿ｆｒａｍｅ＿ｎｕｍ［ＨＱ＿ｎｕｍ］として記憶し、高画質化フレーム数ＨＱ＿ｎｕｍを式（５０）によって更新する。

ステップＳ１００５では、画質判定装置１１２１は、処理対象のフレーム番号ｉを１インクリメントして、フレーム数Ｎより小さいかを判定し、小さければステップＳ１００２にもどり、そうでなければ処理を終了する。

画質判定装置１１２１は、以上の処理を完了したのちＨＱ＿ｎｕｍが１以上であれば高画質化フラグＨＱ＿ｆｌｇをオンとし、そうでなければオフとする。

本実施形態でも、動画像解析装置１１３を備えていることにより、ＧＯＰ中にシーンチェンジやフラッシュなどの瞬時的な画像の変動があった場合や、シーンの符号化困難度の大きな変動の影響を考慮して、高画質に符号化するＢピクチャフレームを正確に選択することができる。この結果、さらに動画像を高画質に符号化することができる。

次に、本発明の第５の実施形態を説明する。以上説明した本発明に基づく動画像符号化装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図２５は、本発明の第５の実施形態における情報処理システムを示すものであって、本発明に基づく動画像符号化装置をインプリメントした情報処理システムの一般的な構成を示している。

この情報処理システムは、プロセッサ２１０、プログラムメモリ（主メモリ）２０２、記憶媒体２０３、２０４からなる。記憶媒体２０３、２０４は、別個の記憶媒体であってもよいし、同一の記憶媒体における異なる記憶領域であってもよい。記憶媒体としては、ハードディスクの磁気記憶媒体などを用いることができる。

そして、上述した動画像符号化処理を情報処理システムに実行させるためのプログラムをプログラムメモリ２０２に格納し、そのプログラムをプロセッサ２１０が実行することによって、この情報処理システムは上述した動画像符号化装置として機能することになる。入力動画像データは記憶媒体２０３に予め格納されており、符号化後のビットストリームは、記憶媒体２０４に格納される。

したがって、本発明の範疇には、本発明に基づく動画像符号化処理をコンピュータに実行させるためのプログラム、あるいはそのようなプログラムを格納したコンピュータ読み取り可能な記憶媒体、さらにはそのようなプログラムからなるプログラムプロダクトも含まれる。

本発明のコンピュータプログラムは、例えば、複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択する処理、
選択された参照フレームを同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
とを実行させるプログラムである。

あるいは、本発明のコンピュータプログラムは、例えば、複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
参照フレームと符号化対象フレームとの間の差分情報及び動き情報を求める処理、
差分情報及び動き情報に基づいて、選択される参照フレームの間隔が適応的に変化するように、同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１つの参照フレームを選択する処理、
選択された参照フレームを同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
とを実行させるプログラムである。

次に、本発明の第６の実施形態として、例えば上述した第１乃至第５の実施形態の動画像符号化装置によって符号化された動画像データあるいは動画像ビットストリームが入出力される入出力装置について説明する。ここでは、動画像データ（動画像ビットストリーム）が入出力される入出力装置の例として、第１の実施形態あるいは第２の実施形態に基づいて生成された動画像符号化ビットストリームを入力とする受信機を説明するが、本発明に基づく入出力装置はこれに限られるものではなく、動画像データが入出力されるフレームシンクロナイザや、ビデオ等の録画装置などでもよい。

図２６に示すように、受信機は、ビデオデコーダ１１５と参照フレーム画質監視装置１１６とを備えている。ビデオデコーダ１１５は、図１に示した従来の動画像符号化装置と対をなして使用される従来の動画像復号装置と同様のものである。すなわちビデオデコーダ１１５は、図１に示した動画像符号化装置のうちの局所的復号装置を構成する逆量子化装置１０４、逆周波数変換装置１０５、フレームメモリ１０６、フレーム内予測装置１０７、動き補償装置１０８及びバッファ１１０に備えている。さらに、ビデオデコーダ１１５は、可変長復号装置１１４を備えている。ビデオデコーダ１１５におけるこれら構成要素の機能は、可変長復号装置１１４を除けば、図１に示した従来の動画像符号化装置におけるものと同等である。

ビデオデコーダ１１５に入力するビデオビットストリームは、動画像符号化装置によって、元の入力画像を複数のブロックに分割し、これらのブロックからフレーム内予測装置あるいは動き補償装置によって予測値が減じられた予測誤差信号を周波数変換して量子化して得た変換係数、および予測値を生成するための動きベクトルおよび参照フレームなどが可変長復号された符号列を主な構成要素とする。

可変長復号装置１１４は、受信したビデオビットストリームを蓄えるバッファ１１０から供給される可変長符号を元の数値に復号する。復号された数値には。変換係数、量子化パラメータ、ピクチャタイプ、動きベクトルおよび参照フレームなどが含まれる。

逆量子化装置１０４は、量子化パラメータを用いて変換係数を逆量子化し、逆量子化変換係数を生成する。逆周波数変換装置１０５は、逆量子化変換係数を逆周波数変換し、予測誤差信号を生成する。この予測誤差信号には、フレーム内予測装置１０７もしくは動き補償装置１０８から供給される予測値が加算器１３２によって加えられ、復号画像が得られる。フレーム内予測装置１０７及び動き補償装置１０８のいずれからの予測値が用いられるかは、スイッチ１３１によって選択できる。これらの処理をビデオデコーダが繰り返すことで、復号画像を得ることができる。また、このように得られた復号画像は、再構築画像としてフレームメモリ１０６に格納されて、フレーム内予測装置１０７、動き補償装置１０８および動き推定装置１０９による予測値の生成に利用される。

次に、参照フレーム画質監視装置１１４の動作について説明する。

参照フレーム画質監視装置１１４は、ビデオデコーダ１１５から供給されるピクチャタイプ、参照フレーム、量子化パラメータ、可変長符号およびフレームメモリを監視し、参照フレーム画質変動フラグからなる参照フレーム画質変動情報を出力する。参照フレーム画質変動フラグとは、“動画像ビットストリームの復号の動き補償（マルチフレーム動き予測）に用いる参照フレームに、同じピクチャタイプの他のフレームよりも多くの符号量が割り当てられている、あるいは量子化パラメータが小さいフレームを含む動画像符号化ビットストリームか否か”を示す。

参照フレーム画質変動フラグは、具体的に、復号後に他のフレームから参照されることとなる参照フレームとなるフレームの復号時のピクチャタイプ、符号量および平均量子化パラメータを記憶しておくことで、フレームメモリに格納された参照フレームに、同じピクチャタイプの他のフレームよりも多くの符号量が割り当てられている、あるいは量子化パラメータが小さいフレームを含む動画像符号化ビットストリームか否か確認することによって求めることができる。

フレームメモリに格納された参照フレームの番号ｉ （１＜ｉ＜ＭＡＸ＿ＲＥＦ）に対応するピクチャタイプをｐｉｃ＿ｔｙｐｅ（ｉ）とし、フレーム全体の符号量をｔｏｔａｌ＿ｂｉｔ（ｉ）とし、フレーム全体の平均量子化パラメータをａｖｅｒａｇｅ＿ｑ（ｉ）として、図２７は、参照フレーム画質変動フラグを生成するための処理を示している。

まず、ステップＳＡ０１において、参照フレーム画質監視装置１１４は、今から復号を開始しようとするフレームのピクチャタイプがＰピクチャあるいはＢピクチャであるかを判別する。ＰピクチャあるいはＢピクチャであればステップＳＡ０２に移行し、そうでなければ参照フレーム画質変動フラグがオフに設定されて処理が終了する。

ステップＳＡ０２では、参照フレーム画質監視装置１１４は、今から復号を開始しようとするフレームのピクチャタイプと同じピクチャタイプの複数枚ｒｅｆ（１＜ｒｅｆ＜ＭＡＸ＿ＲＥＦ））の参照フレームにおいて、条件１として、ｉ番目のフレームがｊ番目の参照フレームよりも多くの符号量が割り当てられているか、あるいは、条件２として、量子化パラメータが小さいか、を判定する。

条件１は、ｔｏｔａｌ＿ｂｉｔ（ｉ）≒（１＋ｍａｒｇｉｎ＿ｒａｔｉｏ）ｘｔｏｔａｌ＿ｂｉｔ（ｊ）、かつ、ｐｉｃ＿ｔｙｐｅ（ｉ）＝ｐｉｃ＿ｔｙｐｅ（ｊ）、かつ、ｉ≠ｊと記述できる。条件２は、ａｖｅｒａｇｅ＿ｑ（ｉ）≒（１／（１＋ｍａｒｇｉｎ＿ｒａｔｉｏ））×ａｖｅｒａｇｅ＿ｑ（ｊ）、かつ、ｐｉｃ＿ｔｙｐｅ（ｉ）＝ｐｉｃ＿ｔｙｐｅ（ｊ）、かつ、ｉ≠ｊと記述できる。

ステップＳＡ０２において、条件１または条件２が成立する場合は、動画像ビットストリームがマルチフレーム動き予測に用いる参照フレームに、同じピクチャタイプの他のフレームよりも多くの符号量が割り当てられている、あるいは、そのような参照フレームは、量子化パラメータが小さいフレームを含む動画像符号化ビットストリームであるから、参照フレーム画質監視装置１１４は、参照フレーム画質変動フラグをオンとする。条件１、条件２のいずれも満たされない場合には、参照フレーム画質変動フラグはオフとされる。

次に、ステップＳＡ０３では、参照フレーム画質監視装置１１４は、バッファ１１０から供給される可変長符号の符号長を検査することによって復号対象フレーム全体の符号量ｔｍｐ＿ｔｏｔａｌ＿ｂｉｔを計算するとともに、可変長復号装置１１４から供給されるＭＢごとの量子化パラメータから、フレーム全体の平均量子化パラメータｔｍｐ＿ａｖｅｒａｇｅ＿Ｑを計算する。またこの際、可変長復号装置１１４から供給されるピクチャタイプｔｍｐ＿ｐｉｃ＿ｔｙｐｅも記憶する。現在の復号対象のフレームが復号終了後にフレームメモリ１０６に番号ｋとして格納されるタイミングで、参照フレーム画質監視装置１１４は、ｔｍｐ＿ｔｏｔａｌ＿ｂｉｔ，ｔｍｐ＿ａｖｅｒａｇｅ＿Ｑおよびｔｍｐ＿ｐｉｃ＿ｔｙｐｅをそれぞれｐｉｃ＿ｔｙｐｅ（ｋ）、ｔｏｔａｌ＿ｂｉｔ（ｋ）およびａｖｅｒａｇｅ＿ｑ（ｋ）に格納して、処理を終了する。

このような参照フレーム画質変動フラグの計算は、各フレームをデコードするたびに実行される。

以上の処理によって、参照フレーム画質変動フラグがオンとなったとき、本発明に基づく動画像符号化方法によって生成された動画像ビットストリームであってマルチフレーム動き予測に用いる参照フレームに、同じピクチャタイプの他のフレームよりも多くの符号量が割り当てられている、あるいは量子化パラメータが小さいフレームを含むことを確認することができる。

Claims (25)

1. 複数枚の画像フレームを参照してマルチフレーム動き予測を行って符号化を行う動画像符号化方法であって、
   あるフレームのマルチフレーム動き予測に用いる同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択することと、
   選択された参照フレームを前記同じピクチャタイプの他の参照フレームよりも高画質に符号化することと、
   を有することを特徴とする動画像符号化方法。
2. 前記高画質に符号化されたフレームは、同じピクチャタイプの他のフレームよりも多くの符号量が割り当てられたフレームである、請求項１に記載の方法。
3. 前記高画質に符号化されたフレームは、同じピクチャタイプの他のフレームよりも量子化パラメータが小さいフレームである、請求項１に記載の方法。
4. 前記高画質に符号化されたフレームは、Ｐピクチャフレームである、請求項１に記載の方法。
5. 前記高画質に符号化されたフレームは、Ｂピクチャフレームである、請求項１に記載の方法。
6. 連続する複数のＢピクチャフレームを符号化する際に、前記連続するＢピクチャフレームのうちの最後のＢピクチャフレームに比較して、前記最後のＢピクチャフレーム以前のＢピクチャフレームを高画質に符号化する段階を有する、請求項５に記載の方法。
7. 前記高画質に符号化されたフレームを一定のフレーム間隔で配置する段階をさらに有する、請求項１に記載の方法。
8. 前記高画質に符号化されたフレームを一定のフレーム間隔で配置する段階をさらに有する、請求項６に記載の方法。
9. 前記高画質に符号化されたフレームのフレーム間隔を、参照フレームと符号化対象フレームとの間の差分情報及び動き情報が多い場合には狭く、そうでない場合には広くなるように、変更する段階をさらに有する、請求項１に記載の方法。
10. 前記高画質に符号化されたフレームのフレーム間隔を、参照フレームと符号化対象フレームとの間の差分情報及び動き情報が多い場合には狭く、そうでない場合には広くなるように、変更する段階をさらに有する、請求項６に記載の方法。
11. 複数枚の画像フレームを参照してマルチフレーム動き予測を行って符号化を行う動画像符号化装置であって、
    あるフレームのマルチフレーム動き予測に用いる同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択する選択手段と、
    選択された参照フレームを前記同じピクチャタイプの他の参照フレームよりも高画質に符号化する符号化手段と、
    を有することを特徴とする動画像符号化装置。
12. 前記符号化手段は、前記選択された参照フレームに対し、前記同じピクチャタイプの他の参照フレームよりも多くの符号量を割り当てる、請求項１１に記載の装置。
13. 前記符号化手段は、前記選択された参照フレームに対し、前記同じピクチャタイプの他の参照フレームよりも量子化パラメータを小さく設定する、請求項１１に記載の装置。
14. 前記選択される参照フレームはＰピクチャフレームである、請求項１１に記載の装置。
15. 前記選択される参照フレームはＢピクチャフレームである、請求項１１に記載の装置。
16. 前記選択手段は、連続する複数のＢピクチャフレームの中から、前記連続するＢピクチャフレームの最後のＢピクチャフレームより以前のＢピクチャフレームを選択する、請求項１５に記載の装置。
17. 前記選択手段は、一定のフレーム間隔で前記参照フレームを選択する、請求項１１に記載の装置。
18. 前記選択手段は、一定のフレーム間隔で前記参照フレームを選択する、請求項１６に記載の装置。
19. 参照フレームと符号化対象フレームとの間の差分情報及び動き情報を出力する動画像解析手段をさらに有し、
    前記選択手段は、選択される参照フレームのフレーム間隔が、前記差分情報及び前記動き情報が多い場合には狭く、そうでない場合には広くなるように、前記参照フレームを選択する、請求項１１に記載の装置。
20. 参照フレームと符号化対象フレームとの間の差分情報及び動き情報を出力する動画像解析手段をさらに有し、
    前記選択手段は、選択される参照フレームのフレーム間隔が、前記差分情報及び前記動き情報が多い場合には狭く、そうでない場合には広くなるように、前記参照フレームを選択する、請求項１６に記載の装置。
21. 複数枚の画像フレームを参照してマルチフレーム動き予測が行われて符号化された動画像データが入力または出力される入出力装置であって、
    前記符号化された動画像データを復号するビデオデコーダと、
    前記ビデオデコーダ１から供給されるピクチャタイプ、参照フレーム、量子化パラメータ、可変長符号およびフレームメモリを監視し、前記符号化された動画像データに、マルチフレーム動き予測に用いる参照フレームであって同じピクチャタイプの他のフレームよりも高画質に符号化された参照フレームを含むかどうかを判別する監視手段と、
    を有する入出力装置。
22. 複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
    あるフレームのマルチフレーム動き予測に用いる同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択する処理、
    選択された参照フレームを前記同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
    とを実行させるプログラム。
23. 複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
    参照フレームと符号化対象フレームとの間の差分情報及び動き情報を求める処理、
    選択される参照フレームの間隔が、前記差分情報及び前記動き情報が多い場合には狭く、そうでない場合には広くなるように、同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１つの参照フレームを選択する処理、
    選択された参照フレームを同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
    とを実行させるプログラム。
24. コンピュータが読み取り可能な記録媒体であって、複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
    あるフレームのマルチフレーム動き予測に用いる同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１枚の参照フレームを選択する処理、
    選択された参照フレームを前記同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
    とを実行させるプログラムを記録した記録媒体。
25. コンピュータが読み取り可能な記録媒体であって、複数枚の画像フレームを参照してマルチフレーム動き予測を行って動画像符号化を実行するコンピュータに、
    参照フレームと符号化対象フレームとの間の差分情報及び動き情報を求める処理、
    選択される参照フレームの間隔が、前記差分情報及び前記動き情報が多い場合には狭く、そうでない場合には広くなるように、同じピクチャタイプの複数枚の参照フレームのうちから少なくとも１つの参照フレームを選択する処理、
    選択された参照フレームを同じピクチャタイプの他の参照フレームよりも高画質に符号化する処理、
    とを実行させるプログラムを記録した記録媒体。

Images