JP5295429B2 - 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム - Google Patents

Description

本発明は，仮想デコーダにおける符号化ピクチャバッファ（ＣＰＢ：Coded Picture Buffer）等の仮想バッファの破綻が生じないように，かつ画質の劣化が大きくならないように映像信号を符号化するための動画像符号化技術に関する。
本願は、２０１０年５月７日に日本に出願された特願２０１０−１０６８５１号、特願２０１０−１０６８５２号、特願２０１０−１０６８５３号、特願２０１０−１０６８５４号および特願２０１０−１０６８５５号に基づき優先権を主張し、その内容をここに援用する。

映像信号の符号化では，デコーダを破綻させないように符号化を行う必要がある。Ｈ．２６４符号化方式では，デコーダをモデル化した仮想デコーダＨＲＤ（Hypothetical Reference Decoder）を規定している。Ｈ．２６４の符号化器は，仮想デコーダを破綻させないように符号化をする必要がある。本発明は，仮想デコーダのＣＰＢの破綻，具体的にはＣＰＢのアンダーフローを抑制するための技術である。

図１に，ＣＰＢアンダーフローの概念図を示す。固定ビットレートの場合，矢印Ａ１に示すように、そのビットレートでＣＰＢに符号化ストリームが入力される。各時刻におけるＣＰＢ内の符号化ストリームのデータ量を「残符号量」と呼ぶ。仮想デコーダは，各ピクチャに対応した符号化ストリームをＣＰＢから引き抜く。その際には，瞬時に当該ピクチャに対応した符号量分だけＣＰＢ残符号量が減少する。固定ビットレートの場合の例を示したが，可変ビットレートの場合も同様である。

ＣＰＢアンダーフローとは，図１に示すように，矢印Ａ２で示す各時刻において仮想デコーダがピクチャの符号化ストリームを引き抜こうとしたときに，ＣＰＢ内に当該ピクチャの符号化ストリームが不足している状況をいう。Ｈ．２６４に基づく符号化では，符号化を行いながらＣＰＢの状態を検証し，ＣＰＢアンダーフローを生じさせないストリームを作成する必要がある。前述のように，仮想デコーダのＣＰＢは，Ｈ．２６４において規格化されており，さらなる詳細は，例えば下記の非特許文献１に記載されている。

なお，他の符号化標準においてもＣＰＢと同じ概念が規定されており，例えばＭＰＥＧ−２では，ＶＢＶ（Video Buffering Verifier）があり，このようなデコーダのバッファモデルを，ここでは「仮想バッファ」と総称する。以下の説明における「ＣＰＢ」は「仮想バッファ」という言葉で読み替えて，広義に解釈することができる。

映像信号の符号化方法には，１パス符号化とマルチパス符号化という技術がある。１パス符号化では，一般的に入力映像のピクチャを逐次的に符号化していく。一方でマルチパス符号化では，入力映像を複数回符号化する。２パス符号化では，１回符号化した結果を利用して，２回目の符号化を行う。以下，１パス符号化の従来技術を「従来技術ａ」，２パス符号化の従来技術を「従来技術ｂ」として説明する。

＜従来技術ａ＞
１パス符号化では，入力されるピクチャを逐次的に符号化するため，符号化対象ピクチャより未来のピクチャの性質が分からない。従い，１パス符号化でＣＰＢアンダーフローを抑制しようとした場合，必要以上に発生符号量を抑えてしまい，必要以上に大きく画質を劣化させてしまうことがある。例えば，特許文献１の技術では，各ピクチャの符号化前に，過去に符号化した結果から得られた映像の複雑度を，ＧＯＰの残りの映像の複雑度の推定値とする。その複雑度の推定値を前提として，ＧＯＰの残りの映像の符号化に利用できる最大の符号量を発生させる量子化パラメータを推定し，これを符号化対象ピクチャの符号化の量子化パラメータの下限値として利用する。推定された複雑度と比較して，ＧＯＰの残りの映像が複雑でない場合には，必要以上に符号量を抑えてしまい画質劣化を招く問題があることが分かる。

＜従来技術ｂ＞
２パス符号化では，入力映像の全ピクチャを符号化し，その際に発生した各ピクチャの符号量を２回目の符号化で利用する。この方法では，１パス符号化の場合と異なり，２回目の符号化時に映像の各部分の複雑さが分かることから，画質の劣化を抑えつつＣＰＢアンダーフローを抑制できることを期待できる。例えば特許文献２の技術では，１回目の符号化で各フレームの複雑度を求め，各フレームの割り当て符号量を求める。そして，この割り当て符号量でＣＰＢアンダーフローが生じるか否かを検証し，ＣＰＢアンダーフローが生じる場合には割り当て符号量を修正する。すなわち，各フレームの複雑度が分かっているため，ＣＰＢアンダーフローが生じる場合にのみ割り当て符号量を修正することが可能となり，結果として従来技術ａと比較して画質劣化を抑えつつＣＰＢアンダーフローを抑制できる。しかしながら，この方法では，入力映像の全フレームを２回符号化する必要があるため，演算量が多くなるという問題がある。

特開２００６−２９５５３５号公報 特開２００３−０１８６０３号公報

角野，菊池，鈴木，"改訂三版Ｈ．２６４／ＡＶＣ教科書"，インプレスＲ＆Ｄ発行，2009, pp.189-191．

前述した従来技術ａでは，既に符号化済みの情報のみを利用して符号化制御を行うため，必要以上に発生符号量を抑えて大きな画質劣化が生じることがある。これに対し，従来技術ｂによれば，画質劣化を抑えつつＣＰＢアンダーフローを抑制することができる。しかしながら，この方法では，入力映像の全フレームを２回符号化する必要があるため，演算量が多くなるという問題がある。

本発明は，上記課題の解決を図り，従来の２パス符号化（従来技術ｂ）よりも少ない演算量で，ＣＰＢアンダーフローを抑制しつつ，安定した画質を実現することを目的とする。

本発明を説明するにあたり，「符号化順ピクチャ群」を定義する。符号化順ピクチャ群は，画面内予測符号化ピクチャ（Ｉピクチャ）を先頭とする所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである。典型的な符号化順ピクチャ群の例はＧＯＰ(Group Of Pictures) である。

符号化順ピクチャ群の概念図を図２Ａ〜図２Ｄに示す。図２Ａ〜図２Ｄにおいて，Ｉは画面内予測符号化の対象となるピクチャ（Ｉピクチャ），Ｐは順方向予測符号化の対象となるピクチャ（Ｐピクチャ），Ｂは双方向予測符号化の対象となるピクチャ（Ｂピクチャ）を表している。

ピクチャの表示順が，例えば図２Ａに示すように，Ｉ→Ｂ→Ｐ→Ｂ→Ｐ→Ｂ……の順であったとする。本発明でいう符号化順ピクチャ群をＧＯＰとした場合，符号化順ピクチャ群は，図２Ｂに示すように，Ｉ→Ｐ→Ｂ→Ｐ→…→Ｂ→Ｐ（Ｉの直前）のピクチャ群となる。
例えば，符号化順ピクチャ群を１３ピクチャ構成とした場合には，図２Ｃに示すような符号化順で連続した１３ピクチャが本発明でいう符号化順ピクチャ群となる。さらに、図２Ｄは，符号化順ピクチャ群を２ＧＯＰ分の２０ピクチャ構成とした場合の例を示している。

以上のように，入力映像のピクチャ列を，符号化順で連続し，所定の枚数で構成されるピクチャ群に分割したピクチャの集まりを符号化順ピクチャ群という。なお，ここで「ピクチャ」とは，映像がプログレッシブ形式の場合にはフレームであり，インターレース形式の場合には，１つのフィールドもしくはトップフィールドとボトムフィールドとを１つにしたフレームである。

本発明の第１の実施形態では，符号化順ピクチャ群を単位として，入力映像の符号化を進める。ただし，入力ピクチャを符号化するごとに，ＣＰＢが破綻しないかを所定のバッファ検定アルゴリズムによってチェックし，ＣＰＢアンダーフローが生じた場合にのみ，符号化パラメータを発生符号量が少なくなるように変更して，符号化中の符号化順ピクチャ群を再符号化する。符号化結果の出力バッファからの出力契機は，符号化順ピクチャ群の符号化が完了したときとする。

変更する符号化パラメータとしては，例えば量子化パラメータやプレフィルタ強度があり，これらの１つ以上を変更する。例えば，量子化パラメータの場合には，量子化パラメータのステップサイズをより大きくして，符号化パラメータを発生符号量が少なくなるようにする。また，入力映像に対するプレフィルタのフィルタ強度を変更する場合，ぼかし度合いをより大きく変更することにより，発生符号量を少なくすることができる。

符号化順ピクチャ群の再符号化が完了した場合，符号化パラメータを通常の符号化時の符号化パラメータ値に戻すことにより，画質の劣化が次の符号化順ピクチャ群にまで波及するのを抑止する。ここで，通常の符号化時の符号化パラメータとは，再符号化ではない状態のときに定められる符号化パラメータという意味である。

または，符号化順ピクチャ群の再符号化が完了した場合に，必ず符号化パラメータを通常の符号化時の値に戻すのではなく，ＣＰＢの残符号量を調べ，残符号量が所定の閾値以上のときにだけ符号化パラメータを通常の符号化時の値に戻し，残符号量が少ないときには，符号化パラメータを通常の符号化時の値に戻さないようにしてもよい。こうすれば，再符号化が連続して生じる可能性を小さくすることができる。

さらに本発明の第２の実施形態では，符号化順ピクチャ群の再符号化の際にも，各ピクチャの符号化ごとにＣＰＢアンダーフローが生じたかどうかをチェックし，ＣＰＢアンダーフローが生じた場合には，現在符号化中の符号化順ピクチャ群の先頭のピクチャから符号化パラメータを変更して再符号化する。すなわち，ＣＰＢアンダーフローが生じる限り，同じ符号化順ピクチャ群について複数回符号化を繰り返す。

このとき，１つの符号化順ピクチャ群の再符号化回数をリトライカウントというパラメータで管理し，再符号化が生じたらリトライカウントの値を増やし，符号化順ピクチャ群の符号化が完了したときにリトライカウントの値を減らす。前述した符号化パラメータの値は，リトライカウントの大きさに応じて設定し，リトライカウントが大きいほど発生符号量が少なくなる値を用いる。符号化パラメータが量子化パラメータの場合には，リトライカウントが大きいほどステップサイズを大きくし，符号化パラメータがプレフィルタのフィルタ強度の場合には，リトライカウントが大きいほどぼかし度合いを大きくする。

一般に符号化対象となる映像には，複雑な部分と単純な部分がある。もし，ＣＰＢアンダーフローにより再符号化対象となった符号化順ピクチャ群が複雑であっても単純であっても再符号化を１回しか行わないとすると，１回の再符号化でＣＰＢアンダーフローを抑制する必要があるため，符号化パラメータの変化量を大きめにして再符号化の符号化パラメータを設定する必要がある。そうすると，符号化パラメータの変化量が小さくてもＣＰＢアンダーフローを回避できるような映像の複雑な部分で再符号化が生じた場合に，必要以上に大きな画質劣化が生じことになる。すなわち，映像の複雑な部分（高周波数成分を多く含む場合や時間方向の相関が小さい場合）などは，情報の絶対量が多いので，少し符号化パラメータを変更しただけで符号量が多く減ることになり，換言すれば，符号化パラ
メータの変化量が大き過ぎると無駄に画質を劣化させることになる。

そこで，前述のようにＣＰＢアンダーフローが生じる限り，符号化順ピクチャ群を繰り返し符号化することとし，リトライカウントを管理して，リトライカウントの大きさに応じて符号化パラメータを設定することにより，ＣＰＢアンダーフローが生じた場合に，符号化パラメータの変化量を小さく抑えて，適切な符号化パラメータで符号化することにより，画質劣化をより小さくすることができる。

本発明の第３の実施形態においては、符号化順ピクチャ群の符号化が完了したときにリトライカウントの値を無条件に減らすのではなく，符号化順ピクチャ群の符号化が完了した時点で，ＣＰＢ残符号量が所定の閾値以上の場合にだけ，リトライカウントを減らす。

前述した符号化パラメータの値は，リトライカウントの大きさに応じて設定し，リトライカウントが大きいほど発生符号量が少なくなる値を用いる。符号化パラメータが量子化パラメータの場合には，リトライカウントが大きいほどステップサイズを大きくし，符号化パラメータがプレフィルタのフィルタ強度の場合には，リトライカウントが大きいほどぼかし度合いを大きくする。

一般に符号化対象となる映像には，複雑な部分と単純な部分がある。もし，ＣＰＢアンダーフローにより再符号化対象となった符号化順ピクチャ群が複雑であっても単純であっても再符号化を１回しか行わないとすると，１回の再符号化でＣＰＢアンダーフローを抑制する必要があるため，符号化パラメータの変化量を大きめにして再符号化の符号化パラメータを設定する必要がある。そうすると，符号化パラメータの変化量が小さくてもＣＰＢアンダーフローを回避できるような映像の複雑な部分で再符号化が生じた場合に，必要以上に大きな画質劣化が生じことになる。すなわち，映像の複雑な部分（高周波数成分を多く含む場合や時間方向の相関が小さい場合）などは，情報の絶対量が多いので，少し符号化パラメータを変更しただけで符号量が多く減ることになり，換言すれば，符号化パラ
メータの変化量が大き過ぎると無駄に画質を劣化させることになる。

そこで，前述のようにＣＰＢアンダーフローが生じる限り，符号化順ピクチャ群を繰り返し符号化することとし，リトライカウントを管理して，リトライカウントの大きさに応じて符号化パラメータを設定することにより，符号化パラメータの変化量を小さく抑えて，適切な符号化パラメータで符号化することにより，画質劣化をより小さくすることができる。

また，再符号化時にリトライカウントを増やして符号化した後，符号化順ピクチャ群の符号化が完了した時点で，基本的にはリトライカウントを減らすことにより，次の符号化順ピクチャ群への画質劣化の影響を少なくするが，ＣＰＢ残符号量が所定量未満であれば，リトライカウントを減らさないようにすることにより，次の符号化順ピクチャ群の符号化においても再符号化が生じる可能性を小さくする。

本発明の第４の実施形態において，符号化順ピクチャ群は必ずしもＧＯＰでなくてもよいが，符号化順ピクチャ群の先頭ピクチャは，画面内予測符号化ピクチャ（Ｉピクチャ）とする。この実施形態では、符号化順ピクチャ群を単位として，入力映像の符号化を進める。ただし，入力ピクチャを符号化するごとに，ＣＰＢが破綻しないかを所定のバッファ検定アルゴリズムによってチェックし，ＣＰＢアンダーフローが生じた場合には，符号化パラメータを発生符号量が少なくなるように変更して，リトライポイント（後述）として設定された符号化順ピクチャ群の位置から再符号化する。符号化結果の出力バッファからの出力契機は，符号化順ピクチャ群の符号化が完了し，再符号化しないことが確定したときとする。

変更する符号化パラメータとしては，例えば量子化パラメータやプレフィルタ強度があり，これらの１つ以上を変更する。例えば，量子化パラメータの場合には，量子化パラメータのステップサイズをより大きくして，符号化パラメータを発生符号量が少なくなるようにする。また，入力映像に対するプレフィルタのフィルタ強度を変更する場合，ぼかし度合いをより大きく変更することにより，発生符号量を少なくすることができる。

符号化順ピクチャ群の再符号化が完了した場合，符号化パラメータを通常の符号化時の符号化パラメータ値に戻すことにより，画質の劣化が次の符号化順ピクチャ群にまで波及するのを抑止する。ここで，通常の符号化時の符号化パラメータとは，再符号化ではない状態のときに定められる符号化パラメータという意味である。

または，符号化順ピクチャ群の再符号化が完了した場合に，必ず符号化パラメータを通常の符号化時の値に戻すのではなく，ＣＰＢの残符号量を調べ，残符号量が所定の閾値以上のときにだけ符号化パラメータを通常の符号化時の値に戻し，残符号量が少ないときには，符号化パラメータを通常の符号化時の値に戻さないようにしてもよい。こうすれば，再符号化が連続して生じる可能性を小さくすることができる。

前述したリトライポイントとは，あるピクチャでＣＰＢアンダーフローの発生により再符号化する必要が生じた場合に，どのピクチャから再符号化を開始するのかを示す位置情報である。

リトライポイントは，基本的には現在符号化している符号化順ピクチャ群の先頭ピクチャであるが，１つ前に符号化した符号化順ピクチャ群の先頭ピクチャの場合もある。リトライポイントを更新する契機は，以下のとおりである。
（１）符号化順ピクチャ群の符号化が完了した時点で，ＣＰＢ残符号量が所定の閾値以上あった場合，リトライポイントを次の符号化順ピクチャ群の先頭ピクチャ（Ｉピクチャ）に設定する。
（２）符号化順ピクチャ群の符号化が完了した時点で，ＣＰＢ残符号量が所定の閾値より小さかった場合，リトライポイントはそのままで次の符号化順ピクチャ群の先頭ピクチャの符号化に進む。その符号化順ピクチャ群の先頭ピクチャの符号化でＣＰＢアンダーフローが発生しなかった場合，リトライポイントを現在符号化した符号化順ピクチャ群の先頭ピクチャに設定する。

以上のようにリトライポイントを設定する理由について説明する。リトライポイントを常に現在符号化している符号化順ピクチャ群の先頭に設定すれば，処理構成が本発明より簡明になる。以下，この技術を「関連技術」という。関連技術の場合にも，ＣＰＢアンダーフローが生じた場合に限り，それが生じた符号化順ピクチャ群だけを再符号化することで，ＣＰＢアンダーフローを抑制することができ，入力映像の全てのピクチャを２回符号化する従来技術ｂよりも演算量が少なくなって，効果的な符号量配分の制御を実現できる。本発明は，この関連技術よりもさらに効果的にＣＰＢアンダーフローの抑制による復号画像の画質劣化を軽減する符号量配分の制御を実現することを狙いとしている。

周知のようにＩピクチャは他のピクチャタイプと比較して発生符号量が多い。したがって，ある符号化順ピクチャ群の符号化が完了した時点でのＣＰＢ残符号量が少ない場合，次の符号化順ピクチャ群の先頭のＩピクチャでＣＰＢアンダーフローが発生する可能性が高い。このような場合，上記関連技術では，ＣＰＢアンダーフローが生じた先頭のＩピクチャのみを再符号化することで，ＣＰＢアンダーフローを回避する必要があるため，当該Ｉピクチャの画質が大きく劣化するおそれがある。

そこで，本実施形態では，ＣＰＢ残符号量が少ない場合，次の符号化順ピクチャ群の先頭のＩピクチャでＣＰＢアンダーフローが生じたときには，設定されたリトライポイントにより，その１つ前の符号化順ピクチャ群に戻って，その先頭から再符号化する。したがって，１つのピクチャに大きな画質劣化が生じることを回避することできる。

本発明の第５の実施形態においては，ＣＰＢアンダーフローを抑制するために，従来の２パス符号化のように入力映像のフレームを常に２回符号化するのではなく，原則は１パスの符号化とし，ＣＰＢアンダーフローが生じた場合に限り，複数ピクチャだけ遡って再符号化することを基本とする。

また，本実施形態では，符号化順ピクチャ群のピクチャの符号化においてＣＰＢアンダーフローが生じたときに，符号化順ピクチャ群内のあるピクチャまで遡って再符号化を行う。どのピクチャまで遡って再符号化を行うかは，利用可能なメモリ量によって予め決定される。ここで，再符号化時に遡れる最大のピクチャ数を「最大ピクチャ間距離」と定義して説明する。

本実施形態の処理概要は，以下のとおりである。最初に，外部から与えられた利用可能なメモリ量の情報に基づき，再符号化時に遡れる最大のピクチャ数を求めて，最大ピクチャ間距離とし，この値を記憶する。

これは以下の理由による。再符号化のためには，入力バッファに符号化対象のピクチャの映像信号を保存しておく必要があり，また，出力バッファには，再符号化しないことが確定して出力バッファからの符号化結果の出力が終わるまで，符号化結果の符号化ストリームを保持しておく必要がある。もし，使用可能なメモリ量が十分に存在する場合には，入力バッファと出力バッファのそれぞれに符号化順ピクチャ群のピクチャ数分のメモリ容量を持たせておくことにより，ＣＰＢアンダーフロー発生時の再符号化を，符号化順ピクチャ群を単位として，符号化順ピクチャ群の先頭から行うことができる。

しかし，必ずしもメモリが必要なだけ使えるとは限らないので，事前に使用可能なメモリ量から，再符号化時に遡れる最大のピクチャ数である最大ピクチャ間距離を算出しておく。

本実施形態では，符号化順ピクチャ群を単位として，入力映像の符号化を進める。ただし，入力ピクチャを符号化するごとに，ＣＰＢが破綻しないかを所定のバッファ検定アルゴリズムによってチェックし，ＣＰＢアンダーフローが生じた場合にのみ，符号化パラメータを発生符号量が少なくなるように変更して，符号化中の符号化順ピクチャ群を再符号化する。ただし，符号化中の符号化順ピクチャ群のどのピクチャまで遡って再符号化するかについては，次の３条件を満たすピクチャとする。
・条件１：符号化中の符号化順ピクチャ群に含まれること。
・条件２：ＣＰＢアンダーフローが生じたピクチャを基準として，最大ピクチャ間距離に含まれること。
・条件３：条件１，２を満たすピクチャの中で，ＣＰＢアンダーフローが生じたピクチャから最も遠いピクチャであること。

この再符号化を開始するピクチャをリトライポイントという。リトライポイントは，例えば最大ピクチャ間距離にある先頭のピクチャが１つ前の符号化順ピクチャ群内であれば，現在符号化中の符号化順ピクチャ群の先頭ピクチャであり，そうでなければ最大ピクチャ間距離にある先頭のピクチャ，すなわち最大ピクチャ間距離だけ離れた時間的に最も古く符号化されたピクチャとなる。

再符号化時に変更する符号化パラメータとしては，例えば量子化パラメータやプレフィルタ強度があり，これらの１つ以上を変更する。例えば，量子化パラメータの場合には，量子化パラメータのステップサイズをより大きくして，符号化パラメータを発生符号量が少なくなるようにする。また，入力映像に対するプレフィルタのフィルタ強度を変更する場合，ぼかし度合いをより大きく変更することにより，発生符号量を少なくすることができる。

再符号化により，現在符号化中の符号化順ピクチャ群の符号化が完了した場合，符号化パラメータを通常の符号化時の符号化パラメータ値に戻すことにより，画質の劣化が次の符号化順ピクチャ群にまで波及するのを抑止する。ここで，通常の符号化時の符号化パラメータとは，再符号化ではない状態のときに定められる符号化パラメータという意味である。

または，符号化順ピクチャ群の再符号化が完了した場合に，必ず符号化パラメータを通常の符号化時の値に戻すのではなく，ＣＰＢの残符号量を調べ，残符号量が所定の閾値以上のときにだけ符号化パラメータを通常の符号化時の値に戻し，残符号量が少ないときには，符号化パラメータを通常の符号化時の値に戻さないようにしてもよい。こうすれば，再符号化が連続して生じる可能性を小さくすることができる。

本発明の第１の実施形態は，入力映像の全フレームを２回符号化する従来の２パス符号化（従来技術ｂ）と異なり，ＣＰＢアンダーフローが生じた場合に限り符号化順ピクチャ群を２回符号化する。再符号化時にはＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。このため，必要な場合だけ従来技術ｂと同様にＣＰＢアンダーフローを抑制しつつも，従来技術ｂよりも演算量を削減することができる。

本発明の第２および第３の実施形態は，入力映像の全フレームを２回符号化する従来の２パス符号化（従来技術ｂ）と異なり，ＣＰＢアンダーフローが生じた場合に限り符号化順ピクチャ群を複数回符号化する。第１の実施形態と同様に，再符号化時にはＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。このため，必要な場合だけ従来技術ｂと同様にＣＰＢアンダーフローを抑制しつつも，従来技術ｂよりも演算量を削減することができる。

本発明の第２および第３の実施形態においては，リトライカウントを管理することにより，再符号化時における符号化パラメータの変化量を小さく抑えて，ＣＰＢアンダーフローを抑制することができるので，再符号化による画質の劣化を小さくすることができる。

特に，本発明の第３の実施形態によれば，再符号化後のＣＰＢ残符号量が少ない場合には，符号化パラメータを再符号化時と同じに保つので，再度の再符号化の発生を抑制することができる。

本発明の第４の実施形態は，入力映像の全フレームを２回符号化する従来の２パス符号化（従来技術ｂ）と異なり，ＣＰＢアンダーフローが生じた場合に限り符号化順ピクチャ群を２回符号化する。再符号化時にはＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。このため，必要な場合だけ従来技術ｂと同様にＣＰＢアンダーフローを抑制しつつも，従来技術ｂよりも演算量を削減することができる。

特に本発明の第４の実施形態によれば，符号化順ピクチャ群において発生符号量が多い先頭のＩピクチャのＣＰＢアンダーフローの発生を効果的に抑制することができるので，Ｉピクチャの画質が大きく劣化するのを防ぐことができる。

本発明の第５の実施形態によれば，入力映像の全フレームを２回符号化する従来の２パス符号化（従来技術ｂ）と異なり，ＣＰＢアンダーフローが生じた場合に限り符号化順ピクチャ群内のリトライポイントとして定められたピクチャから再符号化する。再符号化時にはＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。このため，必要な場合だけ従来技術ｂと同様にＣＰＢアンダーフローを抑制しつつも，従来技術ｂよりも演算量を削減することができる。また，再符号化に必要なメモリ量に応じて定められたリトライポイントから再符号化が行われるため，メモリの有効活用が可能になる。

ＣＰＢアンダーフローを説明するためのグラフである。 ピクチャを表示順に示す概念図である ＧＯＰとした場合の符号化順ピクチャ群を示す概念図である。 １３ピクチャ構成とした場合の符号化順ピクチャ群を示す概念図である。 ２ＧＯＰ分の２０ピクチャ構成とした場合の符号化順ピクチャ群を示す概念図である。 本発明の第１の実施例に係る動画像符号化制御方法を示すフローチャートである。 本発明の第１の実施例に係る動画像符号化制御方法の変形例を示すフローチャートである。 ＧＯＰの概念図である。 本発明の第１の実施例に係る動画像符号化装置を示すブロック図である。 本発明の実施例によって再符号化が行われた際の符号化パラメータの変更を示す概念図である。 本発明の実施例によって再符号化が行われた際のＣＰＢ残符号量の遷移を示すグラフである。 本発明の第２の実施例に係る動画像符号化制御方法を示すフローチャートである。 本発明の第２の実施例に係る動画像符号化装置を示すブロック図である。 本発明の実施例によって行われるリトライカウント，符号化パラメータの推移を示す概念図である。 本発明の第３の実施例に係る動画像符号化制御方法を示すフローチャートである。 本発明の第３の実施例に係る動画像符号化装置を示すブロック図である。 本発明の第４の実施例に係る動画像符号化制御方法を示すフローチャートである。 本発明の第４の実施例に係る動画像符号化制御方法の変形例を示すフローチャートである。 本発明の第４の実施例に係る動画像符号化装置を示すブロック図である。 本発明の第５の実施例に係る動画像符号化制御方法を示すフローチャートである。 本発明の第５の実施例に係る動画像符号化制御方法の変形例を示すフローチャートである。 本発明の第５の実施例に係る動画像符号化装置を示すブロック図である。 本発明の第５の実施例における参照画像用の必要メモリ量を説明する概念図である。 本発明の第５の実施例においてリトライポイントを最大ピクチャ間距離で制限することによる入力バッファと出力バッファとのメモリ削減を説明する図である。

以下，本発明の実施形態を，図面を用いて詳細に説明する。
＜第１の実施例＞
図３は，本発明の第１の実施例に係る動画像符号化制御方法を示す処理フローチャートである。

まず，入力映像信号における符号化が終了したピクチャの次のピクチャを符号化対象として設定する（ステップＳ１０１）。符号化対象として設定した入力ピクチャを，Ｈ．２６４その他の所定の符号化方式により符号化する（ステップＳ１０２）。入力ピクチャの符号化により，ＣＰＢアンダーフローが生じたかどうかを判定し（ステップＳ１０３），ＣＰＢアンダーフローが生じた場合には，ステップＳ１０７へ進む。なお，ＣＰＢアンダーフローが生じたかどうかは，例えばＨ．２６４の標準規格などで用いられている方法で判定することができる。

ＣＰＢアンダーフローが生じていなければ，最終ピクチャの符号化が完了したかどうかを判定し（ステップＳ１０４），最終ピクチャまで符号化が完了したならば符号化処理を終了する。

そうでなければ，符号化順ピクチャ群の符号化が完了したかどうかを判定する（ステップＳ１０５）。完了していなければ，ステップＳ１０１へ戻り，次のピクチャについて同様に符号化処理を続ける。符号化順ピクチャ群の符号化が完了した場合，符号化パラメータが符号化順ピクチャ群の再符号化（リトライ）で変更されていれば，符号化パラメータを通常の符号化時の値に戻し（ステップＳ１０６），ステップＳ１０１へ戻って，次の符号化順ピクチャ群の先頭のピクチャから符号化処理を行う。

ステップＳ１０３においてＣＰＢアンダーフローが生じたことが検出された場合，現在の符号化順ピクチャ群は再符号化が行われたかどうか（リトライ済みかどうか）を判定する（ステップＳ１０７）。リトライ済みの場合，符号化順ピクチャ群を再符号化してもＣＰＢアンダーフローが回避できないので，符号化を終了する。リトライ済みでない場合，現在の符号化順ピクチャ群の再符号化のため，現在の符号化順ピクチャ群の先頭のピクチャを符号化対象として設定する（ステップＳ１０８）。そして，２つの符号化パラメータ（量子化パラメータ，プレフィルタ強度）のうち１つ以上を変更し（量子化パラメータはステップサイズをより大きく，フィルタ強度の場合はぼかし度合いをより大きく変更）（ステップＳ１０９），ステップＳ１０２へ戻って，符号化中の符号化順ピクチャ群を再符号化する。

すなわち，入力映像の全フレームを２回符号化する従来技術ｂと異なり，ＣＰＢアンダーフローが生じた場合に限り，符号化順ピクチャ群（例えばＧＯＰ）を２回符号化する。２回目の符号化時には，ＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。ＣＰＢアンダーフローが生じた場合に限り，それが生じた符号化順ピクチャ群のみを再符号化することでＣＰＢアンダーフローを抑制する。したがって，入力映像の全てのピクチャを２度符号化する従来技術ｂと比較して演算量を削減できる。

図４は，本発明の第１の実施例に係る動画像符号化制御方法の変形例を示す処理フローチャートである。本変形例は，図３に示すステップＳ１０６の処理を，図４に示すステップＳ１６１〜Ｓ１６３の処理に置き換えて実施することもできる。ステップＳ１０６以外の処理は，図３と同様である。

図３のステップＳ１０５の処理の後，符号化パラメータがリトライで変更されているかどうかを判定する（ステップＳ１６１）。リトライで変更されていなければ，図３のステップＳ１０１へ戻る。リトライで変更されていれば，次にＣＰＢ残符号量が所定の閾値以上かどうかを判定する（ステップＳ１６２）。所定の閾値未満であれば，符号化パラメータを再符号化で用いた状態のままとし，所定の閾値以上の場合にだけ符号化パラメータを元のデフォルト符号化パラメータに戻す（ステップＳ１６３）。その後に，図３のステップＳ１０１へ戻り，次の符号化順ピクチャ群の符号化に移る。

図４に示す変形例では，以上のように符号化順ピクチャ群の符号化が完了した時点でＣＰＢ残符号量が所定量を超えている場合にだけ，符号化パラメータを通常の符号化時の値に戻す。これは次の理由による。符号化順ピクチャ群の符号化が完了したとしても，ＣＰＢ残符号量が少ない場合，符号化パラメータを通常の符号化時の値に戻すと発生符号量がより多くなるため，次の符号化順ピクチャ群の符号化でＣＰＢアンダーフローが生じる可能性が高まる。図４の処理では，ＣＰＢ残符号量が少ない場合には，符号化パラメータを変更しないため，図３の処理に比べて，次の符号化順ピクチャ群の符号化における再符号化の発生が抑制され，演算量がさらに削減されることになる。

以上のように本実施形態では，再符号化時に符号化パラメータを変更する。ここでは，符号化時に入力映像に対してプレフィルタを適用するものとし，変更する符号化パラメータとしては，量子化パラメータとプレフィルタ強度とする。この２つの符号化パラメータの双方を変更してもよいし，いずれか一方だけを変更してもよい。

量子化パラメータについては，通常の符号化時の量子化パラメータ値に対して，所定のオフセット値を足し，より大きい量子化パラメータで再符号化する。

プレフィルタについては，本実施例では，ガウシアンフィルタを利用するものとする。ガウシアンフィルタは，次式（１）で示されるガウス分布をｘ，ｙについてサンプリングすることによって作成できる。

g(x, y)={1/(2πσ² )}×exp{-(x²+y² )/(2σ² )} ・・・（１）
上記の式（１）から分かるように，σの値が大きいほど，ぼかし度合いが大きくなる。ぼかし度合いが大きいほど，高周波数成分が減るため，符号化時の発生符号量が減ることになる。ガウシアンフィルタの詳細は，例えば以下の参考文献１に記載されている。
〔参考文献１〕：奥富，小沢，清水，堀，“デジタル画像処理”，財団法人画像情報教育振興協会，2006，pp.108-110．
σ＝０の場合には，ガウシアンフィルタをかけないものとし，例えばデフォルト符号化パラメータはσ₀ ＝０，再符号化用符号化パラメータはσ₁ ＞０とする。なお，本発明ではローパスフィルタの種類は問わない。また，再符号化時のぼかし度合いの強め方も予め任意に定めてよい。例えば，デフォルト符号化パラメータのσ₀ は，ピクチャごとの複雑度に応じて変更し，σ₁ はσ₀ に所定のオフセットを足したものであるような構成でもよい。

符号化は，Ｈ．２６４の規格に従った符号化を行うものとする。また，本実施例では，符号化順ピクチャ群はＧＯＰとし，符号化する際のＧＯＰの概念図を図５に示す。１つのＧＯＰは１０ピクチャで構成され，表示順で，Ｉピクチャを先頭にＢピクチャとＰピクチャとが交互に並ぶものとする。

本発明の第１の実施例に係る装置構成を，図６に示す。入力バッファ１１０は，入力される映像信号を蓄積するとともに，符号化部１２０に符号化対象の映像信号を出力する。さらに，入力バッファ１１０は，後述のＣＰＢ管理部１４０から，ＣＰＢアンダーフローが生じ，再符号化を行うことを示す情報（リトライ情報）を受けた場合，符号化中のＧＯＰの先頭のピクチャから映像信号を再度，符号化部１２０に出力する。また，リトライ情報を受けずにＧＯＰの符号化が完了した場合，入力バッファ１１０は，蓄積していた当該ＧＯＰの映像信号を破棄する。

符号化部１２０は，入力バッファ１１０から入力された映像信号を符号化し，符号化ストリームを出力バッファ１３０に出力する。また，入力された映像信号を符号化した際に発生した符号量（符号量情報）をＣＰＢ管理部１４０に出力する。さらに，符号化部１２０は，ＣＰＢ管理部１４０からリトライ情報を受けた場合，符号化中のＧＯＰの先頭ピクチャからの映像信号が入力バッファ１１０から再度入力されるとともに，パラメータ調整部１５０から再符号化用符号化パラメータが入力されるため，入力された再符号化用符号化パラメータを利用して再符号化を行う。

出力バッファ１３０は，ＧＯＰの符号化ストリームが全て蓄積された段階で，当該ＧＯＰの符号化ストリームを出力し，一方で，ＣＰＢ管理部１４０からリトライ情報を受けた場合，符号化中のＧＯＰについて蓄積した符号化ストリームを破棄する。

ＣＰＢ管理部１４０は，符号化部１２０から入力される符号量情報を利用して，時刻とともに変化するＣＰＢの残符号量を求める。すなわち，図１の概念図で示したＣＰＢの残符号量を求める。そして，ＣＰＢアンダーフローが生じた場合，リトライ情報を入力バッファ１１０，符号化部１２０，パラメータ調整部１５０，出力バッファ１３０に出力し，ＣＰＢアンダーフローが生じたことを通知する。

パラメータ調整部１５０は，ＣＰＢ管理部１４０からリトライ情報を受けた場合，前述のように再符号化用符号化パラメータを符号化部１２０に入力する。これにより，符号化部１２０は，再符号化時には，同じＧＯＰについて，発生符号量が小さくなる符号化パラメータを用いて符号化をすることになる。

本実施例における符号化処理の流れについて，図３のフローチャートに沿って説明する。以下の説明では，Ｓ１０１，Ｓ１０２，…といったように，文章中に図３のフローチャートとの対応を記載する。

あるＧＯＰの符号化を行う処理について，以下のように３つのケースに場合分けをして説明する。
・［ケース１］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった。
・［ケース２］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化で回避できた。
・［ケース３］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった。

［ケース１の処理例］
まず，ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった場合のケース１について説明する。ＧＯＰのピクチャが入力バッファ１１０に入力されると，入力バッファ１１０は当該ピクチャを蓄積するとともに，符号化部１２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ１０１）。そして，符号化部１２０は当該ピクチャを符号化し，出力バッファ１３０に符号化ストリームを出力するとともに（出力バッファ１３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部１４０に符号量情報を出力する（Ｓ１０２）。

ここで，符号化においてはデフォルト符号化パラメータが利用され，デフォルト符号化パラメータに対応したプレフィルタ強度で符号化対象ピクチャに，プレフィルタ部１２１によるフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，デフォルト符号化パラメータに従った量子化パラメータで，量子化部１２２により量子化される。

ＣＰＢ管理部１４０は，当該ピクチャについて，符号化部１２０から入力された符号量情報をもとにＣＰＢ残符号量を計算し，この例ではＣＰＢアンダーフローが発生しないため，リトライ情報の出力はしない（Ｓ１０３）。符号化対象ピクチャが入力映像信号中の最終ピクチャであれば，出力バッファ１３０は蓄積している符号化ストリームを出力し，符号化処理が完了する（Ｓ１０４）。あるいは，符号化対象ピクチャがＧＯＰの最終ピクチャであれば，出力バッファ１３０は蓄積していた符号化ストリームを出力するとともに，入力バッファ１１０は蓄積していたピクチャを破棄し，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ１０５）。ここで，当該ＧＯＰでは再符号化が生じなかったため，符号化パラメータに変更を加えずに，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ１０６）。

［ケース２の処理例］
次に，ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化で回避できた場合のケース２について説明する。ＧＯＰのピクチャが入力バッファ１１０に入力されると，入力バッファ１１０は当該ピクチャを蓄積するとともに，符号化部１２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ１０１）。そして，符号化部１２０は当該ピクチャを符号化し，出力バッファ１３０に符号化ストリームを出力するとともに（出力バッファ１３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部１４０に符号量情報を出力する（Ｓ１０２）。ここで，符号化においてはデフォルト符号化パラメータが利用される。

ＣＰＢ管理部１４０は，当該ピクチャについて，符号化部１２０から入力された符号量情報をもとにＣＰＢ残符号量を計算する。この結果，当該ピクチャについて，ＣＰＢ管理部１４０がＣＰＢアンダーフローを検知した場合，ＣＰＢ管理部１４０は，符号化部１２０，パラメータ調整部１５０，入力バッファ１１０，出力バッファ１３０にリトライ情報を出力する（Ｓ１０３）。

符号化中のＧＯＰについてまだリトライが発生していない場合（Ｓ１０７），入力バッファ１１０は，蓄積していた符号化中のＧＯＰの先頭ピクチャを符号化部１２０に出力するとともに（Ｓ１０８），パラメータ調整部１５０は，符号化部１２０に再符号化用符号化パラメータを出力する（Ｓ１０９）。さらに，出力バッファ１３０は，符号化中のＧＯＰの符号化ストリームを破棄する。そして，符号化部１２０は，再符号化用符号化パラメータを利用して入力されたＧＯＰの先頭のピクチャを符号化する。

ここで，符号化においては再符号化用符号化パラメータが利用され，再符号化用符号化パラメータに対応したプレフィルタ強度（デフォルト符号化パラメータよりぼかし度合いが大きい）で符号化対象ピクチャに，プレフィルタ部１２１によるプレフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，再符号化用符号化パラメータに従った量子化パラメータ（デフォルト符号化パラメータより量子化ステップサイズが大きい）で，量子化部１２２により量子化される。

この後，ＣＰＢアンダーフローが生じない限り，当該ＧＯＰのピクチャが順次入力バッファ１１０から符号化部１２０に入力され，符号化部１２０により符号化処理が行われる。そして，ＧＯＰの最終ピクチャが符号化が完了した場合（Ｓ１０５），出力バッファ１３０から当該ＧＯＰの符号化ストリームが出力されるとともに，符号化部１２０は符号化パラメータをデフォルト符号化パラメータに設定し（Ｓ１０６），次のＧＯＰの符号化処理に進む。なお，入力映像の最終ピクチャの符号化が完了した場合の動作は前述のケース１の場合と同様に動作する。

再符号化が行われた際の符号化パラメータの変更の概念図を図７に示す。図７の例では，２番目のＧＯＰ２の６ピクチャ目の符号化でＣＰＢアンダーフローが発生したので，発生符号量を抑制する再符号化用符号化パラメータを設定して，ＧＯＰ２の先頭のＩピクチャから再符号化している。再符号化によりＣＰＢアンダーフローの発生が抑止されたので，次のＧＯＰ３の符号化では，再符号化用符号化パラメータをデフォルト符号化パラメータに戻し，符号化処理を続ける。

再符号化が行われた際のＣＰＢ残符号量の遷移の概念図を図８に示す。太線で示した線が再符号化後のＣＰＢ残符号量である。再符号化では，プレフィルタでぼかし度合いを強め，量子化パラメータもデフォルト符号化パラメータよりも大きくするため，発生符号量が抑えられ，例えば図８のような遷移が行われ，ＣＰＢアンダーフローが抑制される。

［ケース３の処理例］
最後に，ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった場合のケース３について説明する。この場合，ＣＰＢ管理部１４０によりＣＰＢアンダーフローが検知され，ＧＯＰの再符号化を行う動作はケース２と同様である。このＧＯＰの再符号化中にＣＰＢアンダーフローが生じた場合，符号化を完了する（Ｓ１０７）。なお，符号化を完了するのでなく，コマ落としを許容し，符号化を完了しないで，ＣＰＢアンダーフローが生じたピクチャの符号化データを破棄し，次のピクチャを符号化するように処理してもよい。
＜第２の実施例＞

以下，本発明の第２の実施例について説明する。図９は，本発明の第２の実施例に係る動画像符号化制御方法を示す処理フローチャートである。

まず，入力映像信号における符号化が終了したピクチャの次のピクチャを符号化対象として設定する（ステップＳ２０１）。符号化対象として設定した入力ピクチャを，Ｈ．２６４その他の所定の符号化方式により符号化する（ステップＳ２０２）。入力ピクチャの符号化により，ＣＰＢアンダーフローが生じたかどうかを判定し（ステップＳ２０３），ＣＰＢアンダーフローが生じた場合には，ステップＳ２０８へ進む。なお，ＣＰＢアンダーフローが生じたかどうかは，例えばＨ．２６４の標準規格などで用いられている方法で判定することができる。

ＣＰＢアンダーフローが生じていなければ，最終ピクチャの符号化が完了したかどうかを判定し（ステップＳ２０４），最終ピクチャまで符号化が完了したならば符号化処理を終了する。

そうでなければ，符号化順ピクチャ群の符号化が完了したかどうかを判定する（ステップＳ２０５）。完了していなければ，ステップＳ２０１へ戻り，次のピクチャについて同様に符号化処理を続ける。符号化順ピクチャ群の符号化が完了した場合，リトライカウントが１以上であれば，１だけ減らす（ステップＳ２０６）。なお，リトライカウントの初期値は０である。その後，リトライカウントに基づき，あらかじめリトライカウントに応じて定められた符号化パラメータを設定し（ステップＳ２０７），ステップＳ２０１へ戻って，次の符号化順ピクチャ群の先頭のピクチャから符号化処理を行う。

ステップＳ２０３においてＣＰＢアンダーフローが生じたことが検出された場合，現在のリトライカウントの値が，あらかじめ定められた最大値になっているかどうかを判定する（（ステップＳ２０８）。リトライカウントが最大値の場合，符号化順ピクチャ群を再符号化してもＣＰＢアンダーフローが回避できないので，符号化を終了する。

リトライカウントが最大値に到達していない場合，現在の符号化順ピクチャ群の再符号化のため，現在の符号化順ピクチャ群の先頭のピクチャを符号化対象として設定する（ステップＳ２０９）。そして，リトライカウントを１だけ増やす（ステップＳ２１０）。その後，リトライカウントに基づき，２つの符号化パラメータ（量子化パラメータ，プレフィルタ強度）のうち１つ以上を変更し（量子化パラメータはステップサイズをより大きく，フィルタ強度の場合はぼかし度合いをより大きく変更）（ステップＳ２１１），ステップＳ２０２へ戻って，符号化中の符号化順ピクチャ群を再符号化する。

本発明は，入力映像の全フレームを２回符号化する従来技術ｂと異なり，基本的には１回の符号化処理とし，ＣＰＢアンダーフローが生じた場合に限り，符号化順ピクチャ群（例えばＧＯＰ）をＣＰＢアンダーフローが生じなくなるまで発生符号量を段階的に抑えて繰り返し符号化する。２回目以降の符号化時には，リトライカウントに応じて定められたＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。したがって，入力映像の全てのピクチャを２度符号化する従来技術ｂと比較して演算量を削減できるとともに，再符号化による画質の劣化も小さくすることができる。

以上のように本実施形態では，再符号化時に符号化パラメータをリトライカウントに応じて変更する。ここでは，符号化時に入力映像に対してプレフィルタを適用するものとし，変更する符号化パラメータとしては，量子化パラメータとプレフィルタ強度とする。この２つの符号化パラメータの双方を変更してもよいし，いずれか一方だけを変更してもよい。

量子化パラメータについては，通常の符号化時に定められる量子化パラメータ値に対して，リトライカウントに応じて段階的に大きくなる所定のオフセット値を足し，より大きい量子化パラメータで再符号化する。

プレフィルタについては，第１の実施例と同様に，ガウシアンフィルタを利用するものとする。ガウシアンフィルタは，前述した式（１）で示されるガウス分布をｘ，ｙについてサンプリングすることによって作成できる。

式（１）において、σ＝０の場合には，ガウシアンフィルタをかけないものとし，例えばデフォルト符号化パラメータはσ₀ ＝０，再符号化用符号化パラメータは，リトライカウントの値をｃとすると，σ_c とする。σ_c は，ｃの値が大きいほど大きな値とする。０＜σ₁ ＜σ₂ ＜……である。なお，本実施例ではローパスフィルタの種類は問わない。また，例えばデフォルト符号化パラメータのσ₀ は，ピクチャごとの複雑度に応じて変更し，σ_c はσ_c-1 に所定のオフセットを足したものであるような構成でもよい。

以下で説明する実施例では，符号化方式として，Ｈ．２６４の規格に従った符号化を行うものとする。また，符号化順ピクチャ群はＧＯＰとし，符号化する際のＧＯＰの概念図を図５に示す。第１の実施例と同様に、１つのＧＯＰは１０ピクチャで構成され，表示順で，Ｉピクチャを先頭にＢピクチャとＰピクチャとが交互に並ぶものとする。

本発明の第２の実施例の装置構成例を，図１０に示す。入力バッファ２１０は，入力される映像信号を蓄積するとともに，符号化部２２０に符号化対象の映像信号を出力する。さらに，入力バッファ２１０は，後述のＣＰＢ管理部２４０から，ＣＰＢアンダーフローが生じ，再符号化を行うことを示す情報（リトライ情報）を受けた場合，符号化中のＧＯＰの先頭のピクチャから映像信号を再度，符号化部２２０に出力する。また，リトライ情報を受けずにＧＯＰの符号化が完了した場合，入力バッファ２１０は，蓄積していた当該ＧＯＰの映像信号を破棄する。

符号化部２２０は，入力バッファ２１０から入力された映像信号を符号化し，符号化ストリームを出力バッファ２３０に出力する。また，入力された映像信号を符号化した際に発生した符号量（符号量情報）をＣＰＢ管理部２４０に出力する。さらに，符号化部２２０は，ＣＰＢ管理部２４０からリトライ情報を受けた場合，符号化中のＧＯＰの先頭ピクチャからの映像信号が入力バッファ２１０から再度入力されるとともに，パラメータ調整部２６０から再符号化用符号化パラメータが入力されるため，入力された再符号化用符号化パラメータを利用して再符号化を行う。

出力バッファ２３０は，ＧＯＰの符号化ストリームが全て蓄積された段階で，当該ＧＯＰの符号化ストリームを出力し，一方で，ＣＰＢ管理部２４０からリトライ情報を受けた場合，符号化中のＧＯＰについて蓄積した符号化ストリームを破棄する。

ＣＰＢ管理部２４０は，符号化部２２０から入力される符号量情報を利用して，時刻とともに変化するＣＰＢの残符号量を求める。すなわち，図１の概念図で示したＣＰＢの残符号量を求める。そして，ＣＰＢアンダーフローが生じた場合，リトライ情報を入力バッファ２１０，符号化部２２０，リトライカウント管理部２５０，出力バッファ２３０に出力し，ＣＰＢアンダーフローが生じたことを通知する。

リトライカウント管理部２５０は，ＣＰＢ管理部２４０からリトライ情報を受けた場合，現在のリトライカウントの値に１を加算し，更新後のリトライカウントをパラメータ調整部２６０に通知する。また，ＣＰＢ管理部２４０からリトライ情報を受けずに，現在符号化中のＧＯＰの符号化が完了した場合，リトライカウントの値が１以上であれば，リトライカウントの値から１を減算し，そのリトライカウントをパラメータ調整部２６０に通知する。ＧＯＰの符号化が完了したときに，リトライカウントの値が０であれば，リトライカウント＝０をパラメータ調整部２６０に通知する。

パラメータ調整部２６０は，リトライカウント管理部２５０からリトライカウントを受けると，リトライカウントに応じて定められた符号化パラメータを符号化部２２０に入力する。これにより，符号化部２２０は，同じＧＯＰについて再符号化の繰り返し回数が多くなるほど，発生符号量が小さくなる符号化パラメータを用いて符号化をすることになる。

以上のように，本実施例では，再符号化が発生すると値が増加し，ＧＯＰの符号化が完了した時点で値が減らされるリトライカウントという概念を導入し，リトライカウント管理部２５０にて管理する。このリトライカウントには，例えば上限値が「３」というように，所定の上限値があり，上限値に達するまで同じＧＯＰの再符号化を行ってよいものとする。符号化時における量子化パラメータのオフセット値，プレフィルタのフィルタ強度はリトライカウントの値に応じて変化する。

リトライカウントが０のときには，デフォルト符号化パラメータが利用される。リトライカウントが０以外の場合には，例えばリトライカウントの上限値が３の場合，リトライカウントの１，２，３のそれぞれに対応した再符号化用符号化パラメータを，符号化パラメータテーブルとしてあらかじめ用意しておいて，その符号化パラメータテーブルから得た符号化パラメータを再符号化に利用してもよい。

本実施例における符号化処理の流れについて，図９のフローチャートに沿って説明する。以下の説明では，Ｓ２０１，Ｓ２０２，…といったように，文章中に図９のフローチャートとの対応を記載する。

あるＧＯＰの符号化を行う処理について，以下のように３つのケースに場合分けをして説明する。
・［ケース１］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった。
・［ケース２］：ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，再符号化で回避できた。
・［ケース３］：ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，リトライカウントが上限値に達して再符号化でも回避できなかった。

［ケース１の処理例］
まず，ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった場合のケース１について説明する。ＧＯＰのピクチャが入力バッファ２１０に入力されると，入力バッファ２１０は当該ピクチャを蓄積するとともに，符号化部２２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ２０１）。そして，符号化部２２０は当該ピクチャを符号化し，出力バッファ２３０に符号化ストリームを出力するとともに（出力バッファ２３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部２４０に符号量情報を出力する（Ｓ２０２）。

ここで，例えばリトライカウントが初期値の０であるとすると，符号化においてはデフォルト符号化パラメータが利用され，デフォルト符号化パラメータに対応したプレフィルタ強度で符号化対象ピクチャに，プレフィルタ部２２１によるフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，デフォルト符号化パラメータに従った量子化パラメータで，量子化部２２２により量子化される。リトライカウントが１以上の場合には，それぞれリトライカウントに応じて定められたフィルタ強度および量子化パラメータによるプレフィルタ，量子化処理で符号化が行われる。

ＣＰＢ管理部２４０は，当該ピクチャについて，符号化部２２０から入力された符号量情報をもとにＣＰＢ残符号量を計算し，この例ではＣＰＢアンダーフローが発生しないため，リトライ情報の出力はしない（Ｓ２０３）。符号化対象ピクチャが入力映像信号中の最終ピクチャであれば，出力バッファ２３０は蓄積している符号化ストリームを出力し，符号化処理が完了する（Ｓ２０４）。あるいは，符号化対象ピクチャがＧＯＰの最終ピクチャであれば，出力バッファ２３０は蓄積していた符号化ストリームを出力するとともに，入力バッファ２１０は蓄積していたピクチャを破棄し，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ２０５〜Ｓ２０７）。

このケース１のように，ＣＰＢアンダーフローを発生させずにＧＯＰの符号化が完了した場合，リトライカウントが０のときを除き，リトライカウント管理部２５０が現在のリトライカウントから値を１減らす（Ｓ２０６）。現在符号化が完了したＧＯＰより前のＧＯＰで再符号化が生じている場合に，リトライカウントが０でないことがある。リトライカウント管理部２５０は変更後のリトライカウントをパラメータ調整部２６０に通知し，パラメータ調整部２６０は，通知されたリトライカウントに対応した符号化パラメータを符号化部２２０に設定し，次のＧＯＰの先頭ピクチャの符号化が開始される。

［ケース２の処理例］
次に，ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，再符号化で回避できた場合のケース２について説明する。ここでは，ＧＯＰの符号化を開始する時点でのリトライカウントが１であるとし，同じＧＯＰで２回再符号化が行われた場合を説明する。

ＧＯＰのピクチャが入力バッファ２１０に入力されると，入力バッファ２１０は当該ピクチャを蓄積するとともに，符号化部２２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ２０１）。そして，符号化部２２０は当該ピクチャを符号化し，出力バッファ２３０に符号化ストリームを出力するとともに（出力バッファ２３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部２４０に符号量情報を出力する（Ｓ２０２）。ここで，符号化においては，リトライカウント１に対応した符号化パラメータが利用される。

ＣＰＢ管理部２４０は，当該ピクチャについて，符号化部２２０から入力された符号量情報をもとにＣＰＢ残符号量を計算する。この結果，当該ピクチャについて，ＣＰＢ管理部２４０がＣＰＢアンダーフローを検知した場合，ＣＰＢ管理部２４０は，符号化部２２０，リトライカウント管理部２５０，入力バッファ２１０，出力バッファ２３０にリトライ情報を出力する（Ｓ２０３）。

現在のリトライカウントは１であり，上限値の３には達していないので（Ｓ２０８），入力バッファ２１０は，蓄積していた符号化中のＧＯＰの先頭ピクチャを符号化部２２０に出力する（Ｓ２０９）。一方で，リトライカウント管理部２５０でリトライカウントが１増加され，値が２となったリトライカウントがパラメータ調整部２６０に出力される（Ｓ２１０）。

パラメータ調整部２６０では，リトライカウントが２のときの符号化パラメータを符号化パラメータテーブルから読み出し，その符号化パラメータを符号化部２２０に設定する（Ｓ２１１）。出力バッファ２３０は，符号化中のＧＯＰの符号化ストリームを破棄する。

符号化部２２０では，ＣＰＢアンダーフローが生じない限り，順次，ＧＯＰのピクチャが入力バッファ２１０から入力されて符号化される。この符号化の際に，同じＧＯＰで再度ＣＰＢアンダーフローが生じた場合，前述した処理と同様な処理によって，リトライカウントが１増加し，３になる。これにより，符号化パラメータがリトライカウント＝３に対応するものに変更された上で，同じＧＯＰについて再度，先頭ピクチャから符号化が順次行われる。このＧＯＰの符号化において，これ以上ＣＰＢアンダーフローが生じなかった場合，リトライカウント管理部２５０によってリトライカウントが１減らされ，リトライカウントが２となって，次のＧＯＰの符号化が進められる。このときの入力バッファ２１０および出力バッファ２３０の動作は，前述した例と同様である。

このケース２の例におけるリトライカウント，符号化パラメータの推移の概念図を，図１１に示す。図１１の例では，リトライカウントが１の状態で，２番目のＧＯＰ２を符号化しているときに，６ピクチャ目の符号化でＣＰＢアンダーフローが発生したので，リトライカウントを２にし，再度，リトライカウント＝２に対応する符号化パラメータでＧＯＰ２の先頭のＩピクチャから再符号化している。この再符号化でも，７番目のピクチャでＣＰＢアンダーフローが発生し，さらにリトライカウント＝３に対応する発生符号量が少ない符号化パラメータで再符号化し，再度の再符号化ではＣＰＢアンダーフローが生じなかったので，ＧＯＰ２の符号化完了時にリトライカウントから１を減じ，リトライカウントが２の符号化パラメータを用いて，次のＧＯＰの符号化に移行している。

再符号化が行われた際のＣＰＢ残符号量の遷移の概念図を，図８に示す。第１の実施例と同様に、太線で示した線が，再度，再符号化した後のＣＰＢ残符号量である。再符号化では，プレフィルタでぼかし度合いを強め，量子化パラメータもデフォルト符号化パラメータよりも大きくするため，発生符号量が抑えられ，例えば図８のような遷移が行われ，ＣＰＢアンダーフローが抑制される。

［ケース３の処理例］
最後に，同じＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，リトライカウントが上限値に達して再符号化でも回避できなかった場合のケース３について説明する。あるＧＯＰを符号化中に，ケース２の場合と同様に，リトライカウントが３に達したとする。さらに，同じＧＯＰの符号化において，ＣＰＢ管理部２４０によりＣＰＢアンダーフローが検知された場合（Ｓ２０３），リトライカウント管理部２５０でリトライカウントが上限値に達していることが検知され（Ｓ２０８），符号化が完了する。なお，このような場合に，符号化を完了するのでなく，コマ落としを許容し，符号化を完了しないで，ＣＰＢアンダーフローが生じたピクチャの符号化データを破棄し，次のピクチャを符号化するように処理してもよい。
＜第３の実施例＞

以下，本発明の第３の実施例について説明する。図１２は，本発明の第３の実施例に係る動画像符号化制御方法を示す処理フローチャートである。

まず，入力映像信号における符号化が終了したピクチャの次のピクチャを符号化対象として設定する（ステップＳ３０１）。符号化対象として設定した入力ピクチャを，Ｈ．２６４その他の所定の符号化方式により符号化する（ステップＳ３０２）。入力ピクチャの符号化により，ＣＰＢアンダーフローが生じたかどうかを判定し（ステップＳ３０３），ＣＰＢアンダーフローが生じた場合には，ステップＳ３０８へ進む。なお，ＣＰＢアンダーフローが生じたかどうかは，例えばＨ．２６４の標準規格などで用いられている方法で判定することができる。

ＣＰＢアンダーフローが生じていなければ，最終ピクチャの符号化が完了したかどうかを判定し（ステップＳ３０４），最終ピクチャまで符号化が完了したならば符号化処理を終了する。

そうでなければ，符号化順ピクチャ群の符号化が完了したかどうかを判定する（ステップＳ３０５）。完了していなければ，ステップＳ３０１へ戻り，次のピクチャについて同様に符号化処理を続ける。

符号化順ピクチャ群の符号化が完了した場合，以下の条件が満たされるかを判定し，条件が満たされ場合にだけ，リトライカウントを１減らす（ステップＳ３０６）。
・条件１：リトライカウントが１以上であること。
・条件２：ＣＰＢ残符号量が所定の閾値以上であること。
リトライカウントが０の場合，またはＣＰＢ残符号量が所定の閾値より少ない場合には，リトライカウントは減らさずに，元のままとする。

その後，リトライカウントに基づき，あらかじめリトライカウントに応じて定められた符号化パラメータを設定し（ステップＳ３０７），ステップＳ３０１へ戻って，次の符号化順ピクチャ群の先頭のピクチャから符号化処理を行う。

ステップＳ３０３においてＣＰＢアンダーフローが生じたことが検出された場合，現在のリトライカウントの値が，あらかじめ定められた最大値になっているかどうかを判定する（（ステップＳ３０８）。リトライカウントが最大値の場合，符号化順ピクチャ群を再符号化してもＣＰＢアンダーフローが回避できないので，符号化を終了する。

リトライカウントが最大値に到達していない場合，現在の符号化順ピクチャ群の再符号化のため，現在の符号化順ピクチャ群の先頭のピクチャを符号化対象として設定する（ステップＳ３０９）。そして，リトライカウントを１だけ増やす（ステップＳ３１０）。その後，リトライカウントに基づき，２つの符号化パラメータ（量子化パラメータ，プレフィルタ強度）のうち１つ以上を変更し（量子化パラメータはステップサイズをより大きく，フィルタ強度の場合はぼかし度合いをより大きく変更）（ステップＳ３１１），ステップＳ３０２へ戻って，符号化中の符号化順ピクチャ群を再符号化する。

本発明は，入力映像の全フレームを２回符号化する従来技術ｂと異なり，基本的には１回の符号化処理とし，ＣＰＢアンダーフローが生じた場合に限り，符号化順ピクチャ群（例えばＧＯＰ）をＣＰＢアンダーフローが生じなくなるまで発生符号量を段階的に抑えて繰り返し符号化する。２回目以降の符号化時には，リトライカウントに応じて定められたＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。したがって，入力映像の全てのピクチャを２度符号化する従来技術ｂと比較して演算量を削減できるとともに，再符号化による画質の劣化も小さくすることができる。

以上のように本実施形態では，再符号化時に符号化パラメータをリトライカウントに応じて変更する。ここでは，符号化時に入力映像に対してプレフィルタを適用するものとし，変更する符号化パラメータとしては，量子化パラメータとプレフィルタ強度とする。この２つの符号化パラメータの双方を変更してもよいし，いずれか一方だけを変更してもよい。

量子化パラメータについては，通常の符号化時に定められる量子化パラメータ値に対して，リトライカウントに応じて段階的に大きくなる所定のオフセット値を足し，より大きい量子化パラメータで再符号化する。

プレフィルタについては，第１の実施例と同様に，ガウシアンフィルタを利用するものとする。ガウシアンフィルタは，前述した式（１）で示されるガウス分布をｘ，ｙについてサンプリングすることによって作成できる。

式（１）において、σ＝０の場合には，ガウシアンフィルタをかけないものとし，例えばデフォルト符号化パラメータはσ₀ ＝０，再符号化用符号化パラメータは，リトライカウントの値をｃとすると，σ_c とする。σ_c は，ｃの値が大きいほど大きな値とする。０＜σ₁ ＜σ₂ ＜……である。なお，本実施例ではローパスフィルタの種類は問わない。また，例えばデフォルト符号化パラメータのσ₀ は，ピクチャごとの複雑度に応じて変更し，σ_c はσ_c-1 に所定のオフセットを足したものであるような構成でもよい。

以下で説明する実施例では，符号化方式として，Ｈ．２６４の規格に従った符号化を行うものとする。また，符号化順ピクチャ群はＧＯＰとし，符号化する際のＧＯＰの概念図を図５に示す。第１の実施例と同様に、１つのＧＯＰは１０ピクチャで構成され，表示順で，Ｉピクチャを先頭にＢピクチャとＰピクチャとが交互に並ぶものとする。

本発明の第３の実施例に係る装置構成例を，図１３に示す。入力バッファ３１０は，入力される映像信号を蓄積するとともに，符号化部３２０に符号化対象の映像信号を出力する。さらに，入力バッファ３１０は，後述のＣＰＢ管理部３４０から，ＣＰＢアンダーフローが生じ，再符号化を行うことを示す情報（リトライ情報）を受けた場合，符号化中のＧＯＰの先頭のピクチャから映像信号を再度，符号化部３２０に出力する。また，リトライ情報を受けずにＧＯＰの符号化が完了した場合，入力バッファ３１０は，蓄積していた当該ＧＯＰの映像信号を破棄する。

符号化部３２０は，入力バッファ３１０から入力された映像信号を符号化し，符号化ストリームを出力バッファ３３０に出力する。また，入力された映像信号を符号化した際に発生した符号量（符号量情報）をＣＰＢ管理部３４０に出力する。さらに，符号化部３２０は，ＣＰＢ管理部３４０からリトライ情報を受けた場合，符号化中のＧＯＰの先頭ピクチャからの映像信号が入力バッファ３１０から再度入力されるとともに，パラメータ調整部３７０から再符号化用符号化パラメータが入力されるため，入力された再符号化用符号化パラメータを利用して再符号化を行う。

出力バッファ３３０は，ＧＯＰの符号化ストリームが全て蓄積された段階で，当該ＧＯＰの符号化ストリームを出力し，一方で，ＣＰＢ管理部３４０からリトライ情報を受けた場合，符号化中のＧＯＰについて蓄積した符号化ストリームを破棄する。

ＣＰＢ管理部３４０は，符号化部３２０から入力される符号量情報を利用して，時刻とともに変化するＣＰＢの残符号量を求める。すなわち，図１の概念図で示したＣＰＢの残符号量を求める。そして，ＣＰＢアンダーフローが生じた場合，リトライ情報を入力バッファ３１０，符号化部３２０，リトライカウント管理部３５０，出力バッファ３３０に出力し，ＣＰＢアンダーフローが生じたことを通知する。また，ＣＰＢ状態予測部３６０に，ＣＰＢ残符号量情報を通知する。

リトライカウント管理部３５０は，ＣＰＢ管理部３４０からリトライ情報を受けた場合，現在のリトライカウントの値に１を加算し，更新後のリトライカウントをパラメータ調整部３７０に通知する。

また，ＣＰＢ管理部３４０からリトライ情報を受けずに，現在符号化中のＧＯＰの符号化が完了した場合，リトライカウントの値が１以上であれば，リトライカウントの値から１を減算し，そのリトライカウントをパラメータ調整部３７０に通知する。ただし，ＣＰＢ状態予測部３６０から通知されたパラメータ変更有無情報が「パラメータ変更無し」を示していれば，リトライカウントが１以上であっても，リトライカウントから１を減算しない。また，リトライカウントが０の場合にも１を減算しないで，現在のリトライカウントの値をパラメータ調整部３７０に通知する。

パラメータ調整部３７０は，リトライカウント管理部３５０からリトライカウントを受けると，リトライカウントに応じて定められた符号化パラメータを符号化部３２０に入力する。これにより，符号化部３２０は，同じＧＯＰについて再符号化の繰り返し回数が多くなるほど，発生符号量が小さくなる符号化パラメータを用いて符号化をすることになる。

以上のように，本実施例では，再符号化が発生すると値が増加し，ＧＯＰの符号化が完了した時点で値が減らされるリトライカウントという概念を導入し，リトライカウント管理部３５０にて管理する。このリトライカウントには，例えば上限値が「３」というように，所定の上限値があり，上限値に達するまで同じＧＯＰの再符号化を行ってよいものとする。符号化時における量子化パラメータのオフセット値，プレフィルタのフィルタ強度はリトライカウントの値に応じて変化する。

リトライカウントが０のときには，デフォルト符号化パラメータが利用される。リトライカウントが０以外の場合には，例えばリトライカウントの上限値が３の場合，リトライカウントの１，２，３のそれぞれに対応した再符号化用符号化パラメータを，符号化パラメータテーブルとしてあらかじめ用意しておいて，その符号化パラメータテーブルから得た符号化パラメータを再符号化に利用してもよい。

本実施例における符号化処理の流れについて，図１２のフローチャートに沿って説明する。以下の説明では，Ｓ３０１，Ｓ３０２，…といったように，文章中に図１２のフローチャートとの対応を記載する。

あるＧＯＰの符号化を行う処理について，以下のように３つのケースに場合分けをして説明する。
・［ケース１］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった。
・［ケース２］：ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，再符号化で回避できた。
・［ケース３］：ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，リトライカウントが上限値に達して再符号化でも回避できなかった。

［ケース１の処理例］
まず，ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった場合のケース１について説明する。ＧＯＰのピクチャが入力バッファ３１０に入力されると，入力バッファ３１０は当該ピクチャを蓄積するとともに，符号化部３２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ３０１）。そして，符号化部３２０は当該ピクチャを符号化し，出力バッファ３３０に符号化ストリームを出力するとともに（出力バッファ３３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部３４０に符号量情報を出力する（Ｓ３０２）。

ここで，例えばリトライカウントが初期値の０であるとすると，符号化においてはデフォルト符号化パラメータが利用され，デフォルト符号化パラメータに対応したプレフィルタ強度で符号化対象ピクチャに，プレフィルタ部３２１によるフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，デフォルト符号化パラメータに従った量子化パラメータで，量子化部３２２により量子化される。リトライカウントが１以上の場合には，それぞれリトライカウントに応じて定められたフィルタ強度および量子化パラメータによるプレフィルタ，量子化処理で符号化が行われる。

ＣＰＢ管理部３４０は，当該ピクチャについて，符号化部３２０から入力された符号量情報をもとにＣＰＢ残符号量を計算し，この例ではＣＰＢアンダーフローが発生しないため，リトライ情報の出力はしない（Ｓ３０３）。符号化対象ピクチャが入力映像信号中の最終ピクチャであれば，出力バッファ３３０は蓄積している符号化ストリームを出力し，符号化処理が完了する（Ｓ３０４）。あるいは，符号化対象ピクチャがＧＯＰの最終ピクチャであれば，出力バッファ３３０は蓄積していた符号化ストリームを出力するとともに，入力バッファ３１０は蓄積していたピクチャを破棄し，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ３０５〜Ｓ３０７））。

このケース１のように，ＣＰＢアンダーフローを発生させずにＧＯＰの符号化が完了した場合，ＣＰＢ管理部３４０は，ＧＯＰの符号化が完了した時点で，ＣＰＢ残符号量情報をＣＰＢ状態予測部３６０に通知する。ＣＰＢ状態予測部３６０は，ＣＰＢ残符号量が所定の閾値より大きいか否かを判定し，大きい場合，パラメータ変更有無情報として符号化パラメータを変更することをリトライカウント管理部３５０に通知する。一方，ＣＰＢ残符号量が閾値以下の場合，パラメータ変更有無情報として符号化パラメータを変更しないことをリトライカウント管理部３５０に通知する。リトライカウント管理部３５０は，パラメータ変更有無情報が符号化パラメータを変更することを示す場合に限り，現在のリトライカウントから値を１減らす（Ｓ３０６）。

すなわち，現在符号化が完了したＧＯＰより前のＧＯＰで再符号化が生じている場合に，リトライカウントが０でないことがある。そのとき，リトライカウント管理部３５０は，ＣＰＢ状態予測部３６０からのパラメータ変更有無情報の通知に従って，リトライカウントを変更し，変更後のリトライカウントをパラメータ調整部３７０に通知する。パラメータ調整部３７０は，通知されたリトライカウントに対応した符号化パラメータを符号化部３２０に設定し，次のＧＯＰの先頭ピクチャの符号化が開始される。

［ケース２の処理例］
次に，ＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，再符号化で回避できた場合のケース２について説明する。ここでは，ＧＯＰの符号化を開始する時点でのリトライカウントが１であるとし，同じＧＯＰで２回再符号化が行われた場合を説明する。

ＧＯＰのピクチャが入力バッファ３１０に入力されると，入力バッファ３１０は当該ピクチャを蓄積するとともに，符号化部３２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ３０１）。そして，符号化部３２０は当該ピクチャを符号化し，出力バッファ３３０に符号化ストリームを出力するとともに（出力バッファ３３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部３４０に符号量情報を出力する（Ｓ３０２）。ここで，符号化においては，リトライカウント１に対応した符号化パラメータが利用される。

ＣＰＢ管理部３４０は，当該ピクチャについて，符号化部３２０から入力された符号量情報をもとにＣＰＢ残符号量を計算する。この結果，当該ピクチャについて，ＣＰＢ管理部３４０がＣＰＢアンダーフローを検知した場合，ＣＰＢ管理部３４０は，符号化部３２０，リトライカウント管理部３５０，入力バッファ３１０，出力バッファ３３０にリトライ情報を出力する（Ｓ３０３）。

現在のリトライカウントは１であり，上限値の３には達していないので（Ｓ３０８），入力バッファ３１０は，蓄積していた符号化中のＧＯＰの先頭ピクチャを符号化部３２０に出力する（Ｓ３０９）。一方で，リトライカウント管理部３５０でリトライカウントが１増加され，値が２となったリトライカウントがパラメータ調整部３７０に出力される（Ｓ３１０）。

パラメータ調整部３７０では，リトライカウントが２のときの符号化パラメータを符号化パラメータテーブルから読み出し，その符号化パラメータを符号化部３２０に設定する（Ｓ３１１）。出力バッファ３３０は，符号化中のＧＯＰの符号化ストリームを破棄する。

符号化部３２０では，ＣＰＢアンダーフローが生じない限り，順次，ＧＯＰのピクチャが入力バッファ３１０から入力されて符号化される。この符号化の際に，同じＧＯＰで再度ＣＰＢアンダーフローが生じた場合，前述した処理と同様な処理によって，リトライカウントが１増加し，３になる。これにより，符号化パラメータがリトライカウント＝３に対応するものに変更された上で，同じＧＯＰについて再度，先頭ピクチャから符号化が順次行われる。

このＧＯＰの符号化において，これ以上ＣＰＢアンダーフローが生じなかった場合，ＣＰＢ管理部３４０は，ＣＰＢ残符号量の情報をＣＰＢ状態予測部３６０に通知する。ＣＰＢ状態予測部３６０は，ＣＰＢ状態残符号量が所定の閾値以上の場合，パラメータ変更有無情報を「変更あり」とし，それ以外の場合には「変更なし」として，リトライカウント管理部３５０に通知する。

通知されたパラメータ変更有無情報が「変更あり」の場合，リトライカウント管理部３５０によってリトライカウントが１減らされ，リトライカウントが２となって，次のＧＯＰの符号化が進められる。このときの入力バッファ３１０および出力バッファ３３０の動作は，前述した例と同様である。パラメータ変更有無情報が「変更なし」の場合には，リトライカウントが３のままで，次のＧＯＰの符号化が進められる。

このケース２の例におけるリトライカウント，符号化パラメータの推移の概念図を，図１１に示す。図１１の例では，第２の実施例と同様に、リトライカウントが１の状態で，２番目のＧＯＰ２を符号化しているときに，６ピクチャ目の符号化でＣＰＢアンダーフローが発生したので，リトライカウントを２にし，再度，リトライカウント＝２に対応する符号化パラメータでＧＯＰ２の先頭のＩピクチャから再符号化している。この再符号化でも，７番目のピクチャでＣＰＢアンダーフローが発生し，さらにリトライカウント＝３に対応する発生符号量が少ない符号化パラメータで再符号化が行われている。

再度の再符号化ではＣＰＢアンダーフローが生じなかったので，ＣＰＢ残符号量が所定の閾値以上かを判定し，ここでＣＰＢ残符号量が所定の閾値以上であったので，ＧＯＰ２の符号化完了時にリトライカウントから１を減じ，リトライカウントが２の符号化パラメータを用いて，次のＧＯＰ３の符号化に移行している。

再符号化が行われた際のＣＰＢ残符号量の遷移の概念図を，図８に示す。第１、第２の実施例と同様に、太線で示した線が，再度，再符号化した後のＣＰＢ残符号量である。再符号化では，プレフィルタでぼかし度合いを強め，量子化パラメータもデフォルト符号化パラメータよりも大きくするため，発生符号量が抑えられ，例えば図８のような遷移が行われ，ＣＰＢアンダーフローが抑制される。

［ケース３の処理例］
最後に，同じＧＯＰの符号化において複数回ＣＰＢアンダーフローが発生し，リトライカウントが上限値に達して再符号化でも回避できなかった場合のケース３について説明する。あるＧＯＰを符号化中に，ケース２の場合と同様に，リトライカウントが３に達したとする。さらに，同じＧＯＰの符号化において，ＣＰＢ管理部３４０によりＣＰＢアンダーフローが検知された場合（Ｓ３０３），リトライカウント管理部３５０でリトライカウントが上限値に達していることが検知され（Ｓ３０８），符号化が完了する。なお，このような場合に，符号化を完了するのでなく，コマ落としを許容し，符号化を完了しないで，ＣＰＢアンダーフローが生じたピクチャの符号化データを破棄し，次のピクチャを符号化するように処理してもよい。
＜第４の実施例＞

次に，本発明の第４の実施形態について説明する。図１４は，本発明の第４の実施例に係る動画像符号化制御方法を示す処理フローチャートである。

まず，入力映像信号における符号化が終了したピクチャの次のピクチャを符号化対象として設定する（ステップＳ４０１）。符号化対象として設定した入力ピクチャを，Ｈ．２６４その他の所定の符号化方式により符号化する（ステップＳ４０２）。入力ピクチャの符号化により，ＣＰＢアンダーフローが生じたかどうかを判定し（ステップＳ４０３），ＣＰＢアンダーフローが生じた場合には，ステップＳ４１１へ進む。なお，ＣＰＢアンダーフローが生じたかどうかは，例えばＨ．２６４の標準規格などで用いられている方法で判定することができる。

ＣＰＢアンダーフローが生じていなければ，最終ピクチャの符号化が完了したかどうかを判定し（ステップＳ４０４），最終ピクチャまで符号化が完了したならば符号化処理を終了する。

そうでなければ，符号化したピクチャは符号化順ピクチャ群の先頭のＩピクチャかどうかを判定する（ステップＳ４０５）。現在符号化したピクチャが符号化順ピクチャ群の先頭のＩピクチャの場合，そのＩピクチャをリトライポイントとして設定する（ステップＳ４０６）。これは，後述するステップＳ４０９において，ＣＰＢ残符号量が所定の閾値未満の場合に，リトライポイントが１つ前の符号化順ピクチャ群の先頭に設定されたままであるので，次のＩピクチャでＣＰＢアンダーフローが生じないことを確認してからリトライポイントを更新するための処理である。なお，ステップＳ４１０においてリトライポイントが設定されている場合には，同じ位置にリトライポイントを再設定することになるが，処理上，不都合は生じない。その後，ステップＳ４０１へ戻って，次のピクチャの符号化を進める。

符号化したピクチャが符号化順ピクチャ群の先頭でない場合，次に，符号化順ピクチャ群の符号化が完了したかどうかを判定する（ステップＳ４０７）。完了していなければ，ステップＳ４０１へ戻り，次のピクチャについて同様に符号化処理を続ける。符号化順ピクチャ群の符号化が完了した場合，符号化パラメータが符号化順ピクチャ群の再符号化（リトライ）で変更されていれば，符号化パラメータを通常の符号化時の値に戻す（ステップＳ４０８）。

また，符号化順ピクチャ群の符号化が完了した時点で，ＣＰＢ残符号量が所定の閾値以上かどうかを判定する（ステップＳ４０９）。ＣＰＢ残符号量が所定の閾値以上であれば，リトライポイントを，次の符号化順ピクチャ群の先頭のＩピクチャに設定する（ステップＳ４１０）。その後，ステップＳ４０１へ戻って，次の符号化順ピクチャ群の先頭から順番に符号化を行う。

ＣＰＢ残符号量が所定の閾値未満の場合には，リトライポイントを更新しないで，ステップＳ４０１へ戻り，次の符号化順ピクチャ群の符号化へ進む。

ステップＳ４０３においてＣＰＢアンダーフローが生じたことが検出された場合，現在の符号化順ピクチャ群は再符号化が行われたかどうか（リトライ済みかどうか）を判定する（ステップＳ４１１）。リトライ済みの場合，符号化順ピクチャ群を再符号化してもＣＰＢアンダーフローが回避できないので，符号化を終了する。リトライ済みでない場合，現在の符号化順ピクチャ群の再符号化のため，リトライポイントのピクチャを符号化対象として設定する（ステップＳ４１２）。そして，２つの符号化パラメータ（量子化パラメータ，プレフィルタ強度）のうち１つ以上を変更し（量子化パラメータはステップサイズをより大きく，フィルタ強度の場合はぼかし度合いをより大きく変更）（ステップＳ４１３），ステップＳ４０２へ戻って，符号化中の符号化順ピクチャ群を再符号化する。

すなわち，入力映像の全フレームを２回符号化する従来技術ｂと異なり，ＣＰＢアンダーフローが生じた場合に限り，符号化順ピクチャ群（例えばＧＯＰ）を２回符号化する。２回目の符号化時には，ＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。ＣＰＢアンダーフローが生じた場合に限り，それが生じた符号化順ピクチャ群のみを再符号化することで（なお，例外的に１つ前の符号化順ピクチャ群から再符号化することもある），ＣＰＢアンダーフローを抑制する。したがって，入力映像の全てのピクチャを２度符号化する従来技術ｂと比較して演算量を削減できる。

図１５は，本発明の第４の実施例に係る動画像符号化制御方法の変形例を示す処理フローチャートである。本発明は，図１４に示すステップＳ４０８の処理を，図１５に示すステップＳ４８１〜Ｓ４８３の処理に置き換えて実施することもできる。ステップＳ４０８以外の処理は，図１４とほぼ同様である。

図１４のステップＳ４０７の処理の後，符号化パラメータがリトライで変更されているかどうかを判定する（ステップＳ４８１）。リトライで変更されていなければ，ステップＳ４０９へ進む。リトライで変更されていれば，次にＣＰＢ残符号量が所定の第一の閾値以上かどうかを判定する（ステップＳ４８２）。所定の閾値未満であれば，符号化パラメータを再符号化で用いた状態のままとし，所定の閾値以上の場合にだけ符号化パラメータを元のデフォルト符号化パラメータに戻す（ステップＳ４８３）。その後，ステップＳ４０９へ進み，ＣＰＢ残符号量が所定の第二の閾値以上かどうかを判定するが，この処理およびステップＳ４１０の処理は，図１４に示すステップＳ４０９，Ｓ４１０の処理と同様である。なお，第一の閾値と第二の閾値とは，同じ値であっても異なる値であってもどちらでもよい。

図１５に示す変形例では，以上のように符号化順ピクチャ群の符号化が完了した時点でＣＰＢ残符号量が所定量を超えている場合にだけ，符号化パラメータを通常の符号化時の値に戻す。これは次の理由による。符号化順ピクチャ群の符号化が完了したとしても，ＣＰＢ残符号量が少ない場合，符号化パラメータを通常の符号化時の値に戻すと発生符号量がより多くなるため，次の符号化順ピクチャ群の符号化でＣＰＢアンダーフローが生じる可能性が高まる。図１５の処理では，ＣＰＢ残符号量が少ない場合には，符号化パラメータを変更しないため，図１４の処理に比べて，次の符号化順ピクチャ群の符号化における再符号化の発生が抑制され，演算量がさらに削減されることになる。

以上のように本実施形態では，再符号化時に符号化パラメータを変更する。ここでは，符号化時に入力映像に対してプレフィルタを適用するものとし，変更する符号化パラメータとしては，量子化パラメータとプレフィルタ強度とする。この２つの符号化パラメータの双方を変更してもよいし，いずれか一方だけを変更してもよい。

量子化パラメータについては，通常の符号化時の量子化パラメータ値に対して，所定のオフセット値を足し，より大きい量子化パラメータで再符号化する。

プレフィルタについては，第１の実施例と同様に，ガウシアンフィルタを利用するものとする。ガウシアンフィルタは，前述した式（１）で示されるガウス分布をｘ，ｙについてサンプリングすることによって作成できる。

式（１）において、σ＝０の場合には，ガウシアンフィルタをかけないものとし，例えばデフォルト符号化パラメータはσ₀ ＝０，再符号化用符号化パラメータはσ₁ ＞０とする。なお，本発明ではローパスフィルタの種類は問わない。また，再符号化時のぼかし度合いの強め方も予め任意に定めてよい。例えば，デフォルト符号化パラメータのσ₀ は，ピクチャごとの複雑度に応じて変更し，σ₁ はσ₀ に所定のオフセットを足したものであるような構成でもよい。

符号化は，Ｈ．２６４の規格に従った符号化を行うものとする。また，本実施例では，符号化順ピクチャ群はＧＯＰとし，符号化する際のＧＯＰの概念図を図５に示す。第１の実施例と同様に、１つのＧＯＰは１０ピクチャで構成され，表示順で，Ｉピクチャを先頭にＢピクチャとＰピクチャとが交互に並ぶものとする。

本発明の第４の実施例の装置構成例を，図１６に示す。入力バッファ４１０は，入力される映像信号を蓄積するとともに，符号化部４２０に符号化対象の映像信号を出力する。さらに，入力バッファ４１０は，後述のＣＰＢ管理部４４０から，ＣＰＢアンダーフローが生じ，再符号化を行うことを示す情報（リトライ情報）を受けた場合，リトライポイントとして設定されたＧＯＰの先頭ピクチャから映像信号を再度，符号化部４２０に出力する。また，リトライポイント管理部４６０からリトライポイント情報を入力した場合に，入力バッファ４１０は，リトライポイントより前の蓄積していたＧＯＰの映像信号を破棄する。

符号化部４２０は，入力バッファ４１０から入力された映像信号を符号化し，符号化ストリームを出力バッファ４３０に出力する。また，入力された映像信号を符号化した際に発生した符号量（符号量情報）をＣＰＢ管理部４４０に出力する。さらに，符号化部４２０は，ＣＰＢ管理部４４０からリトライ情報を受けた場合，リトライポイントが示すＧＯＰの先頭ピクチャからの映像信号が入力バッファ４１０から再度入力されるとともに，パラメータ調整部４７０から再符号化用符号化パラメータが入力されるため，入力された再符号化用符号化パラメータを利用して再符号化を行う。

出力バッファ４３０は，リトライポイント管理部４６０からのリトライポイント情報に基づき，出力することが確定した符号化ストリーム，すなわち再符号化の必要がないことが確定した符号化結果の符号化ストリームを出力する。一方で，出力バッファ４３０は，ＣＰＢ管理部４４０からリトライ情報を受けた場合，符号化中のＧＯＰについて蓄積した符号化ストリームを破棄する。

ＣＰＢ管理部４４０は，符号化部４２０から入力される符号量情報を利用して，時刻とともに変化するＣＰＢの残符号量を求める。すなわち，図１の概念図で示したＣＰＢの残符号量を求める。そして，ＣＰＢアンダーフローが生じた場合，リトライ情報を入力バッファ４１０，符号化部４２０，パラメータ調整部４７０，出力バッファ４３０に出力し，ＣＰＢアンダーフローが生じたことを通知する。また，ＣＰＢ管理部４４０は，ＧＯＰの符号化が完了した時点におけるＣＰＢ残符号量を，ＣＰＢ状態予測部４５０に出力する。

ＣＰＢ状態予測部４５０は，ＣＰＢ残符号量が所定の閾値より大きいか否かの判定を行い，閾値より大きい場合には，リトライポイント管理部４６０に，次のＧＯＰのリトライポイントは当該ＧＯＰの先頭のＩピクチャであることを示す情報を，リトライポイント変更有無情報として通知する。逆に，閾値より小さい場合には，次のＧＯＰの先頭ピクチャのリトライポイントは当該ＧＯＰの直前のＧＯＰの先頭ピクチャ（Ｉピクチャ）であることを示す情報を，リトライポイント変更有無情報として通知する。

リトライポイント管理部４６０は，これから符号化するＧＯＰの先頭ピクチャにおいて，リトライポイントが直前のＧＯＰの先頭ピクチャであることをリトライ変更有無情報が示す場合に，そのリトライポイントを入力バッファ４１０に通知するとともに，先頭のピクチャの符号化において再符号化が生じなかった場合に，次のピクチャの符号化からリトライポイントを現在符号化しているＧＯＰの先頭ピクチャとすることを，入力バッファ４１０に通知する。また，リトライポイントがこれから符号化するＧＯＰの先頭ピクチャであることをリトライ変更有無情報が示す場合に，そのリトライポイントを入力バッファ４１０と出力バッファ４３０に通知する。ここでは，これらの通知情報をリトライポイント情報という。前述のように，入力バッファ４１０は，再符号化時にはリトライポイント情報に基づくピクチャから符号化部４２０に映像信号を入力し，出力バッファ４３０は，リトライポイント情報に基づき出力することが確定した符号化ストリームのみを出力する。

パラメータ調整部４７０は，ＣＰＢ管理部４４０からリトライ情報を受けた場合，前述のように再符号化用符号化パラメータを符号化部４２０に入力する。これにより，符号化部４２０は，再符号化時には，同じＧＯＰについて，発生符号量が小さくなる符号化パラメータを用いて符号化をすることになる。

本実施例における符号化処理の流れについて，図１４のフローチャートに沿って説明する。以下の説明では，Ｓ４０１，Ｓ４０２，…といったように，文章中に図１４のフローチャートとの対応を記載する。

あるＧＯＰの符号化を行う処理について，最初のＧＯＰをＧＯＰ１，次のＧＯＰをＧＯＰ２として，以下のように４つのケースに場合分けをして説明する。
・［ケース１］：ＧＯＰ１の符号化においてＣＰＢアンダーフローが発生しないでＧＯＰ１の符号化が完了し，次のＧＯＰ２の先頭ピクチャの符号化においてもＣＰＢアンダーフローが発生しなかった。
・［ケース２］：ＧＯＰ１の符号化が完了し，次のＧＯＰ２の先頭ピクチャの符号化においてＣＰＢアンダーフローが発生し，再符号化が必要になった。
・［ケース３］：ＧＯＰ２の中間のピクチャの符号化においてＣＰＢアンダーフローが発生し，再符号化が必要になった。
・［ケース４］：ＧＯＰ２の符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった。

［ケース１の処理例］
まず，ＧＯＰ１の符号化においてＣＰＢアンダーフローが発生しなかった場合のケース１について説明する。ＧＯＰ１のピクチャが入力バッファ４１０に入力されると，入力バッファ４１０は当該ピクチャを蓄積するとともに，符号化部４２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ４０１）。そして，符号化部４２０は当該ピクチャを符号化し，出力バッファ４３０に符号化ストリームを出力するとともに（出力バッファ４３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部４４０に符号量情報を出力する（Ｓ４０２）。

ここで，符号化においてはデフォルト符号化パラメータが利用され，デフォルト符号化パラメータに対応したプレフィルタ強度で符号化対象ピクチャに，プレフィルタ部４２１によるフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，デフォルト符号化パラメータに従った量子化パラメータで，量子化部４２２により量子化される。

ＣＰＢ管理部４４０は，当該ピクチャについて，符号化部４２０から入力された符号量情報をもとにＣＰＢ残符号量を計算し，この例ではＣＰＢアンダーフローが発生しないため，リトライ情報の出力はしない（Ｓ４０３）。符号化対象ピクチャが入力映像信号中の最終ピクチャであれば，出力バッファ４３０は蓄積している符号化ストリームを出力し，符号化処理が完了する（Ｓ４０４）。

符号化対象ピクチャがＧＯＰ１の先頭ピクチャであれば（Ｓ４０５），リトライポイント管理部４６０は，ＧＯＰ１の先頭ピクチャ（Ｉピクチャ）をリトライポイントとして設定し（Ｓ４０６），続いて符号化部４２０は，次のピクチャの符号化を進める。

あるいは，符号化対象ピクチャがＧＯＰの最終ピクチャであれば，パラメータ調整部４７０は，再符号化で再符号化用符号化パラメータが利用されていた場合に，符号化パラメータをデフォルト符号化パラメータに変更する（Ｓ４０８）。

その一方で，ＣＰＢ管理部４４０がＣＰＢ残符号量情報をＣＰＢ状態予測部４５０に出力し，ＣＰＢ状態予測部４５０は，ＣＰＢ残符号量が所定の閾値よりも大きいかを判定する（Ｓ４０９）。その判定結果を，前述のリトライポイント変更有無情報として，リトライポイント管理部４６０に通知する。リトライポイント管理部４６０は，リトライポイント変更有無情報がリトライポイントを変更しないこと（閾値未満）を示す場合，入力バッファ４１０にリトライポイントがＧＯＰ１の先頭ピクチャであることをリトライポイント情報として通知する。その後，ＧＯＰ２の先頭のＩピクチャの符号化処理に進み（Ｓ４０２），そのＩピクチャの符号化でＣＰＢアンダーフローが生じなかった場合（Ｓ４０３），リトライポイント管理部４６０は，入力バッファ４１０および出力バッファ４３０にリトライポイントがＧＯＰ２の先頭ピクチャであることを通知する（Ｓ４０６）。すなわち，それ以降のＧＯＰ２のピクチャにおいて再符号化が生じた場合，ＧＯＰ２の先頭ピクチャから再符号化が行われる。

前述したＧＯＰ１の符号化が完了した時点で，ＣＰＢ残符号量が十分にある場合には，リトライポイントを変更することを示すリトライ変更有無情報がＣＰＢ状態予測部４５０からリトライポイント管理部４６０へ出力され，リトライポイント管理部４６０は，入力バッファ４１０にリトライポイントはＧＯＰ２の先頭ピクチャであることをリトライポイント情報として通知する（Ｓ４１０）。この場合，次にＧＯＰ２のどのピクチャにおいてＣＰＢアンダーフローが生じても，ＧＯＰ２の先頭ピクチャから再符号化が行われる。

［ケース２の処理例］
次に，ＧＯＰ２の先頭ピクチャの符号化においてＣＰＢアンダーフローが発生し，再符号化で回避できた場合のケース２について説明する。ケース１と同様に，ＧＯＰ１の符号化が完了した時点でのリトライポイント変更有無情報が，ＣＰＢ残符号量が少ないためにリトライポイントを変更しないことを示す場合，リトライポイント管理部４６０は，入力バッファ４１０にリトライポイントはＧＯＰ１の先頭のＩピクチャであることを通知する。

ＧＯＰ２の先頭のＩピクチャの符号化処理に進み，当該ピクチャでＣＰＢ管理部４４０によりＣＰＢアンダーフローが生じたことが検出された場合（Ｓ４０３），ＣＰＢ管理部４４０からのリトライ情報に基づき，入力バッファ４１０は，ＧＯＰ１の先頭ピクチャから順次，符号化部４２０にピクチャを入力させ，符号化部４２０で再符号化が行われる。このときの符号化パラメータは，パラメータ調整部４７０から設定された再符号化用符号化パラメータが用いられる（Ｓ４１３）。この再符号化では，プレフィルタ部４２１により，再符号化用符号化パラメータに対応したプレフィルタ強度（デフォルト符号化パラメータよりぼかし度合いが大きい）で，符号化対象ピクチャにプレフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，再符号化用符号化パラメータに従った量子化パラメータ（デフォルト符号化パラメータより量子化ステップサイズが大きい）で，量子化部４２２により量子化される。

このＧＯＰ１の再符号化により，ＧＯＰ１の最終ピクチャまでの符号化が完了した場合，そのときのＣＰＢ残符号量によって，リトライポイントがＧＯＰ１の先頭ピクチャまたはＧＯＰ２の先頭ピクチャに設定され，続いてＧＯＰ２の先頭ピクチャの符号化処理が進められる。

［ケース３の処理例］
前のケース２では，ＧＯＰ２の先頭ピクチャの符号化においてＣＰＢアンダーフローが発生し，再符号化が必要になった例を説明したが，ＧＯＰ２の先頭ピクチャ以外のピクチャでＣＰＢアンダーフローが生じた場合には，同様に再符号化用符号化パラメータを用いて，ＧＯＰ２の先頭ピクチャから再符号化が行われることになる。

ＧＯＰ２の中間のピクチャで再符号化が行われた際の符号化パラメータの変更の概念図を図７に示す。図７の例では，第１の実施例と同様に、ＧＯＰ２の６ピクチャ目の符号化でＣＰＢアンダーフローが発生したので，発生符号量を抑制する再符号化用符号化パラメータを設定して，ＧＯＰ２の先頭のＩピクチャから再符号化している。再符号化によりＣＰＢアンダーフローの発生が抑止されたので，次のＧＯＰ３の符号化では，再符号化用符号化パラメータをデフォルト符号化パラメータに戻し，符号化処理を続ける。

再符号化が行われた際のＣＰＢ残符号量の遷移の概念図を図８に示す。第１〜第３の実施例と同様に、太線で示した線が再符号化後のＣＰＢ残符号量である。再符号化では，プレフィルタでぼかし度合いを強め，量子化パラメータもデフォルト符号化パラメータよりも大きくするため，発生符号量が抑えられ，例えば図８のような遷移が行われ，ＣＰＢアンダーフローが抑制される。

［ケース４の処理例］
最後に，ＧＯＰ２の符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった場合のケース４について説明する。この場合，ＣＰＢ管理部４４０によりＣＰＢアンダーフローが検知され，ＧＯＰ２の再符号化を行う動作は，前のケース３と同様である。このＧＯＰ２の再符号化中にＣＰＢアンダーフローが生じた場合，符号化を完了する（Ｓ４１１）。なお，符号化を完了するのでなく，コマ落としを許容し，符号化を完了しないで，ＣＰＢアンダーフローが生じたピクチャの符号化データを破棄し，次のピクチャを符号化するように処理してもよい。
＜第５の実施例＞

次に，本発明の第５の実施例について説明する。図１７は，本発明の第５の実施例に係る動画像符号化制御方法を示す処理フローチャートである。

符号化順でＭ枚目のピクチャとＮ枚目（Ｎ＞Ｍ）のピクチャに関して，Ｎ−Ｍをピクチャ間距離という。最初に，外部から与えられた利用可能なメモリ量の情報に基づき，再符号化時にメモリ制限内で最大で遡ることができるピクチャ間距離である最大ピクチャ間距離を求め，記憶する（Ｓ５００）。

次に，入力映像信号における符号化が終了したピクチャの次のピクチャ（符号化開始時には入力映像信号の先頭ピクチャ）を符号化対象として設定する（ステップＳ５０１）。符号化対象として設定した入力ピクチャを，Ｈ．２６４その他の所定の符号化方式により符号化する（ステップＳ５０２）。入力ピクチャの符号化により，ＣＰＢアンダーフローが生じたかどうかを判定し（ステップＳ５０３），ＣＰＢアンダーフローが生じた場合には，ステップＳ５０７へ進む。なお，ＣＰＢアンダーフローが生じたかどうかは，例えばＨ．２６４の標準規格などで用いられている方法で判定することができる。

ＣＰＢアンダーフローが生じていなければ，最終ピクチャの符号化が完了したかどうかを判定し（ステップＳ５０４），最終ピクチャまで符号化が完了したならば符号化処理を終了する。

そうでなければ，符号化順ピクチャ群の符号化が完了したかどうかを判定する（ステップＳ５０５）。完了していなければ，ステップＳ５０１へ戻り，次のピクチャについて同様に符号化処理を続ける。符号化順ピクチャ群の符号化が完了した場合，符号化パラメータが符号化順ピクチャ群の再符号化（リトライ）で変更されていれば，符号化パラメータを通常の符号化時の値に戻し（ステップＳ５０６），ステップＳ５０１へ戻って，次の符号化順ピクチャ群の先頭のピクチャから符号化処理を行う。

ステップＳ５０３においてＣＰＢアンダーフローが生じたことが検出された場合，現在の符号化中のピクチャは再符号化が行われたかどうか（リトライ済みかどうか）を判定する（ステップＳ５０７）。リトライ済みの場合，符号化順ピクチャ群内のピクチャを再符号化してもＣＰＢアンダーフローが回避できないので，符号化を終了する。リトライ済みでない場合，現在の符号化順ピクチャ群内のピクチャの再符号化のため，リトライポイントを設定する。すなわち，ステップＳ５００で算出した最大ピクチャ間距離の範囲内の符号化中の符号化順ピクチャ群に含まれる最も離れたピクチャを，符号化対象として設定する（ステップＳ５０８）。そして，２つの符号化パラメータ（量子化パラメータ，プレフィルタ強度）のうち１つ以上を変更し（量子化パラメータはステップサイズをより大きく，フィルタ強度の場合はぼかし度合いをより大きく変更）（ステップＳ５０９），ステップＳ５０２へ戻って，リトライポイントとして設定した符号化順ピクチャ群のピクチャから再符号化する。

以上の再符号化処理によれば，入力映像の全フレームを２回符号化する従来技術ｂと異なり，ＣＰＢアンダーフローが生じた場合に限り，符号化順ピクチャ群（例えばＧＯＰ）内の複数ピクチャを２回符号化する。２回目の符号化時には，ＣＰＢアンダーフローを抑制する符号化パラメータで符号化を行う。ＣＰＢアンダーフローが生じた場合に限り，それが生じた符号化順ピクチャ群内の複数ピクチャのみを再符号化することでＣＰＢアンダーフローを抑制する。したがって，入力映像の全てのピクチャを２度符号化する従来技術ｂと比較して演算量を削減できる。また，入力バッファおよび出力バッファとして必要となるメモリも，所定数のピクチャに相当する分だけでよく，メモリの削減を図ることができる。

図１８は，本発明の第５の実施例に係る動画像符号化制御方法の変形例を示す処理フローチャートである。本発明は，図１７に示すステップＳ５０６の処理を，図１８に示すステップＳ５６１〜Ｓ５６３の処理に置き換えて実施することもできる。ステップＳ５０６以外の処理は，図１７と同様である。

図１７のステップＳ５０５の処理の後，符号化パラメータがリトライで変更されているかどうかを判定する（ステップＳ５６１）。リトライで変更されていなければ，図１７のステップＳ５０１へ戻る。リトライで変更されていれば，次にＣＰＢ残符号量が所定の閾値以上かどうかを判定する（ステップＳ５６２）。所定の閾値未満であれば，符号化パラメータを再符号化で用いた状態のままとし，所定の閾値以上の場合にだけ符号化パラメータを元のデフォルト符号化パラメータに戻す（ステップＳ５６３）。その後に，図１７のステップＳ５０１へ戻り，次の符号化順ピクチャ群の符号化に移る。

図１８に示す変形例では，以上のように符号化順ピクチャ群の符号化が完了した時点でＣＰＢ残符号量が所定量を超えている場合にだけ，符号化パラメータを通常の符号化時の値に戻す。これは次の理由による。符号化順ピクチャ群の符号化が完了したとしても，ＣＰＢ残符号量が少ない場合，符号化パラメータを通常の符号化時の値に戻すと発生符号量がより多くなるため，次の符号化順ピクチャ群の符号化でＣＰＢアンダーフローが生じる可能性が高まる。図１８の処理では，ＣＰＢ残符号量が少ない場合には，符号化パラメータを変更しないため，図１７の処理に比べて，次の符号化順ピクチャ群の符号化における再符号化の発生が抑制され，演算量がさらに削減されることになる。

以上のように本実施形態では，再符号化時に符号化パラメータを変更する。ここでは，符号化時に入力映像に対してプレフィルタを適用するものとし，変更する符号化パラメータとしては，量子化パラメータとプレフィルタ強度とする。この２つの符号化パラメータの双方を変更してもよいし，いずれか一方だけを変更してもよい。

量子化パラメータについては，通常の符号化時の量子化パラメータ値に対して，所定のオフセット値を足し，より大きい量子化パラメータで再符号化する。

プレフィルタについては，第１の実施例と同様に，ガウシアンフィルタを利用するものとする。ガウシアンフィルタは，前述した式（１）で示されるガウス分布をｘ，ｙについてサンプリングすることによって作成できる。

式（１）において、σ＝０の場合には，ガウシアンフィルタをかけないものとし，例えばデフォルト符号化パラメータはσ₀ ＝０，再符号化用符号化パラメータはσ₁ ＞０とする。なお，本発明ではローパスフィルタの種類は問わない。また，再符号化時のぼかし度合いの強め方も予め任意に定めてよい。例えば，デフォルト符号化パラメータのσ₀ は，ピクチャごとの複雑度に応じて変更し，σ₁ はσ₀ に所定のオフセットを足したものであるような構成でもよい。

符号化は，Ｈ．２６４の規格に従った符号化を行うものとする。また，本実施例では，符号化順ピクチャ群はＧＯＰとし，符号化する際のＧＯＰの概念図を図５に示す。第１の実施例と同様に、１つのＧＯＰは１０ピクチャで構成され，表示順で，Ｉピクチャを先頭にＢピクチャとＰピクチャとが交互に並ぶものとする。

本発明の第５の実施例に係る装置構成例を，図１９に示す。最大ピクチャ間距離決定部６００は，外部から使用可能メモリ量を通知され（使用可能メモリ量情報），これに基づき再符号化時に最大で遡れる最大ピクチャ間距離を求める。本実施例では，再符号化に備えるために，入力バッファ５１０に符号化中のＧＯＰの入力映像信号，出力バッファ５３０に符号化中のＧＯＰの符号化ストリームを蓄積しておく。最大ピクチャ間距離決定部６００は，ＧＯＰ長を最大ピクチャ間距離とした場合から始め，最大ピクチャ間距離の値を減らしながら，入力バッファ５１０および出力バッファ５３０の最悪のケースでの必要メモリ量および他の利用メモリ量の総和が，使用可能メモリ量以下になるピクチャ間距離を求め，最大ピクチャ間距離を決定する。

ここで，最大ピクチャ間距離を求める際の必要メモリ量の計算例を示す。まず，入力バッファ５１０の必要メモリ量は，次のようになる。

入力バッファの必要メモリ量＝（最大ピクチャ間距離＋１）×（１ピクチャのデータ量）
一方で，出力バッファ５３０の必要メモリ量は，ＣＰＢの大きさ，およびビットレートの制限下で，ＣＰＢアンダーフローを生じさせずに発生し得る最大の符号量とする。具体的には，ＧＯＰの符号開始直前においてＣＰＢ残符号量がＣＰＢの大きさと等しい状態で，ＣＰＢにビットレートに従って入力されるデータを全て使い切った場合（ＧＯＰ符号化後にＣＰＢ残符号量が０）が，発生し得る最大の符号量となる。ビット数での計算式としては，出力バッファの必要メモリ量は，次式のようになる。

出力バッファの必要メモリ量＝（ビットレート／１秒あたりのピクチャ数）×（最大ピクチャ間距離＋１）＋（ビット数でのＣＰＢの大きさ）
さらに，次のようなデータのデータ量も計算する必要がある場合がある。Ｈ．２６４の場合，再符号化に備えてＧＯＰの符号化中に作成された復号画像を，参照画像として残しておく必要がある（残しておかない場合，再符号化時にリトライポイントから符号化する際の参照画像がない状態となる）。ＧＯＰ内のピクチャは当該ＧＯＰ以前のピクチャを参照しないため，参照画像としてＤＰＢ（Decoded Picture Buffer）に格納するのは，ＩおよびＰピクチャの前提の場合，次のようにメモリを確保しておけば，あらゆる状況においてメモリが足りることになる。

ＧＯＰの最後のピクチャにおいて再符号化が生じた場合に，再符号化を開始するピクチャ（最大ピクチャ間距離のピクチャ）よりも，符号化順において過去である符号化順ピクチャ群内のＩおよびＰピクチャの数の分だけメモリを持っていればよい。

図２０に，この必要メモリ量を説明する概念図を示す。例えば，図２０に示すようにＧＯＰが１０ピクチャ構成で，最大ピクチャ間距離が６であるとする。入力バッファ５１０に保持すべきピクチャ数は最大で７となる。一方，図２０の例の場合，再符号化のためには，先頭のＩピクチャと次のＰピクチャの復号画像についても，参照画像としてメモリに保持しておく必要がある。最大ピクチャ間距離がＧＯＰ長と等しい場合と比較すると，図２０のような場合に先頭のＩピクチャと２番目のＰピクチャの２のピクチャ分のＤＰＢを追加で保持する必要があるが，入力バッファ５１０に保持すべきピクチャ数は３つ減る。すなわち，最大ピクチャ間距離が小さいほど参照画像のメモリ量が増えるが，入力バッファ５１０に格納すべきピクチャ数の減少量のほうが多いため，最大ピクチャ間距離を小さくすると必要メモリ量が減ることがわかる。

また，Ｈ．２６４では，参照画像の動きベクトルを参照する場合があるため，これのためのメモリが必要な場合がある。その他，エンコーダの構成等に依存して必要なメモリを計算する。これらの総和が使用可能メモリ量以下にあるピクチャ間距離を求めて最大ピクチャ間距離を決定することになる。

なお，本発明の実施にあたって，最大ピクチャ間距離決定部６００に，外部から使用可能メモリ量を通知して最大ピクチャ間距離を計算するのではなく，外部で最大ピクチャ間距離を計算して，最大ピクチャ間距離決定部６００に与えるようにしてもよい。

最大ピクチャ間距離決定部６００は，決定した最大ピクチャ間距離情報をリトライポイント管理部５６０に通知する。

入力バッファ５１０は，入力される映像信号を蓄積するとともに，符号化部５２０に符号化対象の映像信号を出力する。さらに，入力バッファ５１０は，後述のＣＰＢ管理部５４０から，ＣＰＢアンダーフローが生じ，再符号化を行うことを示す情報（リトライ情報）を受けた場合，リトライポイント管理部５６０から通知されたリトライポイントのピクチャから映像信号を再度，符号化部５２０に出力する。また，入力バッファ５１０は，リトライポイント管理部５６０からリトライポイント情報を通知されると，蓄積していたリトライポイント以前のピクチャに対応する映像信号のデータを破棄する。

符号化部５２０は，入力バッファ５１０から入力された映像信号を符号化し，符号化ストリームを出力バッファ５３０に出力する。また，符号化部５２０は，ピクチャの符号化が完了したときに，入力された映像信号を符号化した際に発生した符号量（符号量情報）をＣＰＢ管理部５４０に出力するとともに，リトライポイント管理部５６０にピクチャの符号化が完了したこと示す情報（符号化完了ピクチャ情報）を出力する。さらに，符号化部５２０は，ＣＰＢ管理部５４０からリトライ情報を受けた場合，符号化中のＧＯＰにおけるリトライポイントのピクチャからの映像信号が入力バッファ５１０から再度入力されるとともに，パラメータ調整部５５０から再符号化用符号化パラメータが入力されるため，入力された再符号化用符号化パラメータを利用して再符号化を行う。

出力バッファ５３０は，ＧＯＰの符号化結果である符号化ストリームを蓄積するとともに，リトライポイント管理部５６０からリトライポイント情報を通知されると，それまでに蓄積していたリトライポイント以前のピクチャに対応する符号化ストリームを出力し，そのデータを出力バッファ５３０から取り除く。また，ＣＰＢ管理部５４０からリトライ情報を受けた場合，符号化中のＧＯＰについて蓄積した符号化ストリームを破棄する。

ＣＰＢ管理部５４０は，符号化部５２０から入力される符号量情報を利用して，時刻とともに変化するＣＰＢの残符号量を求める。すなわち，図１の概念図で示したＣＰＢの残符号量を求める。そして，ＣＰＢアンダーフローが生じた場合，リトライ情報を入力バッファ５１０，符号化部５２０，パラメータ調整部５５０，出力バッファ５３０に出力し，ＣＰＢアンダーフローが生じたことを通知する。

パラメータ調整部５５０は，ＣＰＢ管理部５４０からリトライ情報を受けた場合，前述のように再符号化用符号化パラメータを符号化部５２０に入力する。これにより，符号化部５２０は，再符号化時には，同じＧＯＰについて，発生符号量が小さくなる符号化パラメータを用いて符号化をすることになる。

リトライポイント管理部５６０は，符号化完了ピクチャ情報および最大ピクチャ間距離情報に基づき，次のピクチャの符号化でＣＰＢアンダーフローが生じた場合に，どこがリトライポイントになるかを示すリトライポイント情報を，入力バッファ５１０，出力バッファ５３０に通知する。

本実施例における符号化処理の流れについて，図１７のフローチャートに沿って説明する。以下の説明では，Ｓ５０１，Ｓ５０２，…といったように，文章中に図１７のフローチャートとの対応を記載する。

あるＧＯＰの符号化を行う処理について，以下のように３つのケースに場合分けをして説明する。
・［ケース１］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった。
・［ケース２］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化で回避できた。
・［ケース３］：ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった。

［ケース１の処理例］
まず，ＧＯＰの符号化においてＣＰＢアンダーフローが発生しなかった場合のケース１について説明する。ＧＯＰのピクチャが入力バッファ５１０に入力されると，入力バッファ５１０は当該ピクチャを蓄積するとともに，符号化部５２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ５０１）。そして，符号化部５２０は当該ピクチャを符号化し，出力バッファ５３０に符号化ストリームを出力するとともに（出力バッファ５３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部５４０に符号量情報を出力する。また，リトライポイント管理部５６０に，符号化完了ピクチャ情報を出力する（Ｓ５０２）。

ここで，符号化においてはデフォルト符号化パラメータが利用され，デフォルト符号化パラメータに対応したプレフィルタ強度で符号化対象ピクチャに，プレフィルタ部５２１によるフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，デフォルト符号化パラメータに従った量子化パラメータで，量子化部５２２により量子化される。

ＣＰＢ管理部５４０は，当該ピクチャについて，符号化部５２０から入力された符号量情報をもとにＣＰＢ残符号量を計算し，この例ではＣＰＢアンダーフローが発生しないため，リトライ情報の出力はしない（Ｓ５０３）。符号化対象ピクチャが入力映像信号中の最終ピクチャであれば，出力バッファ５３０は蓄積している符号化ストリームを出力し，符号化処理が完了する（Ｓ５０４）。あるいは，符号化対象ピクチャがＧＯＰの最終ピクチャであれば，出力バッファ５３０は蓄積していた符号化ストリームを出力するとともに，入力バッファ５１０は蓄積していたピクチャを破棄し，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ５０５）。ここで，当該ＧＯＰでは再符号化が生じなかったため，符号化パラメータに変更を加えずに，次のＧＯＰの最初のピクチャの符号化処理に移る（Ｓ５０６）。

［ケース２の処理例］
次に，ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化で回避できた場合のケース２について説明する。ＧＯＰのピクチャが入力バッファ５１０に入力されると，入力バッファ５１０は当該ピクチャを蓄積するとともに，符号化部５２０に当該ピクチャを符号化対象ピクチャとして入力する（Ｓ５０１）。そして，符号化部５２０は当該ピクチャを符号化し，出力バッファ５３０に符号化ストリームを出力するとともに（出力バッファ５３０は当該符号化ストリームは出力せず，蓄積する），当該ピクチャに関するＣＰＢ管理部５４０に符号量情報を出力する（Ｓ５０２）。ここで，符号化においてはデフォルト符号化パラメータが利用される。

ＣＰＢ管理部５４０は，当該ピクチャについて，符号化部５２０から入力された符号量情報をもとにＣＰＢ残符号量を計算する。この結果，当該ピクチャについて，ＣＰＢ管理部５４０がＣＰＢアンダーフローを検知した場合，ＣＰＢ管理部５４０は，符号化部５２０，パラメータ調整部５５０，入力バッファ５１０，出力バッファ５３０にリトライ情報を出力する（Ｓ５０３）。

符号化中のＧＯＰについてまだリトライが発生していない場合（Ｓ５０７），入力バッファ５１０は，蓄積していた符号化中のＧＯＰにおけるリトライポイントが示す位置のピクチャを符号化部５２０に出力するとともに（Ｓ５０８），パラメータ調整部５５０は，符号化部５２０に再符号化用符号化パラメータを出力する（Ｓ５０９）。さらに，出力バッファ５３０は，符号化中のＧＯＰの符号化ストリームを破棄する。そして，符号化部５２０は，再符号化用符号化パラメータを利用して入力されたリトライポイント以降のピクチャを符号化する。

ここで，符号化においては再符号化用符号化パラメータが利用され，再符号化用符号化パラメータに対応したプレフィルタ強度（デフォルト符号化パラメータよりぼかし度合いが大きい）で符号化対象ピクチャに，プレフィルタ部５２１によるプレフィルタリング処理が適用され，本ピクチャで発生したＤＣＴ係数は，再符号化用符号化パラメータに従った量子化パラメータ（デフォルト符号化パラメータより量子化ステップサイズが大きい）で，量子化部５２２により量子化される。

この後，ＣＰＢアンダーフローが生じない限り，当該ＧＯＰのピクチャが順次入力バッファ５１０から符号化部５２０に入力され，符号化部５２０により符号化処理が行われる。そして，ＧＯＰの最終ピクチャが符号化が完了した場合（Ｓ５０５），出力バッファ５３０から当該ＧＯＰの符号化ストリームが出力されるとともに，符号化部５２０は符号化パラメータをデフォルト符号化パラメータに設定し（Ｓ５０６），次のＧＯＰの符号化処理に進む。なお，入力映像の最終ピクチャの符号化が完了した場合の動作は前述のケース１の場合と同様に動作する。

再符号化が行われた際の符号化パラメータの変更の概念図を図７に示す。第１の実施例と同様に、図７の例では，２番目のＧＯＰ２の６ピクチャ目の符号化でＣＰＢアンダーフローが発生したので，発生符号量を抑制する再符号化用符号化パラメータを設定して，最大ピクチャ間距離の範囲内のＧＯＰ２の先頭のＩピクチャから再符号化している。再符号化によりＣＰＢアンダーフローの発生が抑止されたので，次のＧＯＰ３の符号化では，再符号化用符号化パラメータをデフォルト符号化パラメータに戻し，符号化処理を続ける。

再符号化が行われた際のＣＰＢ残符号量の遷移の概念図を図８に示す。第１〜第４の実施例と同様に、太線で示した線が再符号化後のＣＰＢ残符号量である。再符号化では，プレフィルタでぼかし度合いを強め，量子化パラメータもデフォルト符号化パラメータよりも大きくするため，発生符号量が抑えられ，例えば図８のような遷移が行われ，ＣＰＢアンダーフローが抑制される。

図２１は，リトライポイントを最大ピクチャ間距離で制限することによる入力バッファと出力バッファとのメモリ削減を説明する図である。本実施例によりリトライポイントを設定する場合を「ケースＡ」として説明する。例えば，本実施例とは異なり，ＣＰＢアンダーフローが発生したときに再符号化を開始するピクチャを，常に符号化順ピクチャ群（例えばＧＯＰ）の先頭ピクチャとすることも考えられる。これを「ケースＢ」という。ケースＡとケースＢとを比較すると，例えばケースＡでは，現在符号化しているピクチャが，図２１に示すようにＧＯＰ２’の９番目のＰピクチャであり，最大ピクチャ間距離が「５」であったとすると，リトライポイントはＧＯＰ２’の４番目のピクチャ（Ｐピクチャ）となり，それ以前のＧＯＰ２’の先頭から３ピクチャＡ２１は，再符号化に用いないため，これらのピクチャに対応した入力バッファ５１０および出力バッファ５３０のデータは，保持しておく必要がなくなる（破棄可能）。これに対して，ケースＢのような場合には，ＧＯＰ２’の先頭ピクチャからＧＯＰ２の符号化が完了するまで，入力バッファ５１０および出力バッファ５３０に，これらのピクチャに対応するデータを保持しておく必要があるため，必要となるメモリ量が増加する。本実施例（ケースＡ）では，最大ピクチャ間距離を算出してリトライポイントを設定するため，ケースＢよりもメモリ量を削減することができる。

［ケース３の処理例］
最後に，ＧＯＰの符号化においてＣＰＢアンダーフローが発生し，再符号化でも回避できなかった場合のケース３について説明する。この場合，ＣＰＢ管理部５４０によりＣＰＢアンダーフローが検知され，ＧＯＰの再符号化を行う動作はケース２と同様である。このＧＯＰの再符号化中にＣＰＢアンダーフローが生じた場合，符号化を完了する（Ｓ５０７）。なお，符号化を完了するのでなく，コマ落としを許容し，符号化を完了しないで，ＣＰＢアンダーフローが生じたピクチャの符号化データを破棄し，次のピクチャを符号化するように処理してもよい。

以上説明した第１〜第５実施例に係る動画像符号化制御の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明は，映像信号を符号化するための動画像符号化技術に適用することができ、仮想デコーダにおける符号化ピクチャバッファ等の仮想バッファのアンダーフローが生じないように，かつ符号化した動画像の画質を改善することができる。

１１０，２１０，３１０，４１０，５１０ 入力バッファ
１２０，２２０，３２０，４２０，５２０ 符号化部
１２１，２２１，３２１，４２１，５２１ プレフィルタ部
１２２，２２２，３２２，４２２，５２２ 量子化部
１３０，２３０，３３０，４３０，５３０ 出力バッファ
１４０，２４０，３４０，４４０，５４０ ＣＰＢ管理部
１５０，２６０，３７０，４７０，５５０ パラメータ調整部
２５０，３５０， リトライカウント管理部
３６０，４５０， ＣＰＢ状態予測部
４６０，５６０ リトライポイント管理部
６００ 最大ピクチャ間距離決定部

Claims (14)

1. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化制御方法であって，
   所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化するステップと，
   前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査するステップと，
   前記仮想バッファにアンダーフローが発生した場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，符号化中の前記符号化順ピクチャ群の先頭のピクチャから変更後の符号化パラメータを用いて再符号化するステップと
   を有し、
   前記順次符号化するステップでは、前記符号化順ピクチャ群の各ピクチャを，再符号化回数を示すリトライカウントに応じて設定された符号化パラメータに従って順次符号化し，
   前記再符号化するステップでは、前記仮想バッファにアンダーフローが発生した場合に，前記リトライカウントを増加させ，前記符号化パラメータを前記リトライカウントの値が大きいほど符号化による発生符号量が減少する符号化パラメータに変更する
   動画像符号化制御方法。
2. 請求項２記載の動画像符号化制御方法において、
   前記符号化順ピクチャ群の最終のピクチャの符号化が完了するまで，前記仮想バッファにアンダーフローが発生しなかった場合に，前記仮想バッファの残符号量を調べ，前記残符号量が所定の残符号量閾値未満または前記リトライカウントが０であれば，前記リトライカウントの値を変更せず，前記残符号量が前記残符号量閾値以上かつ前記地露来カウントが０でなければ，前記リトライカウントを減少させるステップを有する
   動画像符号化制御方法。
3. 請求項２記載の動画像符号化制御方法において，
   前記符号化順ピクチャ群における最終ピクチャの符号化が完了するまで，前記仮想バッファにアンダーフローが発生しなかった場合に，前記リトライカウントを減少させるステップを有する
   動画像符号化制御方法。
4. 請求項２から請求項４までのいずれか１項に記載の動画像符号化制御方法において，
   前記符号化パラメータは，量子化パラメータもしくは前記入力映像信号に対するプレフィルタのフィルタ強度，またはその双方であり，前記符号化パラメータが前記量子化パラメータの場合には，前記リトライカウントの値が大きいほど，量子化パラメータのステップサイズが大きい符号化パラメータが設定され，前記符号化パラメータが前記プレフィルタの前記フィルタ強度の場合には，前記リトライカウントの値が大きいほど，フィルタリング処理によるぼかし度合いが大きい符号化パラメータが設定される
   動画像符号化制御方法。
5. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化制御方法であって，
   画面内予測符号化ピクチャを先頭とする所定のピクチャ数で構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化するステップと，
   前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査するステップと，
   前記仮想バッファにアンダーフローが発生した場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，リトライポイントとして設定された前記符号化順ピクチャ群の先頭のピクチャから変更後の符号化パラメータを用いて再符号化するステップと，
   前記符号化順ピクチャ群の符号化が完了したときに，前記仮想バッファの残符号量を調べ，前記残符号量が所定の残符号量閾値以上であれば，前記リトライポイントを次の符号化順ピクチャ群の先頭ピクチャに設定し，前記仮想バッファの前記残符号量が前記所定の残符号量閾値未満であれば，前記リトライポイントを変更せず，前記次の符号化順ピクチャ群の前記先頭ピクチャの符号化が前記仮想バッファのアンダーフローを生じさせないで完了した後に，前記リトライポイントを当該符号化順ピクチャ群の先頭ピクチャに設定するステップと
   を有する動画像符号化制御方法。
6. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化制御方法であって，
   所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化するステップと，
   前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査するステップと，
   前記仮想バッファにアンダーフローが発生した場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，符号化中の前記符号化順ピクチャ群においてリトライポイントとして設定されたピクチャから変更後の符号化パラメータを用いて再符号化するステップと，
   再符号化時に，再符号化対象のピクチャとして遡ることができる最大のピクチャ数である最大ピクチャ間距離をもとに，前記再符号化を開始するピクチャの位置を示すリトライポイントを設定するステップと
   を有する動画像符号化制御方法。
7. 請求項２、請求項６または請求項７に記載の動画像符号化制御方法において，
   前記符号化順ピクチャ群の再符号化において当該符号化順ピクチャ群の最終のピクチャの符号化が完了するまで，前記仮想バッファにアンダーフローが発生しなかった場合に，次の符号化順ピクチャ群の符号化に用いる符号化パラメータを，通常の符号化時の符号化パラメータ値に戻す
   動画像符号化制御方法。
8. 請求項２、請求項６または請求項７に記載の動画像符号化制御方法において，
   前記符号化順ピクチャ群の再符号化において，当該符号化順ピクチャ群の最終のピクチャの符号化が完了するまで前記仮想バッファにアンダーフローが発生しなかった場合に，前記仮想バッファの残符号量を調べ，前記残符号量が所定の残符号量閾値未満であれば，次の符号化順ピクチャ群の符号化に用いる符号化パラメータを変更せず，前記残符号量が前記所定の残符号量閾値以上であれば，前記符号化パラメータを通常の符号化時の符号化パラメータ値に戻す
   動画像符号化制御方法。
9. 請求項６から請求項９までのいずれか１項に記載の動画像符号化制御方法において，
   前記符号化パラメータは，量子化パラメータもしくは前記入力映像信号に対するプレフィルタのフィルタ強度，またはその双方であり，前記符号化順ピクチャ群の再符号化時において，前記符号化パラメータが前記量子化パラメータの場合には，再符号化時に量子化パラメータのステップサイズを大きくし，前記符号化パラメータが前記プレフィルタの前記フィルタ強度の場合には，フィルタリング処理によるぼかし度合いを大きく符号化パラメータの変更を行う
   動画像符号化制御方法。
10. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化装置であって，
    所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化する符号化部と，
    前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査し，前記仮想バッファにアンダーフローが発生したことを検出した場合にリトライ情報を出力するバッファ管理部と，
    前記リトライ情報が出力された場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，変更された符号化パラメータを前記符号化部へ通知するパラメータ調整部とを備え，
    前記符号化部は，前記リトライ情報が出力された場合に，符号化中の前記符号化順ピクチャ群の先頭のピクチャから，前記パラメータ調整部が変更した符号化パラメータを用いて前記入力映像信号を再符号化するとともに、前記符号化順ピクチャ群の各ピクチャを，再符号化回数を示すリトライカウントに応じて設定された符号化パラメータに従って順次符号化し，
    前記動画像符号化装置は、前記リトライ情報が出力された場合に，前記リトライカウントを増加させ，前記符号化順ピクチャ群における最終ピクチャの符号化が完了するまでに前記リトライ情報が出力されなかった場合に，前記リトライカウントを減少させるリトライカウント管理部を備え，
    前記パラメータ調整部は、前記リトライカウントに応じて定められた，前記リトライカウントの値が大きいほど符号化による発生符号量が減少する符号化パラメータを設定し，設定された符号化パラメータを前記符号化部へ通知する
    動画像符号化装置。
11. 請求項１２に記載の動画像符号化装置において、
    前記仮想バッファにアンダーフローが発生しないで，前記符号化順ピクチャ群における最終ピクチャの符号化が完了した場合に，前記仮想バッファの残符号量を調べ，前記残符号量が所定の残符号量閾値以上か否かによりパラメータ変更要またはパラメータ変更不要を示すパラメータ変更有無情報を出力するバッファ状態予測部を備え，
    前記リトライカウント管理部は、前記バッファ状態予測部からパラメータ変更有無情報を入力した場合に，前記パラメータ変更有無情報がパラメータ変更不要を示すかまたは前記リトライカウントが０であれば，前記リトライカウントの値を変更せず，前記パラメータ変更有無情報がパラメータ変更要を示しかつ前記リトライカウントが０でなければ，前記リトライカウントを減少させる
    動画像符号化装置。
12. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化装置であって，
    所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化する符号化部と，
    前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査し，前記仮想バッファにアンダーフローが発生したことを検出した場合にリトライ情報を出力するバッファ管理部と，
    前記リトライ情報が出力された場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，変更された符号化パラメータを前記符号化部へ通知するパラメータ調整部と，
    前記符号化順ピクチャ群の符号化が完了したときに，前記仮想バッファの残符号量を調べ，前記残符号量が所定の残符号量閾値以上であるか否かを判定するバッファ状態予測部と，
    前記バッファ状態予測部の判定結果に従って，前記仮想バッファの前記残符号量が前記所定の残符号量閾値以上であれば，前記リトライポイントを次の符号化順ピクチャ群の先頭ピクチャに設定し，前記仮想バッファの前記残符号量が所定の残符号量閾値未満であれば，前記リトライポイントを変更せず，次の符号化順ピクチャ群の先頭ピクチャの符号化が前記仮想バッファのアンダーフローを生じさせないで完了した後に，前記リトライポイントを当該符号化順ピクチャ群の先頭ピクチャに設定するリトライポイント管理部とを備え，
    前記符号化部は，前記リトライ情報が出力された場合に，前記リトライポイントとして設定された符号化順ピクチャ群の先頭のピクチャから，前記パラメータ調整部が変更した符号化パラメータを用いて前記入力映像信号を再符号化する
    動画像符号化装置。
13. デコーダにおける仮想バッファが破綻しないように発生符号量を制御して入力映像信号を符号化する動画像符号化装置であって，
    所定数のピクチャで構成され，符号化順で連続するピクチャの集まりである符号化順ピクチャ群の各ピクチャについて，所定の符号化パラメータに従って順次符号化する符号化部と，
    前記各ピクチャの符号化において発生した符号量情報をもとに，前記仮想バッファにアンダーフローが発生したか否かを検査し，前記仮想バッファにアンダーフローが発生したことを検出した場合にリトライ情報を出力するバッファ管理部と，
    前記リトライ情報が出力された場合に，前記符号化パラメータを符号化による発生符号量が減少するように変更し，変更された符号化パラメータを前記符号化部へ通知するパラメータ調整部と，
    再符号化時に，再符号化対象のピクチャとして遡ることができる最大のピクチャ数である最大ピクチャ間距離をもとに，前記再符号化を開始するピクチャの位置を示すリトライポイントを設定するリトライポイント管理部とを備え，
    前記符号化部は，前記リトライ情報が出力された場合に，符号化中の符号化順ピクチャ群において前記リトライポイントとして設定されたピクチャから，前記パラメータ調整部が変更した符号化パラメータを用いて前記入力映像信号を再符号化する
    動画像符号化装置。
14. 請求項２から請求項１０までのいずれか１項に記載の動画像符号化制御方法を，コンピュータに実行させるための動画像符号化プログラム。

Images