JP5720691B2 - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

Description

本発明は、例えば、各ピクチャを複数のブロックに分割してブロックごとに符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

近年の動画像符号化においては、各ピクチャは圧縮効率の異なる符号化のモードの何れかに従って符号化される。例えば、各ピクチャは、ピクチャ内予測のみを用いて符号化される画面内予測ピクチャ（Iピクチャ）と、ピクチャ間予測を用いる片方向予測ピクチャ（P ピクチャ）と、双方向予測ピクチャ（Bピクチャ）の何れかに従って符号化される。ピクチャのタイプまたは画像の複雑さに応じて発生する符号量が異なり、各時刻で発生する符号量に偏りが発生することになる。このため、一定の伝送レートで符号化された動画像を含むデータストリームを伝送するためには、ストリームの送信バッファと、受信バッファが必要となる。このバッファによりバッファ遅延が発生することが、動画像復号装置における表示遅延の１つの要因となっている。バッファのサイズを小さくすれば、ピクチャ間での符号量配分の自由度が減少するため、動画像復号装置は、画質が劣化する傾向にあるもののバッファ遅延を減少させることができる。

従来の動画像符号化の国際標準であるMPEG-2 Video（ISO・IEC 13818-2 / ITU-T H.262、以下MPEG-2とする）またはMPEG-4 AVC / H.264 （ISO・IEC 14496-10 / ITU-T H.264、以下H.264とする）では、それぞれVideo Buffering Verifier(VBV)とCoded Picture Buffer(CPB)と呼ばれる、理想復号装置におけるストリーム受信バッファの動作を規定している。動画像符号化装置は、理想復号装置の受信バッファを、オーバーフロー及びアンダーフローさせないように、符号量を制御しなければならない。理想復号装置は、復号処理に要する時間が０である瞬時復号を行うと規定されている。例えば、特許文献１にVBVに関する動画像符号化装置の制御方法が開示されている。

特開平３−１４８９８１号公報

MPEG-2 Test Model 5. April 1993.ISO-IEC/JTC1/SC29/WG11/N0400 ( http://www.mpeg.org/MPEG/MSSG/tm5/ ) JCTVC-A116, "Description of video coding technology proposal by Fraunhofer HHI", Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, April 2010

動画像符号化装置は、理想復号装置の受信バッファにオーバーフロー及びアンダーフローを起こさせないために、理想復号装置が、あるピクチャを復号する時刻に、そのピクチャのデータが受信バッファに揃っていることを保証するように符号量を制御する。
受信バッファのアンダーフローとは、動画像符号化装置が一定の伝送レートでデータストリームを送信した場合に、各ピクチャの符号量が多く、動画像復号装置が復号・表示するべき時刻までにピクチャを復号するのに必要なデータの伝送が完了せず、復号受信バッファ内に必要データが存在していないことである。この場合、動画像復号装置は復号処理を行うことが出来ないため、フレームスキップが発生することとなる。

動画像復号装置は、受信バッファのアンダーフローを起こさずに復号処理できるように、ストリームを受信時刻から所定の時間だけ遅延させてからピクチャを表示する。
上述したように、理想復号装置では、処理時間０で、瞬時的に復号処理が完了すると規定される。そのため、動画像符号化装置へのi番目ピクチャの入力時刻をt(i)、理想復号装置における、i番目ピクチャの復号時刻をdt(i)とすれば、そのピクチャが表示可能となる時刻は、同様にdt(i)となる。全てのピクチャにおいてピクチャの表示期間｛t(i+1)-t(i)｝と｛dt(i+1)-dt(i)｝が等しくなるので、復号時刻dt(i)は、入力時刻t(i)から固定時間dly分だけ遅延させた時刻｛dt(i)=t(i)+dly｝となる。従って、動画像符号化装置は、時刻dt(i)までに復号に必要なデータを動画像復号装置の受信バッファに伝送完了させなければならない。

図１を参照しつつ、従来の受信バッファの様子を説明する。図１において横軸は時刻を表し、縦軸は受信バッファのバッファ占有量を表す。そして実線のグラフ１００は、各時刻におけるバッファ占有量を表す。
受信バッファでは、所定の伝送レートでバッファ占有量が回復し、各ピクチャの復号時刻にそのピクチャを復号するために用いられる分のデータがバッファから引き抜かれる。i番目ピクチャのデータが、時刻at(i)から受信バッファに入力開始され、i番目ピクチャの最後のデータが時刻ft(i)に入力される。理想復号装置は時刻dt(i)でi番目ピクチャの復号を完了し、その時刻dt(i)においてi番目ピクチャが表示可能となる。

理想復号装置が瞬時復号である一方で、実際の動画像復号装置は所定の復号処理時間を必要とし、一般には１ピクチャの復号処理時間は、ピクチャの表示期間よりも短いが、ピクチャの表示期間に近い時間が必要となる。時刻at(i)からft(i)までi番目ピクチャのデータが受信バッファに入力されるが、各ブロックの復号に必要なデータがat(i)からft(i)内のどの時刻に到着するか保証されない。そのため、実際の動画像復号装置は、時刻ft(i)からi番目ピクチャの復号処理を開始することとなる。従って、１ピクチャの復号処理に必要な最悪の処理時間をctとすれば、実際の動画像復号装置は時刻ft(i)+ctにしか復号処理を完了することが保証できない。

動画像符号化装置が保証しているのは、時刻dt(i)までに、そのピクチャの復号に必要なデータが復号受信バッファに到着していること、すなわち、ft(i)がdt(i)以前となることである。そのため、ft(i)が最も遅くなる場合、ft(i)はdt(i)と等しくなる。このとき、復号処理が完了することが保証される時刻は、dt(i)+ctとなる。表示するピクチャの間隔が一定となるよう、全てのピクチャを表示するには、動画像復号装置は、各ピクチャの表示時刻を理想復号装置よりも少なくともctだけ遅延させなければならない。

そこで本明細書は、復号処理の遅延を低減する動画像符号化装置及び動画像符号化方法を提供することを目的とする。

一つの実施形態によれば、動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化装置が提供される。この動画像符号化装置は、複数のグループのうち、各ブロックの属するグループを決定するグループ決定部と、グループ毎に復号時刻を算出するグループ復号時刻情報算出部と、各ブロックの属するグループを表すグループ情報を出力データに付加するグループ情報付加部と、グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、復号時刻情報算出部で算出されたそのグループの復号時刻までに動画像復号装置のストリーム受信バッファに到達するように、そのグループに含まれる各ブロックの符号量を制御する符号量制御部と、符号量の制御情報に基づいて各ブロックを符号化する符号化処理部とを有する。

また他の実施形態によれば、動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化方法が提供される。この動画像符号化方法は、複数のグループのうち、各ブロックの属するグループを決定し、グループ毎に復号時刻を算出し、各ブロックの属するグループを表すグループ情報を出力データに付加し、グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、そのグループの復号時刻までに動画像復号装置のストリーム受信バッファに到達するように、そのグループに含まれる各ブロックの符号量を制御し、符号量の制御情報に基づいて各ブロックを符号化することを含む。

さらに他の実施形態によれば、動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化用コンピュータプログラムが提供される。この動画像符号化用コンピュータプログラムは、複数のグループのうち、各ブロックの属するグループを決定し、グループ毎に復号時刻を算出し、各ブロックの属するグループを表すグループ情報を出力データに付加し、グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、そのグループの復号時刻までに動画像復号装置のストリーム受信バッファに到達するように、そのグループに含まれる各ブロックの符号量を制御し、符号量の制御情報に基づいて各ブロックを符号化することをコンピュータに実現させる命令を含む。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置及び動画像符号化方法は、復号処理の遅延を低減できる。

図１は、従来技術による受信バッファのバッファ占有量の遷移を示す図である。 図２は、一つの実施形態による、動画像符号化装置の概略構成図である。 図３は、一つの実施形態による動画像符号化装置により伝送される符号化動画像データストリームが蓄積される受信バッファのバッファ占有量の遷移を示す図である。 図４は、最初のグループの復号時刻を遅らせた場合における、受信バッファのバッファ占有量の遷移を示す図である。 図５は、一つの実施形態による動画像符号化処理の動作フローチャートを示す図である。 図６は、第１の実施形態によるブロックの最終ビットの説明図である。 図７は、第２の実施形態によるブロックの最終ビットの説明図である。 図８（Ａ）は、第３の実施形態による一つのブロックの圧縮データの構造を示す図である。図８（Ｂ）は、圧縮データと、可変長符号化によって変換されたビット列との関係を説明する図である。 図９（Ａ）は、第３の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（１）である。 図９（Ｂ）は、第３の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（２）である。 図９（Ｃ）は、第３の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（３）である。 図１０は、第４の実施形態による可変長符号化部が有するエントロピー符号化部の概略構成図である。 図１１は、第４の実施形態によるブロックの最終ビットの説明図である。 図１２は、第４の実施形態による可変長符号化部のビン符号化部及び多重化部の挙動の説明図である。 図１３（Ａ）は、第４の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（１）である。 図１３（Ｂ）は、第４の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（２）である。 図１３（Ｃ）は、第４の実施形態による可変長符号化部により可変長符号化されたブロックの最終ビット位置を導出するフローチャート（３）である。

以下、図を参照しつつ、一つの実施形態による動画像符号化装置について説明する。
図２は、一つの実施形態による、動画像符号化装置の概略構成図である。動画像符号化装置１０は、符号化処理部１１と、符号量制御部１２と、グループ決定部１３と、グループ復号時刻情報算出部１４と、グループ情報付加部１５と、ビットカウンタ２５とを有する。動画像符号化装置１０が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置１０に実装される。あるいは、動画像符号化装置１０が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像符号化装置１０に実装されてもよい。あるいはまた、動画像符号化装置１０が有するこれらの各部は、動画像符号化装置１０が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。

動画像データに含まれる符号化対象ピクチャは、図示しない制御部によりブロック単位に分割され、ブロックごとに符号化処理部１１に入力される。各ブロックは、例えば、16×16画素を有する。
各ブロックは直交変換部２１に入力される。そして直交変換部２１は、各ブロックに対して、それぞれ、例えば離散コサイン変換(Discrete Cosine Transform、DCT)などの直交変換処理を行って周波数係数の組を算出する。算出された周波数係数の組は量子化部２２に入力される。なお、各ブロックに対して、既に符号化されたピクチャを動き補償することなどにより予測画像が生成される場合には、各ブロックと予測画像間の差分演算により求められる予測誤差画像が直交変換部２１に入力されてもよい。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また、符号化された動画像は、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。

量子化部２２は、例えば、符号量制御部１２の量子化値算出部２４により算出された量子化値に応じて決定される量子化スケールで各周波数係数を除算することにより、各周波数係数を量子化する。この量子化により、各周波数係数の情報が削減される。量子化値が大きくなるほど、量子化の精度が悪くなり、各周波数係数の情報が大きく削減される。
量子化部２２により量子化された各周波数係数は、可変長符号化部２３に入力される。また量子化された各周波数係数は、以降に符号化されるピクチャまたはブロックに対する予測画像を作成するために逆量子化され、さらに逆直交変換されて図示しない画像メモリに記憶されてもよい。

可変長符号化部２３は、ブロックの圧縮データ（量子化された各周波数係数、及び符号化モード等のブロックヘッダ情報を含む）を可変長符号化する。そして可変長符号化部２３は、その可変長符号で表されるビット系列を出力データストリームに含める。
また、可変長符号化部２３にて発生したビット系列のビット量はブロックごとにビットカウンタ２５にて加算され、発生符号量として符号量制御部１２のバッファ占有量算出部２６に通知される。
可変長符号化部２３の実施形態の詳細については後述する。

グループ決定部１３は、符号化処理中のブロックの属するグループを、図示しない制御部から受け取ったブロックカウント情報に基づいて所定方法に従って決定する。ブロックカウント情報は、ピクチャに含まれる各ブロックの番号を表す情報であり、例えば、ピクチャの左上端のブロックに対する番号が1に設定され、ラスタスキャン順に従って各ブロックに番号が割り当てられる。そしてピクチャの右下端のブロックに対して、最大の番号が割り当てられる。なお、ブロックカウント情報は、他の順序に従って各ブロックに割り当てられた番号を含んでもよい。

グループ決定部１３は、グループごとの復号処理時間を均等化するために、各グループに含まれるブロックの数が出来る限り等しくなるように複数のグループを決定することが好ましい。例えば、グループ決定部１３は、ブロックライン単位で各ブロックをグループに分割すれば、任意のピクチャサイズにおいて各グループに含まれるブロックの数を等しくすることができる。例えば、ピクチャサイズが、高精細度テレビジョン放送（High Definition Television、HDTV）相当の1920画素×1088画素であり、ブロックサイズが16画素×16画素であれば、ブロックライン数は68である。したがって、この場合、符号化対象ピクチャに含まれる各ブロックは、68個のグループの何れかに分類される。
なお、グループに含まれるブロックの数は、１から画面全体のブロック数までの間の値にしてもよい。
グループ決定部１３は、符号化対象ブロックが属するグループの識別情報を符号量制御部１２のバッファ占有量算出部２６へ通知する。またグループ決定部１３は、グループの総数Nをグループ復号時刻情報算出部１４及びグループ情報付加部１５へ通知する。なお、グループ決定部１３は、各グループの先頭に位置するブロックのインデックスをグループ情報付加部１５へ通知してもよい。
以下、符号化対象ピクチャに含まれる水平方向のブロック数をM、垂直方向のブロック数をNとして、全ブロックを１ブロックライン単位でN個のグループに等分割した場合を例に説明する。

グループ復号時刻情報算出部１４は、符号化対象ピクチャが符号化順に沿ってi番目のピクチャであるとして、i番目ピクチャの入力時刻t(i)から所定の遅延時間dly分遅延させたそのピクチャの復号時刻dt(i)｛=t(i)+dly｝に基づいて、n番目のグループが復号される時刻を表す復号時刻dgt(i,n)を算出する。または、グループ復号時刻情報算出部１４は、復号時刻として、dgt(i,n)の代わりに、dgt(i,n)と等価な｛dgt(i,n)-dgt(i,n-1)｝を算出してもよい。また、グループ復号時刻情報算出部１４は、復号時刻を、適当な単位、例えば、1/90000秒単位の倍数となるように丸めてもよい。

グループ復号時刻情報算出部１４は、例えば、各グループの復号時刻を、各グループの復号処理に要する時間を均等とするために、1ピクチャ当たりの復号処理に要する時間をグループ数Nで等分割するように決定する。この場合、n番目(n=1,2,...,N)のグループの復号時刻は、次式に従って算出される。

また、復号処理に要する時間は、グループごとに均等でなくてもよい。特に、グループ復号時刻情報算出部１４は、次式のように、最初に符号化・復号されるグループに対応する復号時刻dgt(i,1)のみ、1ピクチャ当たりの復号処理に要する時間を等分割した場合の復号時刻よりも遅らせてもよい。

なお、dt(i)、dt(i-1)は、それぞれ、i番目のピクチャ及び(i-1)番目のピクチャの復号時刻である。
さらにグループ復号時刻情報算出部１４は、２番目以降に符号化・復号されるグループの復号時刻dgt(i,n)(n≧2)を、次式のように決定してもよい。

このように復号時刻を決定することで、グループ復号時刻情報算出部１４は、バッファ占有量算出部２６にて算出されるバッファ占有量を最初のグループの符号化処理開始前に大きくすることができる。その結果、符号量制御における自由度が向上する。
グループ復号時刻情報算出部１４は、各グループの復号時刻を含む復号時刻情報を、バッファ占有量算出部２６及びグループ情報付加部１５へ出力する。

バッファ占有量算出部２６は、理想復号装置のストリーム受信バッファのバッファ占有量の推定値を計算する。伝送するビットレートをRとし、バッファ占有量をdで表す。符号化処理中のブロックの可変長符号化処理が完了し、その発生符号量がbであった場合、bがビットカウンタ２５からバッファ占有量算出部２６へ通知される。そしてバッファ占有量算出部２６は、dからbを減算する。
バッファ占有量算出部２６は、各グループの最後のブロックの符号化処理が行われた後に、次式に従ってバッファ占有量dを回復させる。

バッファ占有量算出部２６は、一つのブロックについての可変長符号化処理が終了する度に、求めたバッファ占有量dを量子化値算出部２４へ通知する。

量子化値算出部２４は、バッファ占有量に基づいて、各ブロックに対する量子化値を算出する。その際、量子化値算出部２４は、グループに含まれる全てのブロックの発生符号量の合計が、そのグループの最初のブロックの符号化処理を開始する直前のバッファ占有量d以下となるように、すなわち、符号化処理中にdが負値とならないように量子化値を制御する。
量子化値算出部２４は、例えば、MPEG-2における標準化団体参照ソフトウェアTest Model5（非特許文献１を参照）における量子化値算出方法に従って量子化値を算出する。次に、量子化値算出部２４は、バッファ占有量dを所定の閾値DTH１と比較する。量子化値をその取り得る値の範囲のうちの最大値としたときに、各ブロックで発生する最大の符号量をb0、符号化処理中のブロックの属するグループで、まだ符号化処理を行っていないブロックの数をM0とすると、閾値DTH1は、次式で表される。

（５）式におけるoffsetはマージン項である。dと閾値DTH１を比較した結果、dがDTH1よりも小さければ、量子化値算出部２４は、量子化値を最大値とする。
またb0として、周波数係数を全て０としたときのブロックの符号量を用いてもよい。このとき、dがDTH1よりも小さければ、量子化値算出部２４は、符号化対象ブロックの全ての周波数係数が0に量子化されるように量子化値を決定する。この制御により、グループ内の符号化処理が済んでいない残りブロックの符号量の平均値がb0を超えなければ、仮想的な復号受信バッファはアンダーフローしない。
これにより、符号量制御部１２は、動画像符号化装置１０からの出力ストリームを実際に所定のレートRに従って動画像復号装置へ伝送すれば、動画像復号装置の受信バッファがアンダーフローしないように動画像データの符号量を制御することが可能となる。
量子化値算出部２４は、求めた量子化値を量子化部２２へ通知する。

動画像符号化装置１０は、動画像復号装置と、各ブロックが属するグループ及びグループごとの復号時刻を共有するために、少なくとも、各グループに属するブロックを表すグループ情報及び各グループの復号時刻を含む復号時刻情報を出力データストリームに付加する。そして動画像符号化装置１０は、グループ情報及び復号時刻情報を動画像復号装置へ通知する。
そこで、グループ情報付加部１５は、例えば、グループ情報を、各ピクチャ、もしくは所定のピクチャ間隔で、出力データストリームのヘッダ情報に付加する。
ヘッダ情報は、例えば、MPEG-2に規定される、シーケンスヘッダー（Sequence Header）、またはH.264に規定されるシーケンスパラメータセット（Sequence Parameter Set）若しくはSupplemental Enhancement Informationとすることができる。なお、グループごとの復号時刻は、MPEG-2に規定されるピクチャヘッダー（Picture Header）、またはH.264に規定されるスライスヘッダー（Slice Header）など、各ピクチャに必ず付随されるヘッダ情報に付加されてもよい。

各グループに含まれるブロックの数が等しくなるようにグループが決定されている場合、動画像符号化装置１０は動画像復号装置へ全ブロックがN個のグループに等分割されたことを通知する。そのために、グループ決定部１３からグループ情報付加部１５に、グループ情報としてグループ数Nが通知される。グループ情報付加部１５は、そのグループ情報を符号化する。MPEG-2及びH.264では、マクロブロックと呼ばれる16x16画素のブロック単位で符号化が行われており、このブロック数は通常20bitで表現可能な範囲を超えない。グループの数Nの最大値は、せいぜいブロック数の最大値と等しいことから、Nの符号化も固定bit長で符号化すればよい。

また、各グループに含まれるブロックの数が等しいと限られない場合、グループ決定部１３からグループ情報付加部１５に対して、グループ数Nとともに、各グループの先頭ブロックのインデックス情報がグループ情報として通知される。グループ情報付加部１５はまず、グループ数Nを符号化し、順次各グループの先頭ブロックのインデックス情報を符号化する。先頭ブロックのインデックス情報に対する符号化方法も、例えば、固定bit長の符号化方式が用いられる。また、グループ情報付加部１５は、グループ数N及び各グループの先頭ブロックのインデックス情報を符号化するために、ハフマン符号といった可変長符号化方式など、他の符号化方式を用いてもよい。

また、グループごとの復号時刻が、グループ復号時刻情報算出部１４からグループ情報付加部１５に通知される。その際、１番目のグループから最後のグループであるN番目のグループまで、復号時刻は、dgt(i,n)-dgt(i,n-1)と差分値の形式にしてグループ復号時刻情報算出部１４からグループ情報付加部１５に通知される。なお、第１のグループの復号時刻に関して、dgt(i,0)は、直前のピクチャの最後のグループの復号時刻dgt(i-1,N)｛=dt(i-1)｝に設定される。グループ情報付加部１５は、各グループの復号時刻を符号化し、その符号化された復号時刻を各ピクチャのデータに付加して、動画像復号装置に通知する。グループ情報付加部１５は、各差分値を、適当な精度、例えば、1/90000秒の精度で量子化した後に、32bit程度の固定bit長で符号化すればよい。また、ここでは、固定bit長で符号化する例を説明したが、グループ情報付加部１５は、各グループの復号時刻を表す差分値を、任意の可変長符号化方式を用いて符号化してもよい。
動画像復号装置は、通知されたグループ数Nと各グループの復号時刻情報に基づき、表示遅延量を算出する。各グループに含まれるブロック数が等しくなるように各グループが設定されている場合、表示遅延量は、１ピクチャの復号処理に必要な最悪の処理時間をctとして、ct/Nとなる。

上記の実施形態による動画像符号化装置１０により、動画像復号装置における動画像の復号の低遅延化が図られることを、図３及び図４を参照しつつ説明する。
図３は、動画像符号化装置１０により伝送される符号化動画像データストリームが蓄積される受信バッファのバッファ占有量の遷移を示す図である。また図４は、第１のグループの復号時刻を遅らせた場合における、受信バッファのバッファ占有量の遷移を示す図である。なお、図３及び図４において、横軸は時間を表し、縦軸はバッファ占有量を表す。また、グループ数N=4であるとする。そして図３におけるグラフ３００は、バッファ占有量の時間遷移を表す。また矢印３０１で表される期間は、各グループの復号に要する最大時間ct/Nを表す。同様に、図４におけるグラフ４００は、バッファ占有量の時間遷移を表す。

n番目のグループに含まれるブロックを復号するのに必要なデータが、（１）式で表される時刻dgt(i,n)までに受信バッファに到着するように、動画像符号化装置１０は各ブロックの符号量を制御する。１ピクチャの復号処理に必要な最悪の処理時間ctと(i-1)番目のピクチャ及びi番目のピクチャの最後のグループの復号時刻dt(i-1)｛=dgt(i-1,N)｝、dt(i)｛=dgt(i,N)｝の間に次式が成り立つ。

ここで、各グループに含まれるブロック数が等しい場合、図３に示すように次式が成り立つので、i番目のピクチャの最後のグループの復号時刻dgt(i,N)までに、i番目のピクチャの1〜(N-1)番目のグループのブロックについての復号処理が完了している。

N番目グループに含まれるブロックの復号に必要なデータが時刻dgt(i,N)に動画像復号装置の受信バッファに到着したとすると、そこからN番目グループの復号処理を開始したとして、復号処理時間としてct/Nが必要となる。そのため、次式で示される時刻に全ブロックの復号が完了し、表示可能となる。従って、理想復号装置に対する表示可能時刻の遅延が、ctからct/Nに短縮する。

グループ単位で復号時刻を算出する場合、i番目のピクチャの第１のグループの復号時刻dgt(i,1)は、i番目のピクチャの復号時刻dt(i)と比較して、｛dt(i)-dt(i-1)｝(N-1)/Nだけ、早くなる。そのため、図１および図３の点線３０２にて示される1ピクチャ単位のバッファ占有量が示すとおり、従来技術と比較して受信バッファの占有量が低下し、そのグループに使用可能な符号量が減少するとともに、グループ間での符号量の配分の自由度が減少する。図１のように受信バッファに各ピクチャのデータが入力されてから、1ピクチャの表示期間程度で、各ピクチャが復号されるような低遅延においては、バッファ占有量が小さくなるので、相対的にバッファ占有量が減少する影響が大きくなる。

このような問題を回避するために、バッファ占有量を回復させることを目的として、（２）式で示すように第１のグループの復号時刻を遅くすることが好ましい。第１のグループの復号時刻を遅らせることで、図４に示すとおり、バッファに伝送可能なビット量が増えて、従って、ピクチャの発生符号量の自由度を向上させることが出来る。このとき、最も遅い復号完了時刻は、次式で算出される値となる。

なお、関数min(x,y)は、変数x、yのうち、小さい方の値を返す関数である。
（９）式を（８）式と比較すると、第１のグループの復号時刻を遅らせても、ctが大きい動画像復号装置については、第１のグループの復号時刻を遅らせない場合に対して遅延が増加するものの、ctが十分短い動画像復号装置においては、遅延は増加しないことがわかる。

図５は、一つの実施形態による動画像符号化装置１０により実行される動画像符号化処理の動作フローチャートである。動画像符号化装置１０は、ピクチャごとに、以下の動画像符号化処理を実行する。
グループ決定部１３は、各ブロックの属するグループを決定する（ステップＳ１０１）。そしてグループ決定部１３は、ブロックの属するグループを表す識別情報を符号量制御部１２のバッファ占有量算出部２６へ通知する。またグループ決定部１３は、グループの総数Nをグループ復号時刻情報算出部１４及びグループ情報付加部１５へ通知する。なお、グループ決定部１３は、各グループの先頭に位置するブロックのインデックスをグループ情報付加部１５へ通知してもよい。
次に、グループ復号時刻情報算出部１４は、グループ毎に復号時刻を算出する（ステップＳ１０２）。そしてグループ復号時刻情報算出部１４は、各グループの復号時刻を表す情報をバッファ占有量算出部２６及びグループ情報付加部１５へ通知する。

また、グループ情報付加部１５は、各ブロックの属するグループを表すグループ情報及び復号時刻情報を符号化し、その符号化されたグループ情報及び復号時刻情報を出力データストリームに付加する（ステップＳ１０３）。
一方、バッファ占有量算出部２６は、グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合における、各グループの復号時刻における受信バッファのバッファ占有量を推定する（ステップＳ１０４）。その際、バッファ占有量算出部２６は、ビットカウンタ２５から受け取った、それまでに符号化されたグループ内のブロックの符号量を参照する。そしてバッファ占有量算出部２６は、推定したバッファ占有量を符号量制御部１２の量子化値算出部２４へ通知する。量子化値算出部２４は、各グループの復号時刻までに各グループの全てのデータが動画像復号装置のストリーム受信バッファに到達するように、各グループに属するブロックの符号量を制御する（ステップＳ１０５）。そして量子化値算出部２４は、その符号量に応じた量子化値を符号量の制御情報として算出し、その量子化値を符号化処理部１１の量子化部２２へ通知する。

符号化処理部１１の直交変換部２１は、各ブロックごとに直交変換処理を行って、各ブロックの周波数係数の組を算出する（ステップＳ１０６）。そして直交変換部２１は、各ブロックの周波数係数の組を量子化部２２へ出力する。
量子化部２２は、符号量の制御情報である量子化値に基づいて各ブロックの周波数係数の組を量子化する（ステップＳ１０７）。そして量子化部２２は、量子化された各周波数係数を符号化処理部１１の可変長符号化部２３へ出力する。可変長符号化部２３は、量子化された各周波数係数を可変長符号化する（ステップＳ１０８）。そして可変長符号化部２３は、得られた可変長符号を出力する。この可変長符号とグループ情報付加部１５からの出力されたグループ情報、復号時刻情報などが出力データストリームに格納される。また可変長符号化部２３は、ブロックごとの符号量をビットカウンタ２５へ出力する。
ステップＳ１０８の後、動画像符号化装置１０は、動画像符号化処理を終了する。

以下に、四つの可変長符号化部２３の実施形態、及び各実施形態における、グループの最終ビットの定義を説明する。グループの最終ビットは、グループ内の最終ブロックの最終ビットと定義される。

第１の実施形態による可変長符号化部２３は、MPEG-4 AVC/H.264に規定されるContext-based Adaptive Variable Length Coding(CAVLC)に準拠して、ブロックの圧縮データを可変長符号化する。

図６は、第１の実施形態による可変長符号化部２３により生成された出力データストリームにおける、各ブロックの最終ビットの説明図である。図６において、一番上に示された、一つのブロックの圧縮データ１１００は、マクロブロックスキップラン（以下、MbSkipRunと表記する）１１１０と、マクロブロックレイヤー（以下、MacroblockLayerと表記する）１１１１とを含み得る。

MbSkipRun１１１０は、直前のブロックと現在のブロックとの間の、スキップされたブロックの数を表す。従って、MbSkipRun１１１０が0であれば、直前のブロックと現在のブロックとの間の全てのブロックはスキップされない。またMacroblockLayer１１１１は、ブロック符号化種別、動きベクトル情報、及び量子化DCT係数等のブロック圧縮データである。ブロックのスキップとは、そのスキップされたブロックのMacroblockLayer１１１１が出力データストリームに含まれないことを意味する。
ピクチャがイントラ符号化ピクチャの場合、ブロックのスキップは許容されないので、MbSkipRun１１１０は常に0となる。そのため、出力データストリームにMbSkipRun１１１０は含まれない。

まず、MbSkipRun１１１０が0の場合のブロック（イントラピクチャ内の全てのブロックを含む）がグループ内の最終ブロックとなる場合について説明する。この場合において、出力データストリーム内のビット列１２００には、最終ブロックxの圧縮データに関するビット列１２０２と、最終ブロックx（xは1以上の整数）より前のブロック（〜(x-1))に対応するビット列全体１２０１が含まれる。
ビット列１２０２は、最終ブロックxのMbSkipRun(= 0)及びMacroblockLayerを可変長符号化したビット列である。ビット列１２０２のうち、Code 0はMbSkipRunを可変長符号化したビット列であり、Code M (M = [1, N[x])は、MacroblockLayerの各要素を可変長符号化したビット列である。N[x]は、最終ブロックxのMacroblockLayerの要素数である。
この例では、最終ブロックxの最終ビットは、矢印１２１０で示される、ビット列Code N[x]の最終ビットとなる。

次に、MbSkipRunが(L-1)(ただし、(L-1)>0)であり、かつ出力データストリームにおいて次のピクチャヘッダ及びスライスヘッダが出現する前に、後続するブロックのMacroblockLayerが出現する場合における最終ビットについて説明する。この場合において、出力データストリーム内のビット列１３００には、スキップされるブロックの直前のブロック(x-L)に関するビット列１３０１と、スキップされるブロックの直後のブロックxに関するビット列１３０２が含まれる。そしてビット列１３０１は、ブロック(x-L)のMbSkipRun及びMacroblockLayerを可変長符号化したビット列である。同様に、ビット列１３０２は、ブロックxのMbSkipRun及びMacroblockLayerを可変長符号化したビット列である。ビット列１３０２に含まれるMbSkipRunに相当するCode 0は、値(L-1)を可変長符号化したビット列である。
この例では、ブロック(x-L)とブロックxとの間には、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(x-L+1)〜ブロック(x-1)が存在する。従って、ブロック(x-L+1)〜ブロック(x-1)の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印１３１０で示される、MbSkipRun = (L-1)に相当するコードCode 0の最終ビットとなる。またブロックxが最終ブロックとなる場合、ブロックxの最終ビットは、矢印１３１１で示される、ビット列１３０２に含まれるCode N[x]の最終ビットとなる。

次に、MbSkipRunが(L-1) (ただし、(L-1)>0)であり、かつ出力データストリームにおいて、同一ピクチャに属する次のスライスヘッダが、後続するブロックのMacroblockLayerよりも先に出現する場合における最終ビットについて説明する。この場合において、出力データストリーム内のビット列１４００には、スキップされるブロックの直前のブロックyに関するビット列１４０１と、スキップされるブロック(y+1)以降のブロックに対応するMbSkipRunを可変長符号化したビット列１４０２が含まれる。そしてビット列１４０１は、ブロックyのMbSkipRun及びMacroblockLayerを可変長符号化したビット列である。またビット列１４０２に含まれるCode 0は、値(L-1)を可変長符号化したビット列である。

さらに、ビット列１４００には、スライスの終端を表すビット列（以下、RbspTrailingBitsと表記する）１４０３と、次のスライスの先頭を表すビット列であるスライスヘッダ（以下、SliceHeaderと表記する）１４０４とが含まれる。RbspTrailingBits１４０３は、このRbspTrailingBitsが出現する前のスライスのビット列の終端を表す、予め設定された所定の値を持つビット列である。RbspTrailingBits１４０３は、動画像復号装置が少なくともRbspTrailingBits１４０３の先頭のビットを参照することにより、スライスの終端であることが分かるように設定される。またスライスヘッダ１４０４には、スライス先頭のブロックアドレスを意味するパラメータFirstMbInSliceを含む。この例では、パラメータFirstMbInSliceはzであるとする。

この場合、ブロックyと、次スライスの先頭ブロックzとの間には、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(y+1)〜ブロック(y+L-1 (= z-1))が存在する。従って、ブロック(y+1)〜ブロック(y+L-1 (= z-1))の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印１４１０で示される、ビット列RbspTrailingBits１４０３の先頭ビットとなる。なお、この場合の最終ビットは、ビット列RbspTrailingBits１４０３内の先頭ビットよりも後のビットに設定されてもよい。

次に、MbSkipRunが(L-1) (ただし、(L-1)>0)であり、かつ出力データストリームにおいて、別ピクチャに属するスライスヘッダ、もしくはピクチャヘッダが後続するブロックのMacroblockLayerよりも先に出現する場合における最終ビットについて説明する。この場合において、出力データストリーム内のビット列１５００には、スキップされるブロックの直前のブロックyに関するビット列１５０１と、スキップされるブロック(y+1)以降のブロックに対応するMbSkipRunを可変長符号化したビット列１５０２が含まれる。そしてビット列１５０１は、ブロックyのMbSkipRun及びMacroblockLayerを可変長符号化したビット列である。またビット列１５０２に含まれるCode 0は、値(L-1)を可変長符号化したビット列である。

さらに、ビット列１５００には、スライスの終端を表すRbspTrailingBits１５０３と、次のピクチャの先頭を表すピクチャヘッダ１５０４と、次のスライスの先頭を表すビット列であるSliceHeader１５０５とが含まれる。この場合、次のスライスの先頭のブロックはピクチャの最初のブロックであるため、SliceHeader１５０５に含まれるパラメータFirstMbInSliceの値は0となる。

この場合、ブロックy以降、ピクチャの最終ブロック(w-1)まで、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(y+1)〜ブロック(y+L-1(=w-1))が存在する。なおwは、ピクチャ内のブロック総数である。従って、ブロック(y+1)〜ブロック(y+L-1(=w-1))の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印１５１０で示される、ビット列RbspTrailingBits１５０３の先頭ビットとなる。なお、この場合の最終ビットは、ビット列RbspTrailingBits１５０３内の先頭ビットよりも後のビットに設定されてもよい。

次に、第２の実施形態による可変長符号化部２３について説明する。第２の実施形態による可変長符号化部２３も、MPEG-4 AVC/H.264に規定されるCAVLCに準拠してブロックの圧縮データを可変長符号化する。しかし、第１の実施形態と異なり、この実施形態では、ブロックの圧縮データの構造において、スキップされたブロック数を表現するMbSkipRunの代わりに、個々のブロックがスキップされたことを表すマクロブロックスキップフラグが用いられる。さらに、各ブロックの圧縮データには、そのブロックが分割されたか否かを表すスプリットフラグが付加される。

図７は、第２の実施形態による可変長符号化部２３により生成された出力データストリームにおける、各ブロックの最終ビットの説明図である。図７において、一つのブロックの圧縮データ２１００は、先頭から順に、スプリットフラグ（以下、MbSplitFlagと表記する）２１１０と、スキップフラグ（以下、MbSkipFlagと表記する）２１１１と、MacroblockLayer２１１２とを含み得る。

MbSplitFlag２１１０は、現在のブロック（例えば、16画素×16画素のマクロブロック）が４個のサブブロック（例えば、8画素×8画素のブロック）に分割されたか否かを表す。例えば、現在のブロックが分割されている場合には、MbSplitFlag２１１０は'1'となり、一方、現在のブロックが分割されていない、あるいは、現在のブロックがスキップされていれば、MbSplitFlag２１１０は'0'となる。
MbSkipFlag２１１１は、現在のブロックがスキップされたか否かを表す。例えば、現在のブロックがスキップされている場合には、MbSkipFlag２１１１は'1'となり、一方、現在のブロックがスキップされていなければ、MbSkipFlag２１１１は'0'となる。またMacroblockLayer２１１２は、ブロック符号化種別、動きベクトル情報、及び量子化DCT係数等のブロック圧縮データである。ブロックのスキップとは、そのスキップされたブロックのMacroblockLayer２１１２が出力データストリームに含まれないことを意味する。

なお、現在のブロックが分割されている場合には、MbSkipFlag２１１１は'0'とみなされるので、出力データストリーム内でMbSkipFlag２１１１は省略されてもよい。そしてこの場合、出力データストリームには、MbSplitFlag２１１０に続いて４個のサブブロックそれぞれの圧縮データが格納される。
ピクチャがイントラ符号化ピクチャの場合、ブロックのスキップは許容されないので、MbSkipFlag２１１１は常に'0'となる。そのため、出力データストリームにMbSkipFlag２１１１は含まれない。

まず、MbSkipFlag２１１１が'0'の場合のブロック（イントラピクチャ内の全てのブロックを含む）がグループ内の最終ブロックとなる場合について説明する。この場合において、出力データストリーム内のビット列２２００には、最終ブロックxの圧縮データに関するビット列２２０２と、最終ブロックx（xは1以上の整数）より前のブロック（〜(x-1))に対応するビット列全体２２０１が含まれる。またビット列２２０２の次のCode0は、ブロック(x+1)の圧縮データに関するビット列を表す。
ビット列２２０２は、最終ブロックxのMbSplitFlag(= 0)、MbSkipFlag(= 0)及びMacroblockLayerを可変長符号化したビット列である。ビット列２２０２のうち、SpはMbSplitFlagを可変長符号化したビット列であり、SkはMbSkipFlagを可変長符号化したビット列である。またCode M (M = [1, N[x])は、MacroblockLayerの各要素を可変長符号化したビット列である。N[x]は、最終ブロックxのMacroblockLayerの要素数である。
この例では、最終ブロックxの最終ビットは、矢印２２１０で示される、ビット列Code N[x]の最終ビットとなる。

次に、値が1のMbSkipFlagを持つブロック、すなわちスキップされるブロックが、(L-1)(ただし、(L-1)>0)個連続した後に、値が'0'のMbSkipFlagを持つブロック、すなわちスキップされないブロックが出現する場合における最終ビットについて説明する。出力データストリーム内のビット列２３００には、スキップされないブロック(x-L)の圧縮データに関するビット列２３０１が含まれる。さらに、ビット列２３００には、ビット列２３０１に続いて、スキップされるブロック(x-L+1)〜ブロック(x-1)のMbSplitFlag(=0)、MbSkipFlag(=1)及びその後のブロックxの圧縮データに関するビット列２３０２が含まれる。またビット列２３０２の次のCode 0は、ブロック(x+1)の圧縮データに関するビット列を表す。
この例では、ブロック(x-L)とブロックxとの間には、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(x-L+1)〜ブロック(x-1)が存在する。従って、ブロック(x-L+p) (p = ｛1, ..., L-1｝)の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印２３１０で示される、(L-1)個のMbSkipFlag(=1)コードの内、左からp番目のコードの最終ビットとなる。またブロックxが最終ブロックとなる場合、ブロックxの最終ビットは、矢印２３１１で示される、ビット列２３０２に含まれるCode N[x]の最終ビットとなる。

次に、値が'1'のMbSkipFlagを持つブロックが(L-1)(ただし、(L-1)>0)個連続した後に、同一ピクチャに属する次のスライスヘッダが出現する場合における最終ビットについて説明する。この場合において、出力データストリーム内のビット列２４００には、スキップされるブロックの直前のブロックyの圧縮データに関するビット列２４０１が含まれる。さらに、ビット列２４００には、ビット列２４０１に続いて、スキップされるブロック(y+1)以降のブロックに対応するMbSplitFlag(= 0)、MbSkipFlag(= 1)を可変長符号化したビット列２４０２が含まれる。そしてビット列２４０１は、ブロックyのMbSplitFlag(= 0)、MbSkipFlag(= 0)及びMacroblockLayerを可変長符号化したビット列である。

さらに、ビット列２４００には、スライスの終端を表すRbspTrailingBits２４０３と、次のスライスの先頭を表すSliceHeader２４０４とが含まれる。RbspTrailingBits２４０３は、このRbspTrailingBitsが出現する前のスライスのビット列の終端を表す、予め設定された所定の値を持つビット列である。RbspTrailingBits２４０３は、動画像復号装置が少なくともRbspTrailingBits２４０３の先頭のビットを参照することにより、スライスの終端であることが分かるように設定される。またスライスヘッダ２４０４には、スライス先頭のブロックアドレスを意味するパラメータFirstMbInSliceを含む。この例では、パラメータFirstMbInSliceはzであるとする。

この場合、ブロックyと、次スライスの先頭ブロックzとの間には、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(y+1)〜ブロック(y+L-1(=z-1))が存在する。従って、ブロック(y+p)(p=｛1, ..., L-2｝)の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印２４１０で示される、(L-2)個のMbSkipFlag(=1)コードの内、左からp番目のコードの最終ビットとなる。またブロック(z-1)が最終ブロックとなる場合、最終ビットは、矢印２４１１で示される、ビット列RbspTrailingBits２４０３の先頭ビットとなる。なお、この場合の最終ビットは、ビット列RbspTrailingBits２４０３内の先頭ビットよりも後のビットに設定されてもよい。

次に、値が1のMbSkipFlagを持つブロックが(L-1)(ただし、(L-1)>0)個連続した後に、別ピクチャに属するスライスヘッダ、もしくはピクチャヘッダが出現する場合における最終ビットについて説明する。この場合において、出力データストリーム内のビット列２５００には、スキップされるブロックの直前のブロックyの圧縮データに関するビット列２５０１が含まれる。さらに、ビット列２５００には、ビット列２５０１に続いて、スキップされるブロック(y+1)以降のブロックに対応するMbSplitFlag(= 0)、MbSkipFlag(= 1)を可変長符号化したビット列２５０２が含まれる。そしてビット列２５０１は、ブロックyのMbSplitFlag(= 0)、MbSkipFlag(= 0)及びMacroblockLayerを可変長符号化したビット列である。

さらに、ビット列２５００には、スライスの終端を表すRbspTrailingBits２５０３と、次のピクチャの先頭を表すピクチャヘッダ２５０４と、次のスライスの先頭を表すビット列であるSliceHeader２５０５とが含まれる。この場合、次のスライスの先頭のブロックはピクチャの最初のブロックであるため、SliceHeader２５０５に含まれるパラメータFirstMbInSliceの値は0となる。

この場合、ブロックy以降、ピクチャの最終ブロック(w-1)まで、MacroblockLayerが出力データストリームに含まれない、(L-1)個のブロック(y+1)〜ブロック(y+L-1(=w-1))が存在する。なおwは、ピクチャ内のブロック総数である。従って、ブロック(y+p)(p =｛1, ...,L-2｝)の何れかが最終ブロックとなる場合、これらのブロックの最終ビットは、矢印２５１０で示される、(L-2)個のMbSkipFlag(=1)コードの内、左からp番目のコードの最終ビットとなる。またブロック(w-1)が最終ブロックとなる場合、最終ビットは、矢印２５１１で示される、ビット列RbspTrailingBits２５０３の先頭ビットとなる。なお、この場合の最終ビットは、ビット列RbspTrailingBits２５０３内の先頭ビットよりも後のビットに設定されてもよい。

この第２の実施形態の変形例によれば、MbSplitFlagは省略されてもよい。MbSplitFlagが省略される場合も、最終ブロックの最終ビットは、図７に関して上述したとおりに決定される。

次に、第３の実施形態による可変長符号化部２３について説明する。第３の実施形態による可変長符号化部２３は、MPEG-4 AVC/H.264に規定されるContent-based Adaptive Binary Arithmetic Coding(CABAC)に準拠してブロックの圧縮データを可変長符号化する。CABACは、算術符号化処理の一例である。

図８（Ａ）及び図８（Ｂ）を参照しつつ、出力データのビットストリームにおける、各ブロックの最終ビットについて説明する。図８（Ａ）は、一つのブロックの圧縮データの構造を示す図である。図８（Ａ）に示されるように、一つのブロックの圧縮データ３１００は、先頭から順に、MbSkipFlag３１１０と、MacroblockLayer３１１１と、スライスエンドフラグ（以下、EndOfSliceFlagと表記する）３１１２とを含み得る。
MbSkipFlag３１１０は、現在のブロックがスキップされたか否かを表す。例えば、現在のブロックがスキップされている場合には、MbSkipFlag３１１０は'1'となり、一方、現在のブロックがスキップされていなければ、MbSkipFlag３１１０は'0'となる。またMacroblockLayer３１１１は、ブロック符号化種別、動きベクトル情報、及び量子化DCT係数等のブロック圧縮データである。ブロックのスキップとは、そのスキップされたブロックのMacroblockLayer３１１１が出力データストリームに含まれないことを意味する。
ピクチャがイントラ符号化ピクチャの場合、ブロックのスキップは許容されないので、MbSkipFlag３１１０は常に'0'となる。そのため、出力データストリームにMbSkipFlag３１１０は含まれない。
EndOfSliceFlag３１１２は、現在のブロックがスライスの最終ブロックか否かを表す。例えば、現在のブロックが最終ブロックである場合には、EndOfSliceFlag３１１２は'1'となり、一方、現在のブロックが最終ブロックでなければ、EndOfSliceFlag３１１２は'0'となる。

図８（Ｂ）は、圧縮データと、可変長符号化によって変換されたビット列との関係を説明する図である。CABACはCAVLCと異なり、圧縮データのビット毎に算術符号化を適用する。そのため、変換されたビット列と変換前の圧縮デ−タとの関係が一対一ではない。変換されたビット列内の一つのビットが、圧縮データの複数のビットに対応することがある。
図８（Ｂ）に示されるように、出力データストリームのビット列の一例であるビット列３２１０は１２個のビットを含む。この場合において、ドットの集合３２１１は、ビット列３２１０に含まれる各ビットに対応する、ビット列３２１０を算術復号することにより得られる圧縮データに含まれるビンを表す。ビンとは、圧縮データをバイナリ表現したものであり、各符号語に対応する圧縮データ中のビットまたはビット列である。この例では、ビット列３２１０はビン０〜ビン７に対応する。そして、ビン０〜ビン２はブロック０に含まれ、ビン３〜ビン５はブロック１に含まれ、ビン６はブロック２に含まれ、ビン７はブロック３に含まれる。ドットの集合３２１１に含まれる各ドットは、それぞれ、そのドットの上方に示された変換後のビット列３２１０に含まれるビットが、そのドットの左側に示されたビンを復号するために使用されることを表す。例えばビン０は、0番目のビットと1番目のビットとを用いて復号される。またビン１は、1番目のビットを用いて復号される。またビン５は、3番目のビットから11番目のビットを用いて復号される。

CABACにより符号化されたブロックの最終ビットは、そのブロックの圧縮データに含まれるビンxの復号に用いられるビット列の最後のビットとなる。ただしビンxは、ブロックの圧縮データを順にバイナリ化した時の最後のビットである。図８（Ｂ）に示した例では、ブロック０の最終ビットは、矢印３２５０で示される、ビット列３２１０の3番目のビットである。また、ブロック１〜ブロック３の最終ビットは、それぞれ、矢印３２５１で示される、ビット列３２１０の11番目のビットである。このように、複数のブロックが共通の最終ビットを持つことがある。

CABACによりブロックが符号化される場合、ブロックの圧縮データのバイナリ化データの最終ビットは常にEndOfSliceFlagである。そしてピクチャ中にブロックがw個あった場合、出力データストリーム中には必ずw個のMbSkipFlagとw個のEndOfSliceFlagがある。そのため、ピクチャ内のx番目のブロックの最終ビットは、x番目のEndOfSliceFlagの復号に用いられるビット列内の最後のビットとなる。

図９（Ａ）〜図９（Ｃ）は、第３の実施形態による、出力データのビットストリーム中のグループの最終ビットを特定する処理のフローチャートである。動画像符号化装置１０の可変長符号化部２３は、このフローチャートに従って、出力データのビットストリームにおける、i番目のピクチャのj番目のグループG(i,j)に属する最終ブロックの最終ビットの位置BitEnd(i,j)を導出する。動画像符号化装置１０は、BitEnd(i,j)の位置のビットが動画像符号化装置１０の送信バッファに入力された時に、グループG(i,j)を復号するために必要な全てのビットが動画像符号化装置１０の送信バッファに入力されたと判断する。

このフローチャートは、i番目のピクチャのヘッダ（ピクチャヘッダ及びスライスヘッダ）が符号化された直後から開始される。そして先ず、可変長符号化部２３は、変数j、m、cを初期化する（ステップＳ２０１）。変数j、m、cは、それぞれ、ピクチャ内のグループのインデックス、ピクチャ内のブロックのインデックス、キャリー数を表す。なお、キャリー数cについては後述する。

次に、可変長符号化部２３は、インデックスmのブロックの圧縮処理、圧縮データのバイナリ化及びコンテキストモデル化を行うことにより、算術符号化処理（MPEG-4 AVC/H.264に規定されるEncodingDecision()に対応）の対象のビンの配列B[]を取得する（ステップＳ２０２）。なお、上記の圧縮処理は、ブロックがスライスの最終ブロックであるか否かを示すEndOfSliceFlagを除外する処理である。ここで、ブロックmの算術符号化処理対象のビンの総数はgetNumBins(m)として表現される。可変長符号化部２３は、処理対象のビンのインデックスb0を0に設定し、またブロックmの最終ビンのインデックスb1をgetNumBins(m)に設定する。

可変長符号化部２３は、b0番目のビンを算術符号化する前のビットストリームの最終ビット位置pを取得する（ステップＳ２０３）。そして可変長符号化部２３は、b0番目のビンを算術符号化する（ステップＳ２０４）。これにより、例えば、0ビットから7ビットの間で、新たな生成ビットがビットストリームの最後に付加される。そして可変長符号化部２３は、b0番目のビンの算術符号化処理後のビットストリームの最終ビット位置qを取得する（ステップＳ２０５）。

ステップＳ２０５の後、可変長符号化部２３は、キャリー数cが１以上か否か判定する（ステップＳ２０６）。キャリー数cは、あるグループの最後のブロックのEndOfSliceFlagを算術符号化処理した時に、新たなビットがビットストリームに追加されなかった場合に１増加する数である。即ち、キャリー数cが1以上の値を持つ場合、キャリー数cは、グループx(x = j-1, .., j-c)の復号処理に必要な全ビットがビットストリームとして出力されていないことを意味する。

キャリー数cが１以上であれば（ステップＳ２０６−Ｙｅｓ）、可変長符号化部２３は、b0番目のビンを算術符号化する前のビットストリームの最終ビット位置pをb0番目のビンを算術符号化した後のビットストリームの最終ビット位置qと比較する（ステップＳ２０７）。

ビット位置pがビット位置qと異なる場合（ステップＳ２０７−Ｙｅｓ）、b0番目のビンの算術符号化処理により新たなビットが生成される。この場合には、b0番目のビン、及びそれ以前に算術符号化処理されたものの、ビットストリームとして出力されなかった、グループx (x = j-1, .., j-c)の最後のブロックのEndOfSliceFlagに相当するビットがビットストリームとして出力されている。即ちグループxの復号に必要な全ビットがqの位置で出力されている。可変長符号化部２３は、この時点で出力された各グループを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定する（ステップＳ２０８）。なお、ステップＳ２０８の処理の詳細については後述する。
この時点で、インデックスがjよりも小さい全てのグループについて、復号処理に必要な全ビットがビットストリームとして出力されている。そこで、可変長符号化部２３は、キャリー数cを0にリセットする（ステップＳ２０９）。

ステップＳ２０９の後、可変長符号化部２３は、算術符号化処理対象のビン配列B[]内の全てのビンを処理したかどうか、すなわち、b0がb1と等しいか否か判断する（ステップＳ２１０）。b0がb1未満である場合（ステップＳ２１０−Ｎｏ）、可変長符号化部２３は、b0を1インクリメントした後、ステップＳ２０３以降の処理を繰り返す。そして可変長符号化部２３は、ビン配列B[]内の残りのビンの処理を行う。一方、b0がb1と等しい場合（ステップＳ２１０−Ｙｅｓ）、可変長符号化部２３は、b0を1インクリメントした後、ステップＳ２１１以降の処理を実行する。なお、b0がb1未満であっても、b1と等しくても、b0は、b1との比較の後で１だけ増加するが、b0がb1と等しい場合は後でステップＳ２０２にてb0は0にリセットされる。

また、ステップＳ２０６においてキャリー数cが0であれば（ステップＳ２０６−Ｎｏ）、可変長符号化部２３は、ステップＳ２０７〜Ｓ２０９の処理を行わずに、ステップＳ２１０の処理を実行する。さらに、ステップＳ２０７において、ビット位置pがビット位置qと等しい場合（ステップＳ２０７−Ｎｏ）、b0番目のビンを算術符号化することにより新たなビットが生成されていない。この場合も、可変長符号化部２３は、ステップＳ２０８〜Ｓ２０９の処理を行わずにステップＳ２１０の処理を実行する。

図９（Ｂ）に示されるように、可変長符号化部２３は、EndOfSliceFlagを算術符号化する前のビットストリームの最終ビット位置pを取得する（ステップＳ２１１）。そして可変長符号化部２３は、EndOfSliceFlagを算術符号化し（ステップＳ２１２）、EndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qを取得する（ステップＳ２１３）。

可変長符号化部２３は、キャリー数cが1以上か否か、かつ、EndOfSliceFlagを算術符号化する前のビットストリームの最終ビット位置pとEndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qとが異なるか否か判定する（ステップＳ２１４）。キャリー数cが1以上、かつ、最終ビット位置pと最終ビット位置qとが異なる場合（ステップＳ２１４−Ｙｅｓ）、グループx (x = j-1, ..,j-c)の最後のブロックのEndOfSliceFlagがビットストリームとして出力されている。即ち、グループxを復号するのに必要な全ビットがビットストリームとして出力されている。そこで可変長符号化部２３は、この時点で出力された各グループを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定し（ステップＳ２１５）、その後キャリー数cを0にリセットする（ステップＳ２１６）。

ステップＳ２１６の後、あるいはステップＳ２１４にてキャリー数cが0または最終ビット位置pが最終ビット位置qと等しい場合（ステップＳ２１４−Ｎｏ）、可変長符号化部２３は、現在のブロックmがグループjの最終ブロックか否か判定する（ステップＳ２１７）。なお、getLastBlock(j)は、グループjの最後のブロックのインデックスを表す。現在のブロックmがグループjの最終ブロックでない場合（ステップＳ２１７−Ｎｏ）、グループj内に未処理のブロックがある。そこで可変長符号化部２３は、mを1インクリメントした後、ステップＳ２０２以降の処理を繰り返す。

一方、ブロックmがグループjの最終ブロックである場合（ステップＳ２１７−Ｙｅｓ）、可変長符号化部２３は、mを1インクリメントする。そして可変長符号化部２３は、EndOfSliceFlagを算術符号化する前のビットストリームの最終ビット位置pと、EndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qとを比較する（ステップＳ２１８）。
最終ビット位置pが最終ビット位置qと異なる場合（ステップＳ２１８−Ｙｅｓ）、EndOfSliceFlagを算術符号化することにより新たなビットが生成されている。従って、グループjの最終ブロックの全てを復号するのに必要な全てのビットがビットストリームとして出力されている。そこで可変長符号化部２３は、この時点で出力されたグループjを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定し（ステップＳ２１９）、さらにグループのインデックスjを1インクリメントする（ステップＳ２２０）。
一方、最終ビット位置pが最終ビット位置qと等しい場合（ステップＳ２１８−Ｎｏ）、EndOfSliceFlagが算術符号化されても新たなビットが生成されていない。従って、可変長符号化部２３は、キャリー数cを1インクリメントし、かつグループのインデックスjを1インクリメントする（ステップＳ２２１）。

ステップＳ２２０またはステップＳ２２１の処理後に、可変長符号化部２３は、現在のブロックmがピクチャ内の最終ブロックであるか否かを判定する（ステップＳ２２２）。なお、getNumBlockInPic()は、ピクチャ内の総ブロック数を表す。
現在のブロックmがピクチャ内の最終ブロックでなければ（ステップＳ２２２−Ｎｏ）、ピクチャ内に未処理のブロックがあるので、可変長符号化部２３は、ステップＳ２０２以降の処理を繰り返す。一方、現在のブロックmがピクチャ内の最終ブロックであれば（ステップＳ２２２−Ｙｅｓ）、可変長符号化部２３は、１ピクチャの全てのブロックの符号化を完了したので、最終ビット特定処理を終了する。

図９（Ｃ）を参照しつつ、ステップＳ２０８、Ｓ２１５及びＳ２１９で行われる最終ビット位置の設定処理のフローを説明する。
可変長符号化部２３は、i番目のピクチャの(j-c)番目のグループを復号するのに必要なビット列の最終ビット位置BitEnd(i,(j-c))をqに設定する（ステップＳ２５０）。その後、可変長符号化部２３は、キャリー数cが0以下か否かを判定する（ステップＳ２５１）。キャリー数cが0より大きい場合（ステップＳ２５１−Ｎｏ）、最終ビット位置BitEnd()を設定する必要のあるグループがまだ残っている。そこで可変長符号化部２３は、キャリー数cを１だけ減算し、その後再度ステップＳ２５０の処理を実行する。一方、キャリー数cが0以下である場合（ステップＳ２５１−Ｙｅｓ）、最終ビット位置BitEnd()を設定する必要のあるグループは無い。そのため、可変長符号化部２３は、最終ビット位置の設定処理を終了する。

次に、第４の実施形態による可変長符号化部２３について説明する。第４の実施形態による可変長符号化部２３は、非特許文献２に開示された手法に従ってブロックの圧縮データを可変長符号化する。
非特許文献２に開示された手法は、基本的にCABACと同様に算術符号化技術を用いる。しかし、この手法では、バイナリ化された圧縮データを１ビットずつ算術符号化する代わりに、バイナリ化された圧縮データの各ビットの推定確率に基づく複数個の算術符号化部が用いられる。各算術符号化部には、それぞれ別個の推定確率が割り当てられ、バイナリ化された圧縮データの各ビットは、その推定確率に対応する算術符号化部において算術符号化される。

この手法では、各算術符号化部は、固定の推定確率のビット列を処理するため、実際には、算術符号化演算を行う代わりに、入力されるnビットをmビットの出力にマッピングすることで、圧縮データを可変長符号化してもよい。なお、m、nは、それぞれ1以上の整数である。本明細書では、便宜上、出力されるmビットをワードと呼ぶ。可変長符号化された圧縮データは、出力データのビットストリームにワード単位で出力される。
非特許文献２に開示された手法では、CABACと同様に、変換されたビット列と変換前の圧縮デ−タとの関係が一対一ではない。また、先に算術符号化部に入力されたビンに相当するワードが、そのビンよりも後に算術符号化部に入力されたビンに相当するワードよりも後に出力データのビットストリームに出現することもある。

図１０は、第４の実施形態による可変長符号化部２３が有するエントロピー符号化部７００の概略構成図である。エントロピー符号化部７００は、入力されたブロックの圧縮データをエントロピー符号化し、その結果得られたストリームを出力する。そのためにエントロピー符号化部７００は、バイナリ化部７０１と、コンテキストモデル化部７０２と、確率量子化部７０３と、K個のビン符号化部７０４−１〜７０４−ｋ（ただしKは2以上の整数）と、多重化部７０５とを有する。

バイナリ化部７０１は、入力されたブロックの圧縮データに含まれる各シンボルをバイナリ化し、各シンボルをビット列で表す。そのために、バイナリ化部７０１は、例えば、MPEG-4 AVC/H.264に準拠して、各シンボルをバイナリ化する。例えば、I-Slice内のマクロブロック種別mbTypeが4x4イントラ予測、もしくは8x8イントラ予測を表すシンボル"INxN"である場合、そのシンボルは'0'で表される。また、ブロック種別mbTypeがPCM符号化を表すシンボル"IPCM"である場合には、そのシンボルは'11'で表される。バイナリ化部７０１から出力されたビット列は、コンテキストモデル化部７０２に入力される。

コンテキストモデル化部７０２は、バイナリ化部７０１から入力されたビット列の各ビットに対し、個々にコンテキストを割り当てる。コンテキストは、例えば、周囲ブロックのブロックの圧縮データから決定される。そして、エントロピー符号化しようとするブロックの圧縮データが周囲ブロックの圧縮データと類似している場合とそうでない場合とで、異なるコンテキストが用いられることにより、算術符号化の効率が向上する。コンテキストモデル化部７０２は、ビット列のビット毎に、その値(0または1)と、決定されたコンテキストのLeast Probable bit(LPB)、及びLPB確率を出力し、出力されたビット、LPB及びLPB確率は確率量子化部７０３に入力される。LPBは、過去にそのコンテキストとペアとなってコンテキストモデル化部７０２から出力されたビット列の各ビットにおける、出現頻度の小さい方の値を表す。またLPB確率は、LPBの発生確率を表す。例えば、過去のビット列に含まれる10個のビットが[0,0,0,1,1,1,1,1,1,1]の場合、LPBは0であり、LPB確率は0.3になる。

確率量子化部７０３は、コンテキストモデル化部７０２から出力された各ビットのLPB確率をそれぞれ量子化する。例えば、確率量子化部７０３は、0から1の連続する確率値を、K個の離散的な値に量子化する。例えばLPB確率が0.3で、Kが4である場合、確率量子化部７０３は、LPB確率の値0.3の量子化値を0.25(=1/4)とする。確率量子化部７０３から出力されたビットは、K個のビン符号化部７０４−１〜７０４−ｋのうち、そのビットのLPB確率の量子化値に応じたビン符号化部に入力される。

ビン符号化部７０４−１〜７０４−ｋは、それぞれ、互いに異なるLPB確率の量子化値に対応するビットを算術符号化する。例えば、上記のように、LPB確率の量子化値が1/4であれば、そのLPB確率に対応するビットは、ビン符号化部７０４−１〜７０４−ｋのうちの離散的確率1/4に対応するビン符号化部に入力される。そして各ビン符号化部は、多重化部７０５のバッファ内に格納されているエントリのビット列のうち、ビン符号化部に対応する量子化LPB確率のエントリのビット列にそのビットを追加する。そして各ビン符号化部は、ビット列が変換可能となる度に、そのビット列をワードに変換する。

多重化部７０５は、例えば、バッファを有し、各ビン符号化部から書き込まれたビット列及びビット列に対応するワードをそのバッファに格納する。多重化部７０５は、ワードが出力可能となるまで、そのワードをバッファ内に格納する。そして多重化部７０５は、格納されているワードが出力可能となった時点で、そのワードを出力データのビットストリームとして出力する。

なお、各ビン符号化部に入力されるビット（ビン）は同じLPBを持つと仮定できるので、各ビン符号化部及び多重化部は、算術符号化そのものを行う代わりに、複数の入力ビットを含むビット列を一つのビン列として可変長符号化してもよい。この場合、例えば、ビット列（ビン列）とワードとの関係を表す変換テーブルが各ビン符号化部に記憶される。そして各ビン符号化部は、その変換テーブルを参照してビン列をワードに変換する。例えば、LPBが1でLPB確率が0.15（即ち0の発生確率が0.85)である場合、入力ビン列"0000"は"1"に、入力ビン列"11"は"00001"に変換される。

図１１を参照しつつ、出力データのビットストリームにおける、各ブロックの最終ビットについて説明する。図１１は、圧縮データと、可変長符号化によって変換されたビット列との関係を説明する図である。なお、ブロックの圧縮データの構造は、図８（Ａ）に示される構造と同一である。

図１１に示されるように、出力データストリームのビット列の一例であるビット列４１００は１５個のビットを含む。この場合において、ドットの集合４１０１は、ビット列４１００に含まれる各ビットに対応する、ビット列４１００を算術復号することにより得られる圧縮データに含まれるビンを表す。この例では、ビット列４１００はビン０〜ビン１０に対応する。そして、ビン０〜ビン２はブロック０に含まれ、ビン３〜ビン５はブロック１に含まれ、ビン６、７はブロック２に含まれ、ビン８〜ビン１０はブロック３に含まれる。ドットの集合４１０１に含まれる各ドットは、それぞれ、そのドットの上方に示された変換後のビット列４１００に含まれるビットが、そのドットの左側に示されたビンを復号するために使用されることを表す。例えばビン０、ビン５及びビン７は、0番目〜3番目のビットを用いて復号される。逆に言うと、ビン０、ビン５及びビン７の3ビットが、ビット列４１００中の0番目〜3番目の4ビットに変換される。

ドット集合４１０１から明らかなように、ブロック１に属する最後のビン５を復号するために必要なビット列（ビット0〜ビット3)は、ブロック１に属する最初のビン３を復号するために必要なビット列（ビット7〜ビット8)よりも先に出力データのビットストリーム４１００内に出現する。このように、第４の実施形態では、第３の実施形態と異なり、ブロックの各ビンの順番に対して、出力データのビットストリーム上での対応するワードの順番が逆転することがある。

ブロックの最終ビットは、以下のようになる。
CABACによりブロックが符号化される場合と同様に、ブロックの圧縮データのバイナリ化データの先頭ビット及び最終ビットは、常にMbSkipFlag及びEndOfSliceFlagである。そしてピクチャ中にブロックがw個あった場合、出力データのビットストリーム中には必ずw個のMbSkipFlagとw個のEndOfSliceFlagがある。

しかし、この実施形態では、可変長符号化されたブロックxの最終ビットは、ブロックxの圧縮データのバイナリ化データの各ビットを復号するために必要なワードの中で、出力データのビットストリーム中の位置が最も後ろのワードAの最後のビットとなる。図１１に示した例では、ブロック０、ブロック１及びブロック２の最終ビットは、それぞれ、矢印４２００で示される、ビット列４１００の8番目のビットである。また、ブロック３の最終ビットは、矢印４２０１で示される、ビット列４１００の14番目のビットである。

図１２は、第４の実施形態による可変長符号化部のビン符号化部及び多重化部の挙動の説明図である。ビン符号化部７０４−１〜７０４−ｋは、入力ビン列から出力ワードへの変換マップ８００を参照して、同一の量子化LPB確率を持つビットからなる入力ビン列をワードに変換する。説明の簡略化のため、多重化部７０５は、各ビン符号化部７０４−１〜７０４−ｋから多重化部７０５に入力されるビン列に対して同一の変換マップを適用するものとする。例えばビン列"0000"はワード"1"に変換される。

この例において、入力ビット列８０１の各ビットに対して、量子化LPB確率を表す確率インデックス８０２が確率量子化部７０３により付加される。この例では、LPB確率は４個の値の何れかに量子化されるものとし、各量子化LPB確率には、それぞれ、確率インデックス0〜3が割り当てられる。そして入力ビット列８０１の各ビットは、先頭のビット８５０から順に、そのビットの確率インデックスに対応するビン符号化部に入力される。例えば、確率インデックスが'0'であるビットは、ビン符号化部７０４−１に入力され、確率インデックスが'1'であるビットは、ビン符号化部７０４−２に入力される。

テーブル８６０〜８６３は、それぞれ、ビット８５０〜８５３が何れかのビン符号化部に入力された時点における、多重化部７０５が有するバッファに格納されたデータを示す。
テーブル８６０〜８６３において、一つの行が、多重化部７０５のバッファ内に格納された一つのエントリに対応する。そして各テーブル内には、生成された順序に従って、上から順にエントリが表記される。多重化部７０５は、出力データのビットストリームとして、バッファ内に格納されたエントリのワードを、上から下の順番に沿って出力する。"#"はバッファ内のエントリのインデクスである。"Idx"は対応するビン符号化部のインデクスであり、この例では、理解を容易にするために、ビン符号化部のインデックスは、そのビン符号化部に入力される入力ビットに付加された確率インデックスと同一の値を持つ。「入力」は、入力されたビット列（ビン列）である。「ワード」は入力されたビット列に対応するワードである。もし入力ビット列に対応するワードが存在しない場合（例えば、入力ビット列が"00"の場合）、各テーブルにおいてワードは"N/A"と表記される。

ビン符号化部７０４−１〜７０４−ｋの何れかへビット８５０が入力される前の状態では、多重化部７０５のバッファは空であるとする。
多重化部７０５のバッファが空の状態で、ビットがビン符号化部に入力されると、ビットが入力されたビン符号化部は、多重化部７０５のバッファに新しいエントリを作成する。この例では、テーブル８６０に示されるように、確率インデックスが'0'で、かつ値が'0'であるビット８５０がビン符号化部７０４−１へ入力されることにより、多重化部７０５のバッファ内にエントリインデクスが'0'の最初のエントリが作成される。ビット８５０の確率インデックスが'0'であるため、このエントリの"Idx"は'0'である。またビット８５０の値が'0'であるため、最初のエントリの入力ビット列は"0"となる。ワードはまだ未完成であるため、このエントリのワードは"N/A"である。

次に、ビン符号化部７０４−２へ、確率インデックスが'1'で、かつ値が'0'であるビット８５１が入力される。この場合、このビットの確率インデックスに相当するエントリはまだ多重化部７０５のバッファ内に存在しないので、テーブル８６１に示されるように、新しいエントリが生成される。この２番目のエントリの"Idx"は'1'である。またワードはまだ未完成であり、２番目のエントリのワードは"N/A"である。

以降、新たなビットがビン符号化部に入力される度に、ビン符号化部７０４−１〜７０４−ｋ及び多重化部７０５は、以下の１）〜４）の規則に従って、多重化部７０５のバッファ内のエントリのビン列をワードに変換し、また適宜出力可能となったエントリのワードを出力する。

１）ビン符号化部７０４−１〜７０４−ｋは、入力ビットの確率インデックスに対応するエントリを、多重化部７０５のバッファ内のエントリインデクスの昇順に探索する。

２）もし入力ビットの確率インデックスに対応する、ワードが"N/A"であるエントリがあれば、ビン符号化部７０４−１〜７０４−ｋは、そのエントリの入力ビット列を更新する。具体的には、ビン符号化部７０４−１〜７０４−ｋは、そのエントリの入力ビット列の後ろに新たな入力ビットを付加する。多重化部７０５は、更新されたビット列が、変換テーブル８００のビン列の何れかと一致するか否かを判定する。もし一致するビン列があれば、ビン符号化部７０４−１〜７０４−ｋは、そのビン列に対応するワードをこのエントリのワードとする。

３）もし入力ビットの確率インデックスに対応する、ワードが"N/A"でないエントリが無ければ、ビン符号化部７０４−１〜７０４−ｋは、その確率インデックスに対応する新たなエントリを作成する。

４）ワードが"N/A"でないエントリはビットストリームとして出力可能であるが、エントリの出力順序は多重化部７０５のバッファ内のエントリインデクスの降順に従う。これは、動画像復号装置が多重化されたワードを正常に復号する（ワードからビン列への逆変換）ために必要な制限である。もし着目するエントリのエントリインデクスより小さく、かつワードが"N/A"のエントリが多重化部７０５のバッファに残っている場合には、着目するエントリのワードが"N/A"でなくても、多重化部７０５は、その着目するエントリを出力することはできない。
多重化部７０５は、エントリを出力する場合、そのエントリのワードを出力データのビットストリームに追加する。出力されたエントリは、多重化バッファから除かれる。

テーブル８６２は、ビン符号化部７０４−１へ、確率インデックスが'0'で、かつ値が'0'であるビット８５２が入力された時点における、多重化部７０５のバッファの状態を表す。この場合、エントリインデクスが'1'から'4'のエントリは出力可能な状態である。しかし、エントリインデクスが'0'のエントリのワードが"N/A"のため、多重化部７０５は、全てのエントリのワードをまだビットストリームとして出力できない。すなわち可変長符号化の遅延が生じる。

テーブル８６３は、ビン符号化部７０４−１へ、確率インデックスが'0'で、かつ値が'1'であるビット８５３が入力された時点における、多重化部７０５のバッファの状態を表す。この時点において、初めてエントリインデクスが'0'のエントリのワードが"N/A"でなくなる。そのため、多重化部７０５は、エントリインデクスが'0'から'4'のエントリ全てを出力できる。

エントリインデックスが'0'から'4'のエントリ全てを出力した直後に、新たに追加されるエントリのインデクスは'5'となる。即ち、新規エントリのエントリインデックスは、出力されたエントリを含む全エントリ中の最大インデックスに1を加算した値となる。多重化部７０５は、ビットストリームとして出力した最後のエントリのエントリインデックスに1を加算した値を、次のビットストリームの出力エントリ先頭インデックスFirstIndexとして記憶する。なおFirstIndexはピクチャ符号化開始時に0にリセットされる。

図１３（Ａ）〜図１３（Ｃ）は、第４の実施形態による、出力データのビットストリーム中のグループの最終ビットを特定する処理のフローチャートである。動画像符号化装置１０の可変長符号化部２３は、このフローチャートに従って、出力データのビットストリームにおける、i番目のピクチャのj番目のグループG(i,j)に属する最終ブロックの最終ビットの位置BitEnd(i,j)を導出する。動画像符号化装置１０は、BitEnd(i,j)の位置のビットが動画像符号化装置１０の送信バッファに入力された時に、グループG(i,j)を復号するために必要な全てのビットが動画像符号化装置１０の送信バッファに入力されたと判断する。

図１３（Ａ）〜図１３（Ｃ）に示されるフローチャートの各ステップの処理は、以下に述べるステップを除き、図９（Ａ）〜図９（Ｃ）に示したフローチャートの対応するステップの処理と同一である。例えば、ステップＳ３０１の処理は、ステップＳ２０１の処理と同一である。そのため、以下に述べるステップ以外のステップの詳細に関しては、図９（Ａ）〜図９（Ｃ）に示したフローチャートに関連する説明を参照されたい。

可変長符号化部２３のビン符号化部７０４−１〜７０４−ｋがb0番目のビンを符号化し、b0番目のビン（またb0番目のビンを含むビット列が変換可能な場合には、対応するワード）が多重化部７０５のバッファに格納される（ステップＳ３０４）。その後、可変長符号化部２３は、多重化部７０５がビットストリームとして出力したビット列の最終ビット位置qを取得する（ステップＳ３０５）。また、可変長符号化部２３は、多重化部７０５より次のビットストリームの先頭エントリインデックスFirstIndexを取得し、そのインデックスをtとする。

その後、ステップＳ３０６にてキャリー数cが１以上であれば、可変長符号化部２３は、b0番目のビンを算術符号化する前のビットストリームの最終ビット位置pをb0番目のビンを算術符号化した後のビットストリームの最終ビット位置qと比較する。さらに可変長符号化部２３は、次のビットストリームの先頭エントリインデックスtがインデックスsよりも大きいか否か判定する（ステップＳ３０７）。なお、インデックスsは、既に算術符号化されたもののビットストリームとして出力されていないEndOfSliceFlagに対応するエントリのうち、最も大きいエントリインデックスを表す。

最終ビット位置pが最終ビット位置qと異なり、かつ、インデックスtがインデックスsよりも大きい場合（ステップＳ３０７−Ｙｅｓ）、b0番目のビンの算術符号化処理により新たなビットが生成される。この場合には、以前に算術符号化されたものの、ビットストリームとして出力されていなかったグループx(x=j-1,...,j-c)の最後のブロックのEndOfSliceFlagに対応する最後のワードがビットストリームとして出力されている。即ちグループxの復号に必要な全ビットがqの位置で出力されている。そこで可変長符号化部２３は、この時点で出力された各グループを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定する（ステップＳ３０８）。
一方、最終ビット位置pが最終ビット位置qと等しいか、あるいは、インデックスtがインデックスsと等しい場合（ステップＳ３０７−Ｎｏ）、新たなビットが生成されていない。そのため、可変長符号化部２３は、ステップＳ３０８及びＳ３０９の処理を行わずにステップＳ３１０の処理を行う。

図１３（Ｂ）に示されるように、可変長符号化部２３は、EndOfSliceFlagを算術符号化し（ステップＳ３１２）、その後、EndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qを取得する（ステップＳ３１３）。また、可変長符号化部２３は、多重化部７０５より次のビットストリームの先頭エントリインデックスFirstIndexを取得し、そのインデックスをtとする。さらに可変長符号化部２３は、多重化部７０５より、既に算術符号化されたもののビットストリームとして出力されていないEndOfSliceFlagに対応するエントリのうち、最も大きいエントリインデックスを取得し、そのインデックスをsとする。

可変長符号化部２３は、キャリー数cが１以上、かつ、EndOfSliceFlagを算術符号化する前のビットストリームの最終ビット位置pと、EndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qとが異なるか否か判定する。さらに可変長符号化部２３は、インデックスtがインデックスsよりも大きいか否か判定する（ステップＳ３１４）。キャリー数cが１以上で、pがqと異なり、かつtがsより大きい場合（ステップＳ３１４−Ｙｅｓ）、グループx (x = j-1, ..,j-c)の最後のブロックのEndOfSliceFlagがビットストリームとして出力されている。即ち、グループxを復号するのに必要な全ビットがビットストリームとして出力されている。そこで可変長符号化部２３は、この時点で出力された各グループを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定する（ステップＳ３１５）。

一方、キャリー数cが0、またはpがqと等しい、若しくはtがsと等しい場合（ステップＳ３１４−Ｎｏ）、グループxを復号するのに必要な全ビットが出力されていない。そこで可変長符号化部２３は、ステップＳ３１５及びＳ３１６の処理を行わずに、現在のブロックmがグループjの最終ブロックか否か判定する（ステップＳ３１７）。現在のブロックmがグループjの最終ブロックでない場合（ステップＳ３１７−Ｎｏ）、グループj内に未処理のブロックがある。そこで可変長符号化部２３は、mを1インクリメントした後、ステップＳ３０２以降の処理を繰り返す。

一方、ブロックmがグループjの最終ブロックである場合（ステップＳ３１７−Ｙｅｓ）、可変長符号化部２３は、mを1インクリメントする。そして可変長符号化部２３は、EndOfSliceFlagを算術符号化する前のビットストリームの最終ビット位置pと、EndOfSliceFlagを算術符号化した後のビットストリームの最終ビット位置qとを比較し、かつ、インデックスtとインデックスsを比較する（ステップＳ３１８）。
pがqと異なり、かつtがsより大きい場合（ステップＳ３１８−Ｙｅｓ）、EndOfSliceFlagを算術符号化することにより新たなビットが生成されている。従って、グループjの最終ブロックの全てを復号するのに必要な全てのビットがビットストリームとして出力されている。そこで可変長符号化部２３は、この時点で出力されたグループjを復号するのに必要なビット列の最終ビット位置BitEnd()をビット位置qに設定する（ステップＳ３１９）。
一方、pがqと等しいか、あるいはtがsと等しい場合（ステップＳ３１８−Ｎｏ）、EndOfSliceFlagが算術符号化されても新たなビットが生成されていない。従って、可変長符号化部２３は、キャリー数cを1インクリメントし、かつグループのインデックスjを1インクリメントする（ステップＳ３２１）。

以上に説明してきたように、この動画像符号化装置は、ピクチャを分割したブロックをグループ単位で分類し、そのグループごとに推定される復号時刻に応じて、グループに含まれるブロックの符号量を調整することで、復号遅延を低減させることができる。

コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録されて配布されてもよい。

上述した実施形態またはその変形例による動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１０ 動画像符号化装置
１１ 符号化処理部
１２ 符号量制御部
１３ グループ決定部
１４ グループ復号時刻情報算出部
１５ グループ情報付加部
２１ 直交変換部
２２ 量子化部
２３ 可変長符号化部
２４ 量子化値算出部
２５ ビットカウンタ
２６ バッファ占有量算出部
７００ エントロピー符号化部
７０１ バイナリ化部
７０２ コンテキストモデル化部
７０３ 確率量子化部
７０４−１〜７０４−ｋ ビン符号化部
７０５ 多重化部

Claims (3)

1. 動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化装置であって、
   前記ピクチャを任意の大きさの複数のグループに分割した際、各ブロックの属するグループを決定するグループ決定部と、
   符号化対象ピクチャの最初のグループに対応する復号時刻と、前記符号化対象ピクチャの直前のピクチャの最後のグループに対応する復号時刻との差分値が、前記符号化対象ピクチャの２番目以降のグループに含まれる、連続する二つのグループのそれぞれの前記復号時刻間の差分値よりも大きくなるように前記グループ毎の復号時刻を算出するグループ復号時刻情報算出部と、
   前記各ブロックの属するグループを表すグループ情報と、前記グループ情報に対応する前記復号時刻を表す情報を出力データに付加するグループ情報付加部と、
   前記グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、前記グループ復号時刻情報算出部で算出された当該グループの復号時刻までに当該動画像復号装置のストリーム受信バッファに到達するように、当該グループに含まれる各ブロックの符号量を制御する符号量制御部と、
   前記符号量の制御情報に基づいて前記各ブロックを符号化する符号化処理部と、
   を有する動画像符号化装置。
2. 動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化方法であって、
   前記ピクチャを任意の大きさの複数のグループに分割した際、各ブロックの属するグループを決定し、
   符号化対象ピクチャの最初のグループに対応する復号時刻と、前記符号化対象ピクチャの直前のピクチャの最後のグループに対応する復号時刻との差分値が、前記符号化対象ピクチャの２番目以降のグループに含まれる、連続する二つのグループのそれぞれの前記復号時刻間の差分値よりも大きくなるように前記グループ毎の復号時刻を算出し、
   前記各ブロックの属するグループを表すグループ情報と、前記グループ情報に対応する前記復号時刻を表す情報を出力データに付加し、
   前記グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、当該グループの復号時刻までに当該動画像復号装置のストリーム受信バッファに到達するように、当該グループに含まれる各ブロックの符号量を制御し、
   前記符号量の制御情報に基づいて前記各ブロックを符号化する、
   ことを含む動画像符号化方法。
3. 動画像データに含まれる各ピクチャを複数のブロックに分割して符号化することをコンピュータに実行させる動画像符号用コンピュータプログラムであって、
   前記ピクチャを任意の大きさの複数のグループに分割した際、各ブロックの属するグループを決定し、
   符号化対象ピクチャの最初のグループに対応する復号時刻と、前記符号化対象ピクチャの直前のピクチャの最後のグループに対応する復号時刻との差分値が、前記符号化対象ピクチャの２番目以降のグループに含まれる、連続する二つのグループのそれぞれの前記復号時刻間の差分値よりも大きくなるように前記グループ毎の復号時刻を算出し、
   前記各ブロックの属するグループを表すグループ情報と、前記グループ情報に対応する前記復号時刻を表す情報を出力データに付加し、
   前記グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで動画像復号装置に伝送された場合に、当該グループの復号時刻までに当該動画像復号装置のストリーム受信バッファに到達するように、当該グループに含まれる各ブロックの符号量を制御し、
   前記符号量の制御情報に基づいて前記各ブロックを符号化する、
   ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。

Images