JP6079913B2

JP6079913B2 - 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム

Info

Publication number: JP6079913B2
Application number: JP2016021703A
Authority: JP
Inventors: 徹熊倉; 福島　茂; 茂福島
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-03-26
Filing date: 2016-02-08
Publication date: 2017-02-15
Anticipated expiration: 2033-03-25
Also published as: JP5884941B1; JP2016096560A; JP5884942B1; JP5884943B1; JP2016129366A; JP2013229863A; JP2016096562A; JP2016059070A; JP5884940B1; JP5884761B2; JP2016096561A

Description

本発明は、画像符号化技術に関し、特に残差信号のエントロピー符号化技術に関する。

動画像符号化の国際標準であるＭＰＥＧ−４ＡＶＣでは、エントロピー符号化方式としてＣＡＢＡＣと呼ばれるコンテキスト切替型の算術符号化が採用されている。ＣＡＢＡＣは、符号化すべき情報の発生確率を記憶するコンテキストと呼ばれる変数を複数所持している。周辺の符号化情報から最適なコンテキストを選択して符号化に利用する。また、各コンテキストにおいても符号化過程による発生確率の更新が行われるため、符号化情報の発生確率を高精度で推定することができ、効率的な符号化が可能である。

特開２００７−３００５１７号公報

ＭＰＥＧ−４ＡＶＣでは、周辺の復号済情報によりコンテキストを切り換えることによる情報の発生確率の推定に加え、復号結果による発生確率の学習を行っている。各コンテキストに対する復号すべき情報の発生確率を最適化でき、符号化効率の向上が実現されている。しかしながら、処理対象ブロック内のすべての有意差分係数情報に対して、コンテキストインデックスの計算と有意差分係数情報の復号とを逐次的に処理する必要があり、計算時間がかかる。

特許文献１には、発生頻度の高い構文要素に対するコンテキストはアクセスレイテンシの小さなメモリ上に配置することにより復号に係る処理遅延を削減する手法が開示されている。しかしながら特許文献１の手法はコンテキストインデックスの算出と構文要素の復号の依存性を解消するものではなく、これらを並列的に実行できないという点では処理遅延に対する本質的な解決とはいえない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、差分係数符号化／復号において、並列処理可能で演算量の少ないコンテキストインデックス算出方法を実現し、回路構成が簡単で、実時間処理に適した画像符号化技術を提供することにある。また、別の目的は、相関上適切な周辺差分係数を参照したコンテキストインデックスの計算を実現することにより、符号化効率の高い画像符号化技術を提供することにある。

符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化装置であって、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化部と、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化部と、前記差分係数の値を符号化する差分係数値符号化部と、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出部とを備えることを特徴とする画像符号化装置を提供する。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法であって、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、前記差分係数の値を符号化する差分係数値符号化ステップと、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップとを有することを特徴とする画像符号化方法を提供する。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化プログラムであって、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、前記差分係数の値を符号化する差分係数値符号化ステップと、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップとをコンピュータに実行させることを特徴とする画像符号化プログラムを提供する。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理部と、パケット化された前記符号化データを送信する送信部とを備え、前記画像符号化方法は、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、前記差分係数の値を符号化する差分係数値符号化ステップと、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップとを有することを特徴とする送信装置を提供する。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとを有し、前記画像符号化方法は、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、前記差分係数の値を符号化する差分係数値符号化ステップと、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップとを有することを特徴とする送信方法を提供する。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、前記画像符号化方法は、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、前記差分係数の値を符号化する差分係数値符号化ステップと、符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップとを有することを特徴とする送信プログラムを提供する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、回路構成が簡単で、実時間処理に適した差分信号の符号化を実現することができる。

従来の差分係数の復号手順を説明するためのフローチャートである。従来のサブブロック差分係数の復号手順を説明するためのフローチャートである。従来の有意差分係数の復号手順を説明するためのフローチャートである。従来の差分係数値の復号手順を説明するためのフローチャートである。実施の形態に係る差分係数の符号化方法を実行するための画像符号化装置の構成を示すブロック図である。実施の形態に係る差分係数の復号方法を実行するための画像復号装置の構成を示すブロック図である。サブブロック、差分係数の走査順を説明するための図である。図６の画像復号装置の第１の実施例の詳細な構成を示すブロック図である。図３の有意差分係数の復号手順における周辺差分係数の定義を説明するための図である。図１３の有意差分係数の復号手順における周辺差分係数の定義を説明するための図である。図４の有意差分係数の復号手順におけるコンテキスト定義を説明するための図である。差分係数のサブブロック分割を説明するための図である。第１の実施例における差分係数値の復号手順を説明するためのフローチャートである。符号化ブロックサイズを説明するための図である。図５の画像符号化装置の第１の実施例の詳細な構成を示すブロック図である。第１の実施例における差分係数の符号化手順を説明するためのフローチャートである。第１の実施例におけるサブブロック差分係数の符号化手順を説明するためのフローチャートである。第１の実施例における有意差分係数の符号化手順を説明するためのフローチャートである。第１の実施例における差分係数値の符号化手順を説明するためのフローチャートである。有意差分係数情報のコンテキスト計算にサブブロック位置を含める構成を説明するための図である。

まず、本発明の実施の形態の前提となる技術について説明する。

各符号化構文に対し複数のコンテキストを対応付け、構文要素の相関性に基づいたコンテキストを選択する手法は、符号割り当てを最適化できるため、効率的な符号化ができる。

コンテキスト切替エントロピー符号化の例として、図１のフローチャートを用いて１６×１６サイズで符号化される差分信号の量子化直交変換係数の復号手順を説明する。図１２は処理対象の量子化直交変換係数である。以下量子化直交変換係数を差分係数と呼ぶこととする。本手順においては、処理対象の１６×１６差分係数を４×４サイズのサブブロック４０１乃至４１６に分割して、サブブロック単位での走査を優先的に行う。

後述する走査順に従い、処理対象のサブブロックを決定する（Ｓ１０１）。すべてのサブブロックを走査し終えていれば、差分係数の復号処理を終了する。図７の符号９０２にサブブロックの走査順を示す。本手順においては、差分係数領域の最も右下のサブブロックから走査を開始し、右下から左上へ、さらに右上から左上へ、という規則に従った走査を行い、最も左上のサブブロックで走査を終える。図７の符号９０１はサブブロックの走査順を矢印を用いて表現した図である。図７の走査順に従う場合、すべての処理対象サブブロックにおいて、空間的に右側および下側に位置するサブブロックの走査は完了した状態となる。

図１のフローチャートに戻り、処理対象サブブロックのすべての差分係数値の復号処理を行う（Ｓ１０２）。サブブロック差分係数値の復号が完了後、ステップＳ１０１に移る。

サブブロック差分係数値の復号処理の詳細を図２のフローチャートを用いて説明する。

有意サブブロック情報を復号する（Ｓ２０１）。有意サブブロック情報は、処理対象のサブブロックに０でない差分係数が存在することを示すための１ビットのフラグである。有意サブブロック情報が１であることは、処理対象サブブロックに少なくとも１つの０でない差分係数が存在することを示す。有意サブブロック情報が０であることは、処理対象サブブロックのすべての差分係数が０であることを示す。

有意サブブロック情報の値を判定する（Ｓ２０２）。有意サブブロック情報が０であるときは、処理対象サブブロックのすべての差分係数値を０と設定し（Ｓ２０９）、サブブロック差分係数値復号処理を終了する。

有意サブブロック情報が１であるときは、処理対象サブブロックのすべての有意差分係数情報の復号処理を行う（Ｓ２０３）。有意差分係数情報は、処理対象位置の差分係数値が０でないことを示すための１ビットのフラグである。有意係数情報が１であることは、処理対象位置の差分係数値が０でないことを示し、有意係数情報が０であることは、処理対象位置の差分係数値が０であることを示す。サブブロックの有意差分係数情報の復号手順の詳細については後述する。サブブロックのすべての有意差分係数情報の復号が終了後、ステップＳ２０４の差分係数値の復号に移る。

差分係数値の復号処理を行う（Ｓ２０４）。差分係数値復号処理の詳細については後述する。差分係数値の復号処理を完了後、ステップＳ１０１へ移り、次のサブブロックの走査を行う。

［有意差分係数情報の復号処理手順］
ステップＳ２０３のサブブロックの有意差分係数情報の復号手順を図３のフローチャートを用いて説明する。

所定の走査順に従い処理対象のサブブロックを決定する（Ｓ３０１）。サブブロック内の差分係数の走査順は、差分係数領域におけるサブブロックの走査順と同様図７で示す規則に従うものとする。

処理対象差分係数位置に隣接し、かつ復号済みの、０でない差分係数の数の和である、周辺有意差分係数和ｃｏｕｎｔＣｏｅｆｆを算出する（Ｓ３０２）。図９に周辺有意差分係数和ｃｏｕｎｔＣｏｅｆｆを算出するための差分係数位置の例を示す。符号２０２は処理対象位置が符号２０１である場合の周辺差分係数、符号２０４は処理対象位置が符号２０３である場合の周辺差分係数である。図９に示すように処理対象差分係数位置の右側および下側にあり、かつ処理対象差分係数位置に隣接する５つの差分係数を周辺差分係数とする。差分係数の走査順は図７に従うものであるため、処理対象差分係数と同一サブブロックに属し、処理対象差分係数位置の右側および下側にある差分係数は復号済みである。同様に処理対象位置の属するサブブロックの右側および下側にあるサブブロックに属する有意差分係数も復号済みである。周辺差分係数和ｃｏｕｎｔＣｏｅｆｆは、有意差分係数の発生確率を推定するための変数である。画像の特性および視覚特性上有意差分係数は低域に１が集中しやすく、高域に０が集中しやすい。有意差分係数は空間的な相関性があるため、処理対象位置に隣接する差分係数を周辺差分係数和ｃｏｕｎｔＣｏｅｆｆの演算対象とする。差分係数領域の外側を示す周辺差分係数については周辺有意係数和ｃｏｕｎｔＣｏｅｆｆの計算から除外する。

図３のフローチャートに戻り、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０であるかどうかを判定する（Ｓ３０３）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０である場合は、有意差分係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを０と設定し（Ｓ３０４）、コンテキストインデックスｃｔｘＩｄｘに対応するコンテキストを用いて有意差分係数情報を復号する。そして差分係数値に有意差分係数情報を設定する（Ｓ３０８）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０でない場合は、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下であるかどうかを判定する（Ｓ３０５）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下である場合は、有意差分係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを１と設定し（Ｓ３０６）、コンテキストインデックスｃｔｘＩｄｘに対応するコンテキストを用いて有意差分係数情報を復号する。そして差分係数値に有意差分係数情報を設定する（Ｓ３０８）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下でない場合は、すなわち周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが３以上である場合は、有意差分係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを２と設定し（Ｓ３０７）、コンテキストインデックスｃｔｘＩｄｘに対応するコンテキストを用いて有意差分係数情報を復号する。そして差分係数値に有意差分係数情報を設定する（Ｓ３０８）。

コンテキストは復号する情報の発生確率を記憶しておくための変数であり、コンテキストで示す発生確率を元に符号語の割り当てが切り替わる。上記の例では有意差分係数を符号化するコンテキストを３つ定義しており、周辺有意差分係数和の大きさにより、有意差分係数を復号するコンテキストを決定するものである。予め、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０個のときのコンテキストインデックスｃｔｘＩｄｘ＝０に対応するコンテキストには、０となる有意係数情報の発生確率が高く、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが３個以上のときのコンテキストインデックスｃｔｘＩｄｘ＝２に対応するコンテキストには、１となる有意係数情報の発生確率が高く設定されている。発生確率が高い情報に対しては、符号量を短くできるために、発生確率の推定精度を高めることにより、符号化効率を向上させることができる。

ＭＰＥＧ−４ＡＶＣでは、周辺の復号済情報によりコンテキストを切り換えることによる情報の発生確率の推定に加え、復号結果による発生確率の学習を行っている。各コンテキストに対する復号すべき情報の発生確率を最適化でき、符号化効率の向上が実現されている。

一般に画像の直交変換成分は低域に情報が集中しやすい。また高域成分の劣化は視覚特性上の影響が少ないため、高域成分を粗く量子化することが実用上行われることが多い。そのため有意係数情報は低域成分に集中する傾向がある。有意係数情報は周辺有意係数との相関が高く、周辺有意係数情報の数によりコンテキストの切り替えを行うことは符号化効率の観点からは合理的である。

［差分係数値復号処理］
図２のフローチャートのステップＳ２０４のサブブロックの差分係数値の復号手順を図１３のフローチャートを用いて説明する。

所定の走査順に従い処理対象のサブブロックを決定する（Ｓ５０１）。サブブロック内の差分係数の走査順は、有意差分係数情報の走査順と同様、図７で示す規則に従うものとする。サブブロックのすべての差分係数を走査し終えていれば差分係数値の復号処理を完了し、次のサブブロックの決定手順（Ｓ１０１）へ移る。

処理対象差分係数位置の差分係数値が０であるかどうかを判定する（Ｓ５０２）。処理対象差分係数位置の差分係数値が０である場合は、処理対象差分係数位置の差分係数値の復号を完了し、ステップＳ５０１へ移る。

処理対象差分係数位置の差分係数値が１である場合は、処理対象差分係数位置の差分係数の絶対値を復号する（Ｓ５０３）。本手順を実行する場合は、差分係数値が０でないことが確定しており、符号化系列としては差分係数の絶対値から１を減じた値に対応した符号語が符号化される。よって差分係数の絶対値としては符号語をエントロピー復号した値に１を加えた値を設定する。

処理対象差分係数位置の差分係数の符号を復号する（Ｓ５０４）。差分係数の絶対値と差分係数の符号から差分係数値を決定する。

上記有意差分係数情報復号手順において、図９の２０１は、図７の９０２の走査順で示す通りサブブロックで最後に走査され、図７の９０２に示すように、その走査順は１６である。また、２０１の周辺差分係数２０２のうち、２０１の下に隣接する位置の走査順は１５であり、２０１の直前に走査される。２０１の有意差分係数情報を復号するために必要となるコンテキストインデックスｃｔｘＩｄｘは、２０２の有意差分係数和を元に算出することから、２０２の有意差分係数情報の復号を完了するまでは、２０１のコンテキストインテックスｃｔｘＩｄｘを確定させることができない。これはサブブロック内のすべての有意差分係数情報に対して、ｃｔｘＩｄｘの計算と有意差分係数情報の復号とを逐次的に処理する必要があり、並列化による時間計算量の削減は不可能であることを意味する。一方、差分係数は符号化系列に占める割合が高く、有意差分係数情報のコンテキストインデックス算出処理および復号処理は復号処理全体に占める時間計算量が大きい。すなわち有意係数情報の復号処理は実時間復号処理上の最大のボトルネックとなる。

そこで、本発明の実施の形態では、差分係数符号化／復号において、コンテキストインデックスの計算と有意差分係数情報の符号化／復号の間の依存性をなくし、並列処理可能で演算量の少ないコンテキストインデックス算出方法を実現し、回路構成が簡単で、実時間処理に適した画像符号化技術を提供する。また、相関上適切な周辺差分係数を参照したコンテキストインデックスの計算を実現することにより、符号化効率の高い画像符号化技術を提供する。以下、本発明の実施の形態を説明する。

以下の説明において、「処理対象ブロック」とは、画像符号化装置による符号化処理の場合は、符号化対象ブロックのことであり、画像復号装置による復号処理の場合は、復号対象ブロックのことである。「既処理ブロック」とは、画像符号化装置による符号化処理の場合は、符号化済みの復号されたブロックのことであり、画像復号装置による復号処理の場合は、復号済みのブロックのことである。以下、断りのない限り、この意味で用いる。

［符号化装置］
本発明を実施する好適な画像符号化装置について図面を参照して説明する。図５は実施の形態に係る画像符号化装置の構成を示すブロック図である。実施の形態の画像符号化装置は、減算部５０１と、直交変換・量子化部５０２と、逆量子化・逆変換部５０３と、加算部５０４と、復号画像メモリ５０５と、予測部５０６と、差分情報符号化部５０７と、予測情報符号化部５０８と、モード判定部５０９とを備える。

モード判定部５０９は、すべての予測候補の符号化を試み、画像のブロック毎に最適な予測情報を決定する。予測情報としては、分割ブロックサイズ、画面間予測／画面内予測を示す予測モードを含み、さらに予測モードが画面間予測である場合は、動きベクトル、参照ピクチャインデックス等の動き情報を、予測モードが画面内予測である場合は画面内予測モードを含む。決定した予測情報を予測部５０６と、予測情報符号化部５０８に与える。

予測情報符号化部５０８は、入力された予測情報を可変長符号化して予測情報の符号化系列を出力する。

予測部５０６は、入力された予測情報と、復号画像メモリ５０５に記憶した既復号画像を用いて予測画像を生成し、生成した予測画像を減算部５０１へ与える。

減算部５０１は、符号化対象の原画像から予測画像を減ずることにより差分画像を生成し、生成した差分信号を直交変換・量子化部５０２に与える。

直交変換・量子化部５０２は、差分画像に対し直交変換・量子化をして差分係数を生成し、生成した差分係数を逆量子化・逆変換部５０３と差分情報符号化部５０７に与える。

差分情報符号化部５０７は、差分係数をエントロピー符号化して差分情報の符号化系列を出力する。

逆量子化・逆変換部５０３は、直交変換・量子化部５０２から受け取った差分係数に対し逆量子化・逆直交変換をして復号差分信号を生成し、生成した復号差分信号を加算部５０４に与える。

加算部５０４は、予測画像と復号差分信号を加算して復号画像を生成し、生成した復号画像を復号画像メモリ５０５に格納する。

［復号装置］
本発明を実施する好適な画像復号装置について図面を参照して説明する。図６は実施の形態に係る動画像復号装置の構成を示すブロック図である。実施の形態の画像復号装置は、差分情報復号部８０１と、逆量子化・逆変換部８０２と、予測情報復号部８０３と、加算部８０４と、復号画像メモリ８０５と、予測部８０６とを備える。

図６の画像復号装置の復号処理は、図５の画像符号化装置の内部に設けられている復号処理に対応するものであるから、図８の逆量子化・逆変換部８０２、加算部８０４、復号画像メモリ８０５、および予測部８０６の各構成は、図５の画像符号化装置の逆量子化・逆変換部５０３、加算部５０４、復号画像メモリ５０５、および予測部５０６の各構成とそれぞれ対応する機能を有する。

予測情報復号部８０３は、入力された予測情報符号化系列をエントロピー復号して予測情報を生成し、生成した予測情報を予測部８０６に与える。

予測部８０６は、入力された予測情報と、復号画像メモリ８０５に記憶した既復号画像を用いて予測画像を生成し、生成した予測画像を加算部８０４へ与える。

差分情報復号部８０１は、差分情報をエントロピー復号して差分情報を生成する。生成した差分情報を逆量子化・逆変換部８０２に与える。

逆量子化・逆変換部８０２は、差分情報復号部８０１から受け取った差分情報に対し逆量子化・逆直交変換をして復号差分信号を生成し、生成した復号差分信号を加算部８０４に与える。

加算部８０４は、予測画像と復号差分信号を加算して復号画像を生成し、生成した復号画像を復号画像メモリ８０５に格納し、出力する。

本発明の実施の形態に係る差分係数符号化及び復号処理は、図５の動画像符号化装置の差分情報符号化部５０７及び図８の動画像復号装置の差分情報復号部８０１において実施される。以下、実施の形態に係る差分情報符号化及び復号処理の詳細を説明する。

［符号化ブロック］
実施の形態では、図１４で示されるように、画面を矩形ブロックにて階層的に分割するとともに、各ブロックに対し所定の処理順による逐次処理を行う。分割する各ブロックを符号化ブロックとよぶ。図１８のブロック１８１７は、実施の形態において分割の最大単位であり、これを最大符号化ブロックとよぶ。図１４のブロック１８１６は、実施の形態において分割の最小単位であり、これを最小符号化ブロックとよぶ。以下最小符号化ブロックを４×４画素、最大符号化ブロックを１６×１６画素として説明を行う。

［予測ブロック］
符号化ブロックのうち、イントラ予測を行う単位を予測ブロックと呼ぶ。予測ブロックは最小符号化ブロック以上、最大符号化ブロック以下のいずれかの大きさを持つ。図１４ではブロック１８０２、１８０３、および１８０４が１６×１６ブロック、ブロック１８０５、１８１０、１８１１、および１８０１が８×８ブロック、ブロック１８０６、１８０７、１８０８、１８０９が４×４ブロックである。ブロック１８１２、１８１３、１８１４、１８１５は未処理ブロックであり、符号化ブロックサイズが確定していない。符号化手順においては最適な予測ブロックサイズを決定し、予測ブロックサイズを符号化する。復号手順においてはビットストリームより予測ブロックサイズを取得する。以下、予測ブロックを処理単位として説明を行う。

［差分係数の処理単位］
量子化・直交変換を行う単位は、予測ブロックの単位と同一であるとするが、符号化・復号処理においては、差分係数領域を複数のサブブロックに分割して走査するものとする。サブブロックの大きさは４×４サイズとする。図１２に１６×１６サイズの差分係数領域を示す。４０１乃至４１６はサブブロックである。ただし、量子化・直交変換を行う単位を予測ブロックの単位と独立に決定しても良い。

（第１の実施例）
［符号化手順］
本発明の実施の形態に係る差分情報の符号化方法の第１の実施例を説明する。図１５は図５の差分情報符号化部５０７の第１の実施例の詳細な構成のブロック図である。第１の実施例の差分情報符号化部５０７は、算術符号化部７０１、差分係数バッファ７０２、符号化制御部７０３、コンテキストメモリ７０４、及び走査制御部７０５を備え、さらに符号化制御部７０３は、有意係数情報符号化制御部７０６、差分係数値符号化制御部７０７、及び有意サブブロック情報符号化制御部７０８を備える。

以下、図１６、図１７、図１８、及び図１９のフローチャートも参照しながら、差分係数の符号化手順を説明する。

走査制御部７０５は、処理対象サブブロックを決定する（Ｓ６０１）。すべてのサブブロックを走査し終えていれば、差分係数の復号処理を終了する。図７の９０２にサブブロックの走査順を示す。本手順においては、差分係数領域の最も右下のサブブロックから走査を開始し、右下から左上へ、さらに右上から左上へ、という規則に従った走査を行い、最も左上のサブブロックで走査を終える。上述した通りコンテキストは符号化過程による更新が行われる。この走査順をとることは、差分係数の発生しやすい低域成分の符号化を高域成分よりも後に行うことにより、低域成分の差分係数の発生確率の推定精度を向上させるという処理上の利点がある。図７の符号９０１はサブブロックの走査順を矢印を用いて表現した図である。図７の走査順に従う場合、処理対象サブブロックに対し空間的に右側および下側に位置するサブブロックの走査は完了した状態となる。処理対象サブブロックに対し、サブブロックの符号化処理を行う（Ｓ６０２）。

［サブブロック符号化手順（Ｓ６０２）］
有意サブブロック情報符号化制御部７０８は、差分係数バッファ７０２から処理対象サブブロックを取得する。サブブロックのすべての差分係数を走査し、すべての差分係数値が０であった場合は、有意サブブロック情報を０と設定する。そうでない場合（少なくとも一つ０でない差分係数値が存在する場合）は、有意サブブロック情報を１と設定する（Ｓ７０１）。

有意サブブロック情報符号化制御部７０８は、差分係数バッファ７０２から処理対象サブブロックに隣接し、かつ復号済みであるサブブロックに含まれる差分係数を参照し、有意サブブロック情報を符号化するためのコンテキストインデックスｃｔｘＩｄｘを決定する。コンテキストインデックスｃｔｘＩｄｘに対応するコンテキストをコンテキストメモリ７０４から読み出す。算術符号化部７０１に対し、有意サブブロック情報とコンテキストを送る。算術符号化部７０１は、コンテキストを用いて有意サブブロック情報の符号化を行う（Ｓ７０２）。

有意サブブロック情報符号化制御部７０８は、有意サブブロック情報の値を判定する（Ｓ７０３）。有意サブブロック情報が０であるときは、サブブロック差分係数値符号化処理を終了し、ステップＳ６０１へ移る。

有意サブブロック情報が１であるときは、処理対象サブブロックのすべての有意差分係数情報の符号化処理を行う（Ｓ７０４）。有意差分係数情報の符号化手順の詳細については後述する。サブブロックのすべての有意差分係数情報の符号化が終了後、ステップＳ７０４の差分係数値の符号化へ移る。

差分係数値符号化制御部７０７は、処理対象サブブロックのすべての差分係数値の符号化処理を行う（Ｓ７０５）。サブブロックの差分係数値の符号化手順の詳細については後述する。サブブロックのすべての差分係数値の符号化が終了後、ステップＳ６０１へ移る。

［有意差分係数情報の符号化処理手順（Ｓ７０４）］
有意係数情報符号化制御部７０６は、処理対象サブブロックの周辺の０でない差分係数の数の和、すなわち周辺有意係数和ｃｏｕｎｔＣｏｅｆｆを算出する（Ｓ８０１）。本手順では処理対象サブブロックの空間的に右側および下側にあるサブブロックに属し、処理対象サブブロックと隣接する差分係数を周辺差分係数と定義する。

図１０に周辺差分係数位置を示す。符号３０１は処理対象サブブロックであり、符号３０２は周辺差分係数である。差分係数領域の外側を示す周辺差分係数については周辺有意係数和ｃｏｕｎｔＣｏｅｆｆの計算から除外する。処理対象サブブロックの右側かつ下側のサブブロックに属する差分係数３０３においては、周辺差分係数に含める構成と含めない構成のどちらも取りうる。符号３０３を周辺差分係数に含める構成においては、周辺差分係数の数が多くなり有意差分係数情報発生確率を高精度に推定でき、符号３０３を周辺差分係数に含めない構成においては、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆに係る加算処理の削減、および差分係数領域の境界判定処理の削減により演算量・回路規模の削減ができる。

有意係数情報符号化制御部７０６は、処理対象の差分係数を決定する（Ｓ８０２）。サブブロック内の差分係数の走査順は、差分係数領域におけるサブブロックの走査順と同様図７で示す規則に従う。サブブロックのすべての有意差分係数を走査し終えていれば有意差分係数の符号化処理を終了し、差分係数値の符号化手順（Ｓ７０４）へ移る。

有意係数情報符号化制御部７０６は、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０であるかどうかを判定する（Ｓ８０３）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ８０４）。水平方向差分係数位置をｐｏｓＸ、垂直方向差分係数位置をｐｏｓＹとし、処理対象差分係数位置をｐｏｓ＝ｐｏｓＸ＋ｐｏｓＹとする。ｐｏｓ＜＝２であれば、有意係数情報を符号化するためのコンテキストインデックスｃｔｘＩｄｘを１と設定し（Ｓ８０５）、そうでなければ（ｐｏｓ＞２）、コンテキストインデックスｃｔｘＩｄｘを０と設定する（Ｓ８０６）。ｃｏｕｎｔＣｏｅｆｆ＝０である場合の、コンテキストインデックスｃｔｘＩｄｘの定義を図１１の符号６０１に示す。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０でないときは、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下であるかどうかを判定する（Ｓ８０７）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ４０８）。ｐｏｓ＜＝３であれば、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを１と設定し（Ｓ８０９）、そうでなければ（ｐｏｓ＞３）、コンテキストインデックスｃｔｘＩｄｘを０と設定する（Ｓ８１０）。ｃｏｕｎｔＣｏｅｆｆ＝１である場合の、コンテキストインデックスｃｔｘＩｄｘの定義を図１１の符号６０２に示す。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下でないときは、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下であるかどうかを判定する（Ｓ８１１）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ８１２）。ｐｏｓ＜＝２であれば、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを２と設定し（Ｓ８１３）、そうでなければ（ｐｏｓ＞２）、コンテキストインデックスｃｔｘＩｄｘを１と設定する（Ｓ８１４）。ｃｏｕｎｔＣｏｅｆｆ＝２である場合の、コンテキストインデックスｃｔｘＩｄｘの定義を図１１の符号６０３に示す。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下でないときは、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを２と設定する（Ｓ８１５）。ｃｏｕｎｔＣｏｅｆｆ＞２である場合の、コンテキストインデックスｃｔｘＩｄｘの定義を図１１の符号６０５に示す。

有意係数情報符号化制御部７０６は、差分係数バッファ７０２から処理対象位置の差分係数を取得する。差分係数値が０でない場合は、有意差分係数情報を１と設定し、そうでないとき（差分係数値が０である場合）は、有意差分係数情報を０と設定する（Ｓ８１６）。

有意係数情報符号化制御部７０６は、決定したコンテキストインデックスｃｔｘＩｄｘに対応するコンテキストをコンテキストメモリ７０４から読み出した後、算術符号化部７０１に対し、有意差分係数情報とコンテキストを送る。算術符号化部７０１は、コンテキストを用いて有意差分係数情報を符号化する（Ｓ８１７）。

［差分係数値符号化処理（Ｓ７０５）］
差分係数値符号化制御部７０７は、処理対象の差分係数を決定する（Ｓ９０１）。サブブロック内の差分係数の走査順は、有意差分係数の走査順と同様、図７で示す規則に従うものとする。サブブロックのすべての差分係数を走査し終えていれば差分係数値の符号化処理を終了し、次のサブブロックの決定手順（Ｓ６０１）へ移る。

差分係数値符号化制御部７０７は、処理対象差分係数位置の差分係数値が０であるかどうかを判定する（Ｓ９０２）。処理対象差分係数位置の差分係数値が０である場合は、処理対象差分係数位置の差分係数値の符号化を完了し、ステップＳ９０１へ移る。

処理対象差分係数位置の差分係数値が０でない場合は、処理対象差分係数位置の符号化差分係数絶対値、及び符号を計算する（Ｓ９０３、Ｓ９０４）。本手順が実行されるときは差分係数値が０でないことが確定しているため、符号化差分係数絶対値は差分係数の絶対値から１を減じた値とする。また差分係数が正である場合は符号を０に設定し、差分係数が負である場合は、符号を１に設定する。

差分係数値符号化制御部７０７は、コンテキストをコンテキストメモリ７０４から読み出した後、算術符号化部７０１に対し、符号化絶対値とコンテキストを送る。算術符号化部７０１は、コンテキストを用いて符号化絶対値を符号化する（Ｓ９０５）。

差分係数値符号化制御部７０７は、コンテキストをコンテキストメモリ７０４から読み出した後、算術符号化部７０１に対し、符号とコンテキストを送る。算術符号化部７０１は、コンテキストを用いて符号化絶対値を符号化する（Ｓ９０５）。

［復号手順］
本発明の実施の形態に係る差分係数の復号方法の第１の実施例を説明する。図８は図６の差分情報復号部８０１の第１の実施例の詳細な構成のブロック図である。第１の実施例の差分情報復号部８０１は、算術復号部１００１、差分係数バッファ１００２、復号制御部１００３、コンテキストメモリ１００４、及び走査制御部１００５を備え、さらに復号制御部１００３は、有意係数情報復号制御部１００６、差分係数値復号制御部１００７、及び有意サブブロック情報復号制御部１００８を備える。

図８の差分情報復号部８０１における差分情報復号処理は、図５の差分情報符号化部５０７における差分情報符号化処理に対応するものであるから、図８の差分情報符号化部における差分係数バッファ１００２、コンテキストメモリ１００４、及び走査制御部１００５の各構成は、図１５の差分係数バッファ７０２、コンテキストメモリ７０４、及び走査制御部７０５の各構成とそれぞれ対応する機能を有する。

以下、図１、図２、図４、および図１３のフローチャートも参照しながら、差分情報の復号手順を説明する。

走査制御部１００５は、処理対象サブブロックを決定する（Ｓ１０１）。すべてのサブブロックを走査し終えていれば、差分係数の復号処理を終了する。図７の９０２にサブブロックの走査順を示す。本手順においては、差分係数領域の最も右下のサブブロックから走査を開始し、右下から左上へ、さらに右上から左上へ、という規則に従った走査を行い、最も左上のサブブロックで走査を終える。図７の９０１はサブブロックの走査順を矢印を用いて表現した図である。図７の走査順に従う場合、処理対象サブブロックに対し空間的に右側および下側に位置するサブブロックの走査は完了した状態となる。処理対象サブブロックに対し、サブブロックの復号処理を行う（Ｓ１０２）。

［サブブロック復号（Ｓ１０２）］
有意サブブロック情報復号制御部１００８は、差分係数バッファ１００２から処理対象サブブロックに隣接し、かつ復号済みであるサブブロックに含まれる差分係数を参照し、有意サブブロック情報を復号するためのコンテキストを決定し、決定したコンテキストをコンテキストメモリ１００４から読み出す。算術復号部１００１に対し、コンテキストとともに復号命令を送る。算術復号部１００１は、コンテキストを用いて符号化系列の復号処理を行い、有意サブブロック情報を復号する（Ｓ２０１）。

有意サブブロック情報復号制御部１００８は、有意サブブロック情報の値を判定する（Ｓ２０２）。有意サブブロック情報が０であるときは、差分係数バッファ１００２の処理対象サブブロックのすべての差分係数値を０と設定し（Ｓ２０９）、サブブロック差分係数値復号処理を終了する。

有意サブブロック情報が１であるときは、処理対象サブブロックのすべての有意差分係数情報の復号処理を行う（Ｓ２０３）。サブブロックの有意差分係数情報の復号手順の詳細については後述する。サブブロックのすべての有意差分係数情報の復号が終了後、ステップＳ２０４の差分係数値の復号に移る。

処理対象サブブロックのすべての差分係数値の復号処理を行う（Ｓ２０４）。サブブロックの差分係数値の復号手順の詳細については後述する。サブブロックのすべての差分係数値の復号が終了後、ステップＳ１０１へ移る。

［有意差分係数情報の復号処理手順（Ｓ２０３）］
有意係数情報復号制御部１００６は、処理対象差分係数位置の周辺の有意差分係数の数の和ｃｏｕｎｔＣｏｅｆｆを算出する（Ｓ４０１）。本手順では処理対象サブブロックの空間的に右側および下側にあるサブブロックに属し、処理対象サブブロックと隣接する差分係数を周辺差分係数と定義する。

有意係数情報復号制御部１００６は、処理対象の差分係数を決定する（Ｓ４０２）。サブブロック内の差分係数の走査順は、差分係数領域におけるサブブロックの走査順と同様図７で示す規則に従うものとする。サブブロックのすべての有意差分係数を走査し終えていれば有意差分係数の復号処理を完了し、差分係数値の復号手順（Ｓ２０４）へ移る。有意係数情報復号制御部１００６は、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０であるかどうかを判定する（Ｓ４０３）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ４０４）。水平方向差分係数位置をｐｏｓＸ、垂直方向差分係数位置をｐｏｓＹとし、処理対象差分係数位置をｐｏｓ＝ｐｏｓＸ＋ｐｏｓＹとする。ｐｏｓ＜＝２であれば、有意係数情報を復号するためのコンテキストｃｔｘＩｄｘを１と設定し（Ｓ４０５）、そうでなければ（ｐｏｓ＞２）、コンテキストｃｔｘＩｄｘを０と設定する（Ｓ４０６）。ｃｏｕｎｔＣｏｅｆｆ＝０である場合の、コンテキストの定義を図１１の符号６０１に示す。決定したコンテキストをコンテキストメモリ１００４から読み出した後、算術復号部１００１に対し、コンテキストとともに復号命令を送る。算術復号部１００１は、コンテキストを用いて符号化系列の復号処理を行い、有意差分係数情報を復号する（Ｓ４１６）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが０でないときは、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下であるかどうかを判定する（Ｓ４０７）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ４０８）。ｐｏｓ＜＝３であれば、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを１と設定し（Ｓ４０９）、そうでなければ（ｐｏｓ＞３）、コンテキストインデックスｃｔｘＩｄｘを０と設定する（Ｓ４１０）。ｃｏｕｎｔＣｏｅｆｆ＝１である場合の、コンテキストの定義を図１１の符号６０２に示す。決定したコンテキストをコンテキストメモリ１００４から読み出した後、算術復号部１００１に対し、コンテキストとともに復号命令を送る。算術復号部１００１は、コンテキストを用いて符号化系列の復号処理を行い、有意差分係数情報を復号する（Ｓ４１６）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが１以下でないときは、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下であるかどうかを判定する（Ｓ４１１）。周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下である場合は、処理対象サブブロック内の処理対象差分係数位置を判定する（Ｓ４１２）。ｐｏｓ＜＝２であれば、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを２と設定し（Ｓ４１３）、そうでなければ（ｐｏｓ＞２）、コンテキストインデックスｃｔｘＩｄｘを１と設定する（Ｓ４１４）。ｃｏｕｎｔＣｏｅｆｆ＝２である場合の、コンテキストの定義を図１１の符号６０３に示す。決定したコンテキストをコンテキストメモリ１００４から読み出した後、算術復号部１００１に対し、コンテキストとともに復号命令を送る。算術復号部１００１は、コンテキストを用いて符号化系列の復号処理を行い、有意差分係数情報を復号する（Ｓ４１６）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが２以下でないときは、有意係数情報を復号するためのコンテキストインデックスｃｔｘＩｄｘを２と設定する（Ｓ４１５）。ｃｏｕｎｔＣｏｅｆｆ＞２である場合の、コンテキストの定義を図１１の符号６０５に示す。決定したコンテキストをコンテキストメモリ１００４から読み出した後、算術復号部１００１に対し、コンテキストとともに復号命令を送る。算術復号部１００１は、コンテキストを用いて符号化系列の復号処理を行い、有意差分係数情報を復号する（Ｓ４１６）。

周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが大きいときは、処理対象サブブロック内のすべての有意係数情報が１となる可能性が高い。そのため、上記手順においては周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが３以上の場合はｐｏｓの値に関わらずｃｔｘＩｄｘを２と設定する。また周辺有意係数和ｃｏｕｎｔＣｏｅｆｆの判定条件を細分化することも可能である。例えば、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが３以上の場合に、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが３であれば図１１の符号６０４、周辺有意係数和ｃｏｕｎｔＣｏｅｆｆが４以上であれば図１１の符号６０５のコンテキストインデックス定義をとることもできる。このような構成をとる場合、周辺情報の相関性利用効率が向上し、符号化効率を向上させることができる。

本手順においては、有意差分係数情報のためのコンテキストインデックスｃｔｘＩｄｘの算出に、復号済み隣接サブブロックの有意係数情報の数の和と、処理対象差分係数のサブブロック内位置を参照する。このような構成をとる理由を以下で説明する。

一般に画像の直交変換係数は低域成分に集中しやすく、有意係数情報が１になる可能性が高い。さらに直交変換係数の高域成分は視覚上の影響を受けにくいことから粗く量子化されることが多いため、高域成分の係数値は０となり、高域成分の有意係数情報は０となる可能性が高い。この性質は差分係数領域全体に限らず、各サブブロックに対しても同様であり、サブブロックの低域側にある成分は、同一サブブロックの高域側にある成分と比べて有意係数情報が１になる可能性が高くなると言える。サブブロック内で低域にある有意差分係数情報のコンテキストインデックスｃｔｘＩｄｘの値を高域にある有意差分係数情報のコンテキストインデックスｃｔｘＩｄｘの値よりも大きく設定することは、有意係数情報の発生確率の推定精度の向上につながる。また、有意差分係数が０となる確率が高い高域では周辺有意係数和も小さくなり、有意差分係数が１となる確率が高い低域では周辺有意係数和も大きくなる傾向が強く、処理対象サブブロックが有意差分係数情報をどの程度含むかという指標として周辺有意係数和を用いることは有意係数情報の発生確率の推定精度の向上につながる。

本手順においては、周辺有意差分係数和をサブブロックに対し１回だけ算出し、サブブロック内のすべての係数位置のコンテキストインデックスを計算することが可能である。各係数位置で個別に周辺有意差分係数和を計算する方法と比べ、周辺有意差分係数和の演算量を削減することができる。また、コンテキストインデックスの算出に、走査順で直前となる有意差分係数の復号結果を利用する構成では、サブブロック内のコンテキストインデックス算出と有意差分係数復号をすべて逐次的に処理する必要がある。本実施例では、コンテキストインデックスの算出に周辺有意差分係数和と処理対象係数位置を参照するものであるが、周辺有意差分係数和は処理対象サブブロックに属する差分係数を対象としないため、コンテキストインデックスの算出にサブブロック内の依存関係が存在しない。すべての有意差分係数に対するコンテキストインデックスをサブブロックの先頭で計算することが可能であるため、コンテキストインデックスの算出を有意差分係数情報の復号処理と並列的に計算することも可能である。符号化系列中の発生頻度が高い有意係数情報の復号に係る処理遅延を削減することができる。

周辺有意係数を参照する代わりに有意サブブロック情報を参照してコンテキスト計算をすることも可能である。換言すれば、周辺有意係数の和ではなく、隣接する有意サブブロック情報の和に基づいて、コンテキストを算出することもできる。処理対象サブブロックの、例えば右側に隣接するサブブロックの有意サブブロック情報と、例えば下側に隣接するサブブロックの有意サブブロック情報の和を利用する構成は、上述した構成と比べ、演算量・回路規模を削減することが可能となる。また、サブブロック位置をコンテキスト計算に反映させることも可能である。上述した通り、低域成分の方が高域と比べ有意係数の発生確率が高くなる特性がある。サブブロック位置をコンテキスト計算に反映させることにより、より高精度のコンテキスト推定を実現することもできる。図２０は差分係数領域を低域領域と高域領域の２領域に分類した例である。図２０の符号１１０１、１１０２、１１０３、１１０４、１１０５、１１０９を低域成分とし、符号１１０６、１１０７、１１０８、１１１０、１１１１、１１１２、１１１３、１１１４、１１１５、１１１６を高域領域とする。高域領域に対しては上述した手順でコンテキストインデックスｃｔｘＩｄｘを算出するとした上で、低域領域に対しては、上述したコンテキストインデックスｃｔｘＩｄｘに所定のサブブロック位置に応じたオフセットを加算する構成をとることもできるし、低域領域に対しては上述したコンテキストインデックスｃｔｘＩｄｘの計算中にサブブロック位置に寄る条件分岐を追加するような構成をとることもできる。また低域領域に対して上述した手順でコンテキストインデックスｃｔｘＩｄｘを算出するとした上で、高域領域に対しては、一般に有意差分係数が０となる可能性が高く、周辺の有意差分係数の数は確率推定上の誤差を含みやすいことから、常にコンテキストｃｔｘＩｄｘ＝０を設定する構成をとることもできる。

また、周辺有意差分係数和の代わりに周辺係数絶対値和を用いてコンテキストインデックスを算出することも可能である。一般に低域成分の差分係数絶対値は大きいため、周辺差分係数絶対値和が大きい場合は有意差分係数情報の発生確率が高くなるようなコンテキストを設定することにより符号化効率を向上させることができる。

さらに差分係数を算出する際に用いた予測モードを有意差分係数のコンテキストインデックス算出手順中の条件判定に加えることによりコンテキスト推定の精度を向上させることも可能である。一般に、復号対象画像の復号済領域のみが参照対象となる画面内予測と比べ、複数の復号画像を参照できる画面間予測は予測精度が高く差分が発生しにくいという特性の違いがあるためである。

［差分係数値復号処理（Ｓ２０４）］
有意係数情報復号制御部１００６は、処理対象の差分係数を決定する（Ｓ５０１）。サブブロック内の差分係数の走査順は、有意差分係数の走査順と同様、図７で示す規則に従うものとする。サブブロックのすべての差分係数を走査し終えていれば差分係数値の復号処理を完了し、次のサブブロックの決定手順（Ｓ１０１）へ移る。

有意係数情報復号制御部１００６は、処理対象差分係数位置の差分係数値が０であるかどうかを判定する（Ｓ５０２）。処理対象差分係数位置の差分係数値が０である場合は、処理対象差分係数位置の差分係数値の復号を完了し、ステップＳ５０１へ移る。

処理対象差分係数位置の差分係数値が１である場合は、処理対象差分係数位置の差分係数の絶対値を復号する（Ｓ５０３）。本手順を実行する場合は、差分係数値が０でないことが確定しており、符号化系列としては差分係数の絶対値から１を減じた値に対応した符号語が復号される。よって差分係数の絶対値としては符号語をエントロピー復号した値に１を加えた値を設定する。

本実施例は、復号済サブブロックの有意差分係数情報から、有意差分係数情報を復号するためのコンテキストインデックスを算出するものであるが、同様の手順を差分係数値のコンテキストインデックス算出に適用することも可能である。有意差分係数情報と同様、差分係数値は周辺係数値との相関、および低域成分への集中性を持つため、周辺有意差分係数和または周辺差分係数絶対値和が大きいときは、大きな差分係数値の発生確率が高いことを示すコンテキストインデックスを設定し、周辺有意差分係数和または周辺差分係数絶対値和が小さいときは、小さな差分係数値の発生確率が高いことを示すコンテキストインデックスを設定することにより、差分係数値を効率的に符号化できる。

以上述べた第１の実施例の画像符号化装置および画像復号装置は、以下の作用効果を奏する。

（１）処理対象差分係数の属するサブブロックに隣接した復号済みサブブロックに属する差分係数から処理対象差分係数のコンテキストインデックスを算出可能である。周辺有意差分係数和が大きいときは、有意差分係数情報１の発生確率を高く、周辺有意差分係数和が小さいときは、有意差分係数情報０の発生確率を高く推定するコンテキストを設定することにより、有意差分係数情報の周辺相関に基づいた適切な確率モデルの設定が可能である。したがって、有意差分係数情報を効率的に符号化できる。

（２）処理対象差分係数のサブブロック内の位置に基づきコンテキストインデックスを算出する。サブブロック内で低域にある差分係数は、サブブロック内で高域にある差分係数よりも有意差分係数１の発生確率を高く推定するコンテキストを設定する。有意差分係数情報の周波数領域上の性質に基づいた適切な確率モデルの設定が可能であり、有意差分係数情報を効率的に符号化できる。

（３）周辺有意差分係数和の算出およびサブブロック内の処理対象差分係数の位置は、サブブロック内の有意差分係数情報の復号結果に依存しない。よってサブブロック内のコンテキストインデックスの算出と有意差分係数情報の復号を並列的に処理をする構成をとることができるため、有意差分係数情報の復号処理に係る処理遅延を削減することができる。差分係数は符号化系列に対して占有する割合が高く、処理回数の多い有意差分係数情報の処理遅延を削減することにより、実時間処理に適した復号装置を実現できる。また、符号化装置においても同様に有意差分係数情報符号化の処理遅延を削減することができる。

（４）有意差分係数情報のコンテキストインデックス算出に係る周辺有意差分係数和、つまり有意サブブロック情報、有意差分係数情報、又は差分係数の絶対値の和に基づく算出結果は、処理対象差分係数の位置に依存しないため、サブブロックで１度算出するだけでよい。処理対象差分係数位置に応じて個別の周辺有意差分係数和を算出する構成と比べ、コンテキストインデックス算出に係る演算量を削減することができる。

以上述べた実施の形態の画像符号化装置が出力する画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する画像受信装置とが設けられる。

画像送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

５０１減算部、５０２直交変換・量子化部、５０３逆量子化・逆変換部、５０４加算部、５０５復号画像メモリ、５０６予測部、５０７差分情報符号化部、５０８予測情報符号化部、５０９モード判定部、７０１算術符号化部、７０２差分係数バッファ、７０３符号化制御部、７０４コンテキストメモリ、７０５走査制御部、７０６有意係数情報符号化制御部、７０７差分係数値符号化制御部、７０８有意サブブロック情報符号化制御部、８０１差分情報復号部、８０２逆量子化・逆変換部、８０３予測情報復号部、８０４加算部、８０５復号画像メモリ、８０６予測部、１００１算術復号部、１００２差分係数バッファ、１００３復号制御部、１００４コンテキストメモリ、１００５走査制御部、１００６有意係数情報復号制御部、１００７差分係数値復号制御部、１００８有意サブブロック情報復号制御部。

Claims

符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化装置であって、前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化部と、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化部と、
前記差分係数の値を符号化する差分係数値符号化部と、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出部と
を備えることを特徴とする画像符号化装置。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法であって、
前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、
前記差分係数の値を符号化する差分係数値符号化ステップと、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップと
を有することを特徴とする画像符号化方法。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化プログラムであって、
前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、
前記差分係数の値を符号化する差分係数値符号化ステップと、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップと
をコンピュータに実行させることを特徴とする画像符号化プログラム。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理部と、
パケット化された前記符号化データを送信する送信部とを備え、
前記画像符号化方法は、
前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、
前記差分係数の値を符号化する差分係数値符号化ステップと、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップと
を有することを特徴とする送信装置。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、
パケット化された前記符号化データを送信する送信ステップとを有し、
前記画像符号化方法は、
前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、
前記差分係数の値を符号化する差分係数値符号化ステップと、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップと
を有することを特徴とする送信方法。
符号化対象となる画像と予測対象となる画像との差分情報を、複数のサブブロックに分割して、分割した前記サブブロックを所定の順序で符号化する画像符号化方法により符号化された符号化ストリームをパケット化して符号化データを得るパケット処理ステップと、
パケット化された前記符号化データを送信する送信ステップとをコンピュータに実行させ、
前記画像符号化方法は、
前記サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報を符号化する有意サブブロック情報符号化ステップと、
前記差分係数の値がゼロであるか否かを示す有意差分係数情報を符号化する有意差分係数情報符号化ステップと、
前記差分係数の値を符号化する差分係数値符号化ステップと、
符号化対象となるサブブロックに属する差分係数の前記有意差分係数情報に基づかず、符号化対象となるサブブロックの右側と下側に隣接する符号化済みのサブブロックに属し、かつ符号化対象となるサブブロックに隣接する有意差分係数情報の和に基づいて、前記符号化対象となるサブブロックの前記有意差分係数情報を符号化するためのコンテキストを導出するコンテキスト導出ステップと
を有することを特徴とする送信プログラム。