JP4659005B2 - テクスチャ合成に基づく動画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体 - Google Patents

Description

本発明は，高能率画像信号符号化方法および復号方法に関し，特に主観画質の保持および波形忠実度の保持という２つの利点を画像特性に応じて使い分けることを可能にしたテクスチャ合成に基づく動画像符号化，復号方法に関する。

ＡＶＣやＪＳＶＣ［非特許文献１参照］においては，フレーム内予測，フレーム間予測および階層間予測によって予測信号を生成し，予測信号と原信号の残差信号を符号化対象としている。こうした従来法では，原信号波形の正確な再現を目的としている。しかし，これらの予測処理では，構造上，ある一定以上の高周波成分を予測することは不可能である。このため，高周波成分を多く含む画像に対しては，予測性能は低下する。例えば，このような予測性能の低下は，フレーム間予測の場合，剛体移動モデルの成立しない水面等のシーンにおいて顕著であり，フレーム内予測・階層間予測の場合，精細な絵柄のテクスチャ領域において顕著となる。

これに対し，テクスチャ合成と呼ばれる手法が検討されている。テクスチャ合成では，原信号の正確な波形再現を追求するのではなく，原信号のテクスチャの特徴量を再現対象とする点が異なる。テクスチャ合成の方法としては，例えば，非特許文献２において提案されている方法がある。この方法では，テクスチャ合成処理の入力として，Steerable pyramid と呼ぶ方向性フィルタバンクの出力として得られた係数のヒストグラムをテクスチャの特徴量として用いる。テクスチャ合成によって生成された信号は，波形再現という観点からは原信号との類似度は保証されないが，主観的には原信号に近い画質の信号を得ることができる。このため，テクスチャ合成の動画像符号化への適用が期待される。

また，非特許文献３には，Ｈ．２６４の参照ソフトウェアであるＪＭが記載されている。
H.Schwarz ，and D.Marpe ，and T.Wiegand ，Overview of the Scalable H.264/MPEG4-AVC Extension，IEEE International Conference on Image Processing （ICIP’06），Atlanta ，GA，USA ，October 2006． D.Heeger，and J.Bergen，Pyramid-Based Texture Analysis/Synthesis. Proc ACM SIGGRAPH 95，1995． K.P.Lim and G.Sullivan and T.Wiegand，Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team （JVT ）of ISO/IEC MPEG and ITU-T VCEG，JVT-R95 ，Jan.，2006.

以下では，フレームをブロックに分割し，ブロック毎にインター予測，イントラ予測，階層間予測（スケーラブル符号化の場合），テクスチャ合成を適応的に切り替える動画像符号化方式を検討する。ここで，テクスチャ合成により生成したブロックを「テクスチャ合成ブロック」と呼び，インター予測，イントラ予測，および階層間予測に対する予測残差を符号化し復号信号を得るブロックを「波形再現ブロック」と呼ぶ。

テクスチャ合成を動画像符号化へ適用した場合，テクスチャ合成ブロックと波形再現ブロックが，同一フレーム内に混在することになり，テクスチャ合成ブロックの復号信号が波形再現ブロックの復号信号を劣化させる事態を招く。例を図１を用いて示す。

図１では，フレーム間予測の参照ブロック内にテクスチャ合成ブロックと波形再現ブロックが混在する場合を示している。第ｔ−１フレーム内の（１）で示した網掛け領域は，テクスチャ合成ブロックの一部であり，第ｔ−１フレーム内の（２）で示した白色領域は，波形再現ブロックの一部である。（１）で示した網掛け領域は，第ｔフレーム内の被予測ブロックに対して波形レベルの相関は低く，フレーム間予測により予測残差を低減できる可能性は低い。このため，従来のＡＶＣやＪＳＶＣ等におけるフレーム間予測の機構を用いたのでは，予測残差が逆に増加してしまい，符号化効率が低下する可能性がある。

別の例を図２を用いて示す。図２において，第ｔ−１フレーム内の（３）で示した網掛け領域は，テクスチャ合成ブロックの一部であり，第ｔ−１フレーム内の（１）（２）で示した白色領域は，波形再現ブロックの一部である。ＡＶＣやＪＳＶＣといったブロックベースの符号化方式では，隣接ブロック間におけるブロック歪みを抑圧するため，ブロック境界に対してデブロッキングフィルタが施される。つまり，波形再現ブロックのブロック境界部の信号が，テクスチャ合成ブロックの信号と線形加重されることになる。こうしたフィルタ処理により，波形再現ブロックのブロック境界部において，復号信号の再現性が劣化する（ＰＳＮＲが低下する）可能性がある。

本発明はかかる事情に鑑みてなされたものであって，テクスチャ合成に基づく動画像符号化において，同一フレーム内にテクスチャ合成ブロックと波形再現ブロックが混在することにより，波形再現ブロックのＰＳＮＲが低下するのを回避するための適応処理を確立することを目的とする。

［テクスチャ合成ブロックの参照方法］
フレーム間予測における参照領域にテクスチャ合成ブロックと波形再現ブロックとが混在する場合，ブロックの種類に応じて，以下のような適応処理を行う。テクスチャ合成ブロックに含まれる領域を参照する場合，参照信号を符号化対象フレームの被予測ブロック内の当該画素の復号信号とする。つまり，予測信号に予測残差を付加しない。一方，波形再現ブロックに含まれる領域を参照する場合，参照信号と原信号との差分情報を予測残差信号として符号化する。なお，参照ブロック内のテクスチャ合成ブロック・波形再現ブロックの識別は，参照フレーム内の符号化情報により可能であるため，この識別のための新たな付加情報を加える必要はない。

［テクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法］
テクスチャ合成ブロックと波形再現ブロックが隣接する場合，テクスチャ合成ブロックに隣接する波形再現ブロックのブロック境界に対して，デブロッキングフィルタ処理後の信号は，当該フレームの復号信号としてのみ使用し，後続フレームの参照信号としては，デブロッキングフィルタ処理前の信号を用いる。

本発明によりテクスチャ合成に基づく動画像符号化において，同一フレーム内にテクスチャ合成ブロックと波形再現ブロックが混在することにより，波形再現ブロックのＰＳＮＲが低下するのを回避することが可能となる。この結果，テクスチャ合成に基づく主観画質の保持と，予測残差の再現に基づく波形忠実度の保持の利点を，画像の特性に応じて使い分けることが可能となる。

［フローチャート（テクスチャ合成ブロックの参照方法）］
本発明の［テクスチャ合成ブロックの参照方法］の実施形態について，図３に示す符号化処理の流れに従って説明する。

ステップＳ１０１：符号化対象の当該フレームに対して参照フレームとなり得るすべてのフレームに対して，同フレーム内の各ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）を同フレームの復号処理後も各ブロックのフレーム内の空間位置情報とともに，レジスタに保持しておく。

ステップＳ１０２：当該フレーム内の当該ブロックの信号（当該ブロック信号と呼ぶ），参照フレームの候補となるフレーム（複数フレーム可）内の信号を入力として，フレーム間の動き推定処理を行い，フレーム間の対応付けを示す動きベクトル，参照フレームを指定する情報（参照フレームインデックスと呼ぶ）を算出する処理を行い，レジスタに書き出す。なお，当該ブロックをサブブロックに分割し，各サブブロック毎にフレーム間の動き推定処理を行う場合には，サブブロック毎に動きベクトル，参照フレームインデックスを算出し，ブロックの分割を表す情報とともに，レジスタに書き出す。これらパラメータの具体的な推定方法は，外部から与えられるものとする。例えば，Ｈ．２６４の参照ソフトであるＪＭ［非特許文献３参照］，ＪＳＶＣの参照ソフトであるＪＳＶＭが使用している推定方法を用いる。

ステップＳ１０３：ステップＳ１０１で出力したモード情報，ステップＳ１０２で出力した動きベクトル，参照フレームインデックスを入力として読み込み，参照ブロック内に含まれるモード情報をレジスタに書き出す。

ステップＳ１０４：ステップＳ１０３で読み込んだモード情報を入力として，参照ブロック内にテクスチャ合成ブロックが含まれるか否かの判定処理を行い，含まれる場合には，ステップＳ１０５の処理に移り，そうでなければ，ステップＳ１０９の処理に移る。

ステップＳ１０５：ステップＳ１０３で出力したモード情報を入力として，参照ブロック内の各画素位置について，波形再現ブロックに属する画素位置には１を，テクスチャ合成ブロックに属する画素位置には０を割り当てた二値の二次元マトリクスを，画素クラスマップとして，レジスタに書き出す。

ステップＳ１０６：ステップＳ１０５で出力した画素クラスマップ，当該ブロック信号，参照ブロックの信号（参照ブロック信号と呼ぶ）を入力として，画素クラスマップが１となる位置の画素に対して，当該ブロック信号と参照ブロック信号との差分信号として予測残差信号を生成する処理を行い，同差分信号を予測残差信号としてレジスタに書き出す。

ステップＳ１０７：ステップＳ１０５で出力した画素クラスマップ，当該ブロック信号，参照ブロックの信号（参照ブロック信号と呼ぶ）を入力として，画素クラスマップが０となる位置の画素に対して，予測残差信号を零値に設定するパディング処理を行い，予測残差信号としてレジスタに書き出す。

ステップＳ１０８：ステップＳ１０６もしくはＳ１０７で出力した予測残差信号を入力として，同予測残差信号に対して，直交変換，量子化およびエントロピ符号化を行い，符号化情報とする。

実質的に予測残差信号として符号化対象となるのは，参照ブロック内の波形再現ブロックに属する画素のみである点に本発明の特徴がある。

ステップＳ１０９：符号化対象ブロック，参照ブロックを入力として，両ブロックの差分信号を生成する処理を行い，同差分信号を予測残差信号としてレジスタに書き出す。

ステップＳ１１０：ステップＳ１０９で出力した予測残差信号を入力として，同予測残差信号に対して，直交変換，量子化およびエントロピ符号化を行い，符号化情報とする。

ステップＳ１１１：ステップＳ１０２〜Ｓ１１０の処理をフレーム内の全ブロックについて行う。

［フローチヤート（テクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法）］
本発明の［テクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法］の実施形態について図面（図４）を参照して説明する。

ステップＳ２０１：当該フレーム内の各ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）を，ブロックに対するフレーム内の空間位置情報とともに，レジスタに保持しておく。

ステップＳ２０２：当該ブロックの符号化情報を入力として，復号処理を行い，当該ブロックの局所復号画像を生成し，レジスタに書き出す。

ステップＳ２０３：ステップＳ２０２で出力した当該ブロックの局所復号画像を入力として読み込み，参照フレームバッファに書き出す。ここで，参照フレームバッファとは，後続フレームが当該フレームを参照する際，参照信号となる復号信号を格納するフレームバッファである。

ステップＳ２０４：ステップＳ２０２で出力した当該ブロックの局所復号画像を入力として読み込み，表示フレームバッファに書き出す。ここで，表示フレームバッファとは，表示機器に表示する復号画像を格納するフレームバッファである。

ステップＳ２０５：表示フレームバッファ内の信号を入力として，当該ブロックの信号に対して，デブロッキング処理を施し，デブロッキング処理後の信号を表示フレームバッファ内の当該ブロックの位置に上書きする。具体的なデブロッキング処理については，外部から与えられる。例えば，Ｈ．２６４やＪＳＶＣで規定されるデブロッキングフィルタを用いる。

ステップＳ２０６：ステップＳ２０１で出力したモード情報を入力として，当該ブロックが波形再現ブロックであるか否かの判定処理を行い，波形再現ブロックである場合，ステップＳ２０８の処理に移り，そうでなければステップＳ２０７の処理に移る。

ステップＳ２０７：参照フレームバッファ内の信号を入力として，当該ブロックの信号に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレームバッファ内の当該ブロックの位置に上書きする。なお，演算量を低減したい場合には，本処理はスキップすることも可能である。

ステップＳ２０８：ステップＳ２０１で出力したモード情報を入力として，当該ブロックの左側の隣接ブロックのモードが，テクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックである場合，ステップＳ２０９の処理をスキップし，そうでなければステップＳ２０９の処理に移る。

ステップＳ２０９：参照フレームバッファ内の信号を入力として，当該ブロックの左端のブロック境界に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレームバッファ内の該ブロック境界位置に上書きする。

ステップＳ２１０：ステップＳ２０１で出力したモード情報を入力として，当該ブロックの上側の隣接ブロックのモードが，テクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックである場合，ステップＳ２１１の処理をスキップし，そうでなければステップＳ２１１の処理に移る。

ステップＳ２１１：参照フレームバッファ内の信号を入力として，当該ブロックの上端のブロック境界に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレームバッファ内の該ブロック境界位置に上書きする。

ステップＳ２１２：ステップＳ２０２〜Ｓ２１１の処理をフレーム内の全ブロックについて行う。

［符号化装置（テクスチャ合成ブロックの参照方法）］
本発明の［テクスチャ合成ブロックの参照方法］の実施形態について，図５に符号化装置のブロック図を示す。

なお，本装置は，動画像符号化装置における予測処理部（図７の３１１），および，スケーラブル動画像符号化装置における予測処理部（図８の４１３および４２８）において用いられる。

参照フレーム記憶部１０１：符号化対象フレーム信号を符号化する際の予測信号の生成に使用する参照フレーム信号を記憶する。

当該フレーム記憶部１０２：符号化対象フレーム信号を記憶する。

動きベクトル推定処理部１０３：当該フレーム記憶部１０２から読み出した当該フレームの当該ブロックの信号，参照フレーム記憶部１０１から読み出した参照フレームの候補となるフレーム（複数フレーム可）の信号を入力として，フレーム間の動き推定処理を行い，フレーム間の対応付けを示す動きベクトル，参照フレームを指定する情報（参照フレームインデックス）を推定する処理を行い，推定結果を推定動きベクトル記憶部１０４に書き出す。なお，当該ブロックをサブブロックに分割し，各サブブロック毎にフレーム間の動き推定処理を行う場合には，サブブロック毎に動きベクトル，参照フレームインデックスを推定し，ブロックの分割を表す情報とともに，推定動きベクトル記憶部１０４に書き出す。具体的な推定方法は，外部から与えられるものとする。例えば，Ｈ．２６４の参照ソフトであるＪＭ，ＪＳＶＣの参照ソフトであるＪＳＶＭが使用している推定方法を用いる。

モード情報記憶部１０５：当該フレームに対して参照フレームとなり得るすべてのフレームに対して，同フレーム内の各ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）を，各ブロックのフレーム内の空間位置情報とともに格納しておく。

テクスチャ合成ブロック判定部１０６：モード情報記憶部１０５から読み込んだモード情報を入力として，参照ブロック内にテクスチャ合成ブロックが含まれるか否かの判定処理を行い，含まれる場合には，予測残差信号生成処理部１０７の処理に移る。このとき，参照フレーム記憶部１０１，当該フレーム記憶部１０２内のデータを予測残差信号生成処理部１０７への入力として読み込む制御信号を，予測残差信号生成処理部１０７へ送る。一方，テクスチャ合成ブロックが含まれない場合には，画素クラスマップ生成処理部１１０の処理に移る。このとき，参照フレーム記憶部１０１，当該フレーム記憶部１０２内のデータを画素クラスマップ生成処理部１１０への入力として読み込む制御信号を，画素クラスマップ生成処理部１１０へ送る。

予測残差信号生成処理部１０７：当該フレーム記憶部１０２から読み出した当該ブロック信号，参照フレーム記憶部１０１から読み出した参照ブロック信号を入力として，両信号の差分信号を生成する処理を行い，同差分信号を予測残差信号として予測残差信号記憶部１０８に書き出す。

予測残差信号符号化部１０９：予測残差信号記憶部１０８から読み出した予測残差信号を入力として，同予測残差信号に対して，直交変換，量子化およびエントロピ符号化を行い，符号化ストリーム記憶部１１５に書き出す。

画素クラスマップ生成処理部１１０：モード情報記憶部１０５から読み出したモード情報を入力として，符号化対象ブロック内の各画素位置について，波形再現ブロックに属する画素位置には１を，テクスチャ合成ブロックに属する画素位置には０を割り当てた二値の二次元マトリクスを画素クラスマップとして，画素クラスマップ記憶部１１１に書き出す。

予測残差信号生成処理部１１２：画素クラスマップ記憶部１１１から読み出した画素クラスマップ，当該フレーム記憶部１０２から読み出した当該ブロック信号，参照フレーム記憶部１０１から読み出した参照ブロック信号を入力として，画素クラスマップが１となる位置の画素に対して，原信号と参照信号との差分信号として予測残差信号を生成する処理を行い，さらに画素クラスマップが０となる位置の画素に対して，予測残差を零値に設定するパディング処理を行い，予測残差信号を予測残差信号記憶部１１３に書き出す。

予測残差信号符号化部１１４：予測残差信号記憶部１１３から読み出した予測残差信号を入力として，同予測残差信号に対して，直交変換，量子化およびエントロピ符号化を行い，符号化情報として，符号化ストリーム記憶部１１５に書き出す。

以上の処理をフレーム内の全ブロックについて行う。

［復号装置（テクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法）］
本発明の［テクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法］の実施形態について，図６に従って説明する。図６は，符号化装置の一部または復号装置を示すブロック図である。

なお，本装置は，復号装置において用いられるとともに，動画像符号化装置におけるデブロッキング処理部（図７の３０９），および，スケーラブル動画像符号化装置におけるデブロッキング処理部（図８の４１０および４２６）においても用いられる。

モード情報記憶部２０１：当該フレーム内の各ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）をブロックに対するフレーム内の空間位置情報とともに，レジスタに保持しておく。

復号処理部２０２：当該ブロックの符号化情報を入力として，復号処理を行い，当該ブロックの局所復号信号を生成し，当該フレーム記憶部２０３に書き出す。

デブロッキング処理部２０４：当該フレーム記憶部２０３から読み出した当該ブロックの局所復号信号を入力として，デブロッキング処理を施し，デブロッキング処理後の信号を表示フレーム記憶部２０５に書き出す。

参照フレーム記憶部２０６：当該フレーム記憶部２０３から読み出した当該ブロックの局所復号信号を書き出す。

波形再現ブロック判定部２０７：モード情報記憶部２０１で出力したモード情報を入力として，当該ブロックが波形再現ブロックであるか否かの判定処理を行い，波形再現ブロックである場合，デブロッキング処理部２０８の処理に移り，そうでなければ左隣接ブロック判定部２１０および上隣接ブロック判定部２１２の処理に移る。

デブロッキング処理部２０８：参照フレームバッファである参照フレーム記憶部２０６から読み出した信号を入力として，当該ブロックの信号に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレーム記憶部２０９に書き出す。なお，参照フレーム記憶部２０６と参照フレーム記憶部２０９は，同じ物理メモリ上のメモリであり，本処理は，参照フレーム記憶部２０６における当該ブロックのブロック境界部をデブロッキング処理後の画素値で上書きしたことにあたる。また，具体的なデブロッキング処理については，外部から与えられる。例えば，Ｈ．２６４やＪＳＶＣで規定されるデブロッキングフィルタを用いる。なお，演算量を低減したい場合には，本処理はスキップすることも可能である。

左隣接ブロック判定部２１０：モード情報記憶部２０１で出力したモード情報を入力として，当該ブロックの左側の隣接ブロックのモードが，テクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックでなければデブロッキング処理部２１１の処理に移る。

デブロッキング処理部２１１：参照フレーム記憶部２０６から読み出した参照フレームバッファ内の信号を入力として，当該ブロックの左端のブロック境界に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレーム記憶部２０９に書き出す。

上隣接ブロック判定部２１２：モード情報記憶部２０１で出力したモード情報を入力として，当該ブロックの上側の隣接ブロックのモードが，テクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックでなければ，デブロッキング処理部２１３の処理に移る。

デブロッキング処理部２１３：参照フレーム記憶部２０６から読み出した参照フレームバッファ内の信号を入力として，当該ブロックの上端のブロック境界に対して，デブロッキング処理を施し，デブロッキング処理後の信号を参照フレーム記憶部２０９に書き出す。

以上の処理をフレーム内の全ブロックについて行う。

図７は，本発明を適用する動画像符号化装置の例を示すブロック図である。図３および図５で説明したテクスチャ合成ブロックの参照方法は，図７の予測処理部３１１で用いられる。また，図４および図６で説明したテクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法は，図７のデブロッキング処理部３０９で用いられる。図７に示す動画像符号化装置の基本的な機能および動作は，予測処理部３１１とデブロッキング処理部３０９の部分を除き，よく知られている動画像符号化装置と同様である。

階層分離器３０１：入力画像の符号化対象フレームを入力として，空間解像度の異なる階層に分離し，各階層の信号を各々，符号化対象とする。

変換部３０２：階層分離器３０１の出力と予測信号との差分の信号を入力とし，例えば離散コサイン変換処理などの変換処理を行い，算出された変換係数を変換係数記憶部３０３へ書き出す。

量子化部３０４：変換係数記憶部３０３から読み出した変換係数を入力とし，量子化処理を行い，量子化値を量子化値記憶部３０５へ書き出す。

逆量子化部３０６：量子化値記憶部３０５から読み出した量子化値を入力とし，逆量子化処理を行い，逆量子化値記憶部３０７へ書き出す。

逆変換部３０８：逆量子化値記憶部３０７から読み出した変換係数を入力とし，逆変換処理を行い，デブロッキング処理部３０９へ送る。

デブロッキング処理部３０９：図４および図６で説明したデブロッキング処理を実行し，結果をローカル復号信号記憶部３１０へ書き出す。

予測処理部３１１：ローカル復号信号記憶部３１０から読み出したローカル復号画像と遅延器３１３の出力との加算値を入力とし，図３および図５で説明したテクスチャ合成ブロックの参照方法を用いた予測処理を含む予測処理を行い，予測信号記憶部４１２に書き出す。

遅延器３１３：予測信号記憶部３１２から読み出した予測信号を，１フレーム分遅延させる。

エントロピ符号化部３１４は，量子化値記憶部３０５から読み出した量子化値を入力とし，エントロピ符号化処理を行い，符号化結果を符号化ストリームとして出力する。

図８は，本発明を適用するスケーラブル動画像符号化装置の例を示すブロック図である。図８中，４０は基本階層符号化部であり，４１は拡張階層符号化部である。図３および図５で説明したテクスチャ合成ブロックの参照方法は，図８の予測処理部４１３および予測処理部４２８で用いられる。また，図４および図６で説明したテクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法は，図８のデブロッキング処理部４１０およびデブロッキング処理部４２６で用いられる。図８に示すスケーラブル動画像符号化装置の基本的な機能および動作は，予測処理部４１３，４２８とデブロッキング処理部４１０，４２６の部分を除き，よく知られているスケーラブル動画像符号化装置と同様である。

階層分離器４０１：入力画像の符号化対象フレームを入力として，空間解像度の異なる階層に分離し，各階層の信号を各々，符号化対象として，特に基本階層の信号は基本階層符号化部４０へ送り，拡張階層の信号は，拡張階層信号記憶部４０２に書き出す。

変換部４０３：階層分離器４０１の出力である基本階層の信号と予測信号との差分の信号を入力とし，例えば離散コサイン変換処理などの変換処理を行い，算出された変換係数を変換係数記憶部４０４へ書き出す。

量子化部４０５：変換係数記憶部４０４から読み出した変換係数を入力とし，量子化処理を行い，量子化値を量子化値記憶部４０６へ書き出す。

逆量子化部４０７：量子化値記憶部４０６から読み出した量子化値を入力とし，逆量子化処理を行い，逆量子化値記憶部４０８へ書き出す。

逆変換部４０９：逆量子化値記憶部４０８から読み出した変換係数を入力とし，逆変換処理を行い，デブロッキング処理部４１０へ送る。

デブロッキング処理部４１０：図４および図６で説明したデブロッキング処理を実行し，結果をローカル復号信号記憶部４１２へ書き出す。

予測処理部４１３：ローカル復号信号記憶部４１２から読み出したローカル復号画像と遅延器４１５の出力との加算値を入力とし，図３および図５で説明したテクスチャ合成ブロックの参照方法を用いた予測処理を含む予測処理を行い，予測信号記憶部４１４に書き出す。また，予測処理の結果を階層間予測処理部４１８へ送る。

遅延器４１５：予測信号記憶部４１４から読み出した予測信号を，１フレーム分遅延させる。

エントロピ符号化部４１６は，量子化値記憶部４０６から読み出した量子化値を入力とし，エントロピ符号化処理を行い，符号化結果を符号化ストリーム記憶部４１７に書き出す。

階層間予測処理部４１８：基本階層の復号信号をアップサンプリングした信号などを用いて階層間予測処理を行う。

拡張階層符号化部４１における変換部４１９から符号化ストリーム記憶部４３２までの処理は，基本階層符号化部４０における変換部４０３から符号化ストリーム記憶部４１７までの処理と同様である。

多重化器４３３：符号化ストリーム記憶部４１７および符号化ストリーム記憶部４３２から読み出した符号化ストリームを多重化する処理を行い，スケーラブル符号化結果として出力する。

［フローチャート（復号処理におけるテクスチャ合成ブロックの参照方法）］
復号処理における［テクスチャ合成ブロックの参照方法］の実施形態について，図９に示す復号処理の流れに従って説明する。

ステップＳ３０１：まず，復号対象となっている現ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）を復号し，レジスタに保持する。

ステップＳ３０２：ステップＳ３０１で復号したモード情報を入力として，現ブロックがテクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックである場合にはステップＳ３０３の処理に移り，そうでなければ，ステップＳ３０５の処理に移る。

ステップＳ３０３：現ブロックがテクスチャ合成ブロックである場合，当該フレームの当該ブロックの画素位置に対応する画素クラスマップに０を書き出す。

ステップＳ３０４：非特許文献２に記載されているようなテクスチャ合成処理によって復号信号を得る。その後，ステップＳ３１５に進む。なお，テクスチャ合成処理に必要となるテクスチャの特徴量を示すパラメータは，符号化ストリームから与えられるものとする。

ステップＳ３０５：現ブロックがテクスチャ合成ブロックでない場合，当該フレームの当該ブロックの画素位置に対応する画素クラスマップに１を書き出す。

ステップＳ３０６：現ブロックの予測残差信号を復号する。

ステップＳ３０７：現ブロックがインターブロックであるか否かの判定処理を行い，インターブロックである場合にはステップＳ３０８の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。

ステップＳ３０８：動きベクトルおよび参照フレームインデックスを復号する。

ステップＳ３０９：ステップＳ３０８で復号した参照フレームインデックスが示す参照フレームの参照信号を参照フレームバッファから読み込む。

ステップＳ３１０：参照ブロック位置の画素クラスマップを読み込む。

ステップＳ３１１：参照ブロック内の画素クラスマップに零値が含まれるか否かの判定処理を行い，零値が含まれる場合にはステップＳ３１２の処理に移り，そうでなければ，ステップＳ３１３の処理に移る。

ステップＳ３１２：画素クラスマップが１となる画素位置に対して，予測残差信号と参照信号を加算する。

ステップＳ３１３：画素クラスマップに零値が含まれない場合，現ブロックの予測残差信号と参照信号を加算する。

ステップＳ３１４：現ブロックがイントラブロックの場合，Ｈ．２６４が規定する復号処理を行う。

ステップＳ３１５：：ステップＳ３０１〜Ｓ３１４の処理をフレーム内の全ブロックについて行う。

［復号装置（テクスチャ合成ブロックの参照方法）］
復号装置における［テクスチャ合成ブロックの参照方法］の実施形態について，図１０に示す復号装置のブロック図に従って説明する。

符号化ストリーム記憶部５０１：図５に示す符号化装置によって符号化された符号化ストリームを入力し，記憶する。

モード情報復号部５０２：復号対象となっている現ブロックのモード情報（テクスチャ合成ブロック，波形再現ブロックの別を表す情報）を復号し，モード情報記憶部５０３に記憶する。

テクスチャ合成ブロック判定部５０４：モード情報記憶部５０３が記憶するモード情報を読み込み，現ブロックがテクスチャ合成ブロックであるか否かの判定処理を行い，テクスチャ合成ブロックである場合には，テクスチャ合成処理部５０７の処理を実行し，そうでなければ，インターブロック判定部５０８の処理を実行するように制御を切り替える。また，現ブロックがテクスチャ合成ブロックであるか否かの情報を，画素クラスマップ生成処理部５０５へ渡す。

画素クラスマップ生成処理部５０５：現ブロックがテクスチャ合成ブロックである場合，当該フレームの当該ブロックの画素位置に対応する画素クラスマップ記憶部５０６内の画素クラスマップに０を書き出し，そうでない場合，当該フレームの当該ブロックの画素位置に対応する画素クラスマップ記憶部５０６内の画素クラスマップに１を書き出す。

テクスチャ合成処理部５０７：非特許文献２に記載されているようなテクスチャ合成処理によってテクスチャを合成した復号信号を得て，復号信号記憶部５１５に書き出す。

インターブロック判定部５０８：現ブロックがインターブロックであるか否かの判定処理を行い，インターブロックでない場合には，イントラ復号処理部５１４の処理に移り，インターブロックである場合には，予測残差信号復号部５０９および推定動きベクトル復号部５１１の処理に移る。

予測残差信号復号部５０９：現ブロックの予測残差信号を復号し，予測残差信号記憶部５１０に格納する。

推定動きベクトル復号部５１１：動きベクトルおよび参照フレームインデックスを復号し，推定動きベクトル記憶部５１２に格納する。

適応加算処理部５１３：推定動きベクトル記憶部５１２中の参照フレームインデックスが示す参照フレームの参照信号を参照フレーム記憶部５１６から読み込むとともに，画素クラスマップ記憶部５０６から参照ブロック位置の画素クラスマップを読み込み，画素クラスマップが１となる画素位置に対して，予測残差信号記憶部５１０から読み出した予測残差信号と参照フレーム記憶部５１６から読み出した参照信号を加算し，復号信号記憶部５１５に書き出す。画素クラスマップが０となる画素位置に対しては，参照フレーム記憶部５１６から読み出した参照信号を復号信号記憶部５１５に書き出す。

イントラ復号処理部５１４：現ブロックがイントラブロックの場合，Ｈ．２６４が規定する復号処理を行い，復号信号を復号信号記憶部５１５に書き出す。

以上説明したテクスチャ合成ブロックの参照方法およびテクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキング方法で用いる画素クラスマップについて，説明を補足する。

画素クラスマップは，フレーム内の画素の属性（波形再現ブロックまたはテクスチャ合成ブロックのいずれに属するかを示す情報）を記録したテーブルである。各フレームの符号化時，復号時に生成する。

参照ブロックに波形再現ブロックおよびテクスチャ合成ブロックが混在した場合の対処方法は，以下のとおりである。参照ブロックに対する画素クラスマップを読み込み，各画素ごとに波形再現ブロックに属する画素とテクスチャ合成ブロックに属する画素とで復号処理を適応的に変化させる。また，参照フレームに対する画素クラスマップは，符号化装置および復号装置において，共通のルールで生成可能であるため，符号化情報として画素クラスマップのための付加情報は不要である。

以上のテクスチャ合成ブロックの参照およびテクスチャ合成ブロックに隣接する波形再現ブロックのデブロッキングの処理を含む動画像符号化または動画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

参照ブロック内にテクスチャ合成ブロックと波形再現ブロックの領域が混在する場合の例を説明する図である。 テクスチャ合成ブロックと波形再現ブロックが隣接する場合の例を説明する図である。 参照ブロック内の適応処理に関する実施形態の符号化処理の流れを示す図である。 テクスチャ合成ブロックに隣接する波形再現ブロックの適応デブロッキングフィルタ処理の流れを示す図である。 参照ブロック内の適応処理に関する実施形態の符号化装置を示すブロック図である。 適応デブロッキングフィルタ処理に関する実施形態の符号化装置の一部または復号装置を示す図である。 本発明を適用する動画像符号化装置の例を示すブロック図である。 本発明を適用するスケーラブル動画像符号化装置の例を示すブロック図である。 参照ブロック内の適応処理に関する実施形態の復号処理の流れを示す図である。 参照ブロック内の適応処理に関する実施形態の復号装置を示すブロック図である。

符号の説明

１０１ 参照フレーム記憶部
１０２ 当該フレーム記憶部
１０３ 動きベクトル推定処理部
１０４ 推定動きベクトル記憶部
１０５ モード情報記憶部
１０６ テクスチャ合成ブロック判定部
１０７ 予測残差信号生成処理部
１０８ 予測残差信号記憶部
１０９ 予測残差信号符号化部
１１０ 画素クラスマップ生成処理部
１１１ 画素クラスマップ記憶部
１１２ 予測残差信号生成処理部
１１３ 予測残差信号記憶部
１１４ 予測残差信号符号化部
１１５ 符号化ストリーム記憶部

Claims (11)

1. フレームをブロックに分割し，各ブロック毎にテクスチャ合成による波形合成および予測残差に対する波形再現が混在する動画像の符号化を行う動画像符号化方法であって，
   フレーム間予測における符号化対象ブロックが参照する参照領域に，前記テクスチャ合成による波形合成に係るテクスチャ合成ブロックと，前記予測残差に対する波形再現に係る波形再現ブロックとが混在する場合に，
   前記波形再現ブロックに含まれる領域を参照する画素部分は，参照信号と符号化対象の原信号との差分情報を予測残差信号として符号化し，
   前記テクスチャ合成ブロックに含まれる領域を参照する画素部分は，参照信号が符号化対象フレームの被予測ブロック内の当該画素の復号信号となるように予測残差信号を０として符号化する
   ことを特徴とするテクスチャ合成に基づく動画像符号化方法。
2. 請求項１記載のテクスチャ合成に基づく動画像符号化方法において，
   前記テクスチャ合成ブロックと前記波形再現ブロックとが隣接する場合，前記テクスチャ合成ブロックに隣接する前記波形再現ブロックのブロック境界に対して，デブロッキングフィルタ処理後の信号は，当該フレームの復号信号としてのみ使用し，後続フレームの参照信号としては，デブロッキングフィルタ処理前の信号を用いる
   ことを特徴とするテクスチャ合成に基づく動画像符号化方法。
3. 請求項１記載のテクスチャ合成に基づく動画像符号化方法により出力された符号化ストリームを復号する動画像復号方法であって，
   フレーム間予測における復号対象ブロックが参照する参照領域に，前記テクスチャ合成による波形合成に係るテクスチャ合成ブロックと，前記予測残差に対する波形再現に係る波形再現ブロックとが混在する場合に，
   前記波形再現ブロックに含まれる領域を参照する画素部分は，復号した予測残差信号に参照信号を加算した信号を，復号対象フレームの被予測ブロック内の当該画素の復号信号とし，
   前記テクスチャ合成ブロックに含まれる領域を参照する画素部分は，参照信号を復号対象フレームの被予測ブロック内の当該画素の復号信号とする
   ことを特徴とするテクスチャ合成に基づく動画像復号方法。
4. 請求項３記載のテクスチャ合成に基づく動画像復号方法において，
   前記テクスチャ合成ブロックと前記波形再現ブロックとが隣接する場合，前記テクスチャ合成ブロックに隣接する前記波形再現ブロックのブロック境界に対して，デブロッキングフィルタ処理後の信号は，当該フレームの復号信号としてのみ使用し，後続フレームの参照信号としては，デブロッキングフィルタ処理前の信号を用いる
   ことを特徴とするテクスチャ合成に基づく動画像復号方法。
5. フレームをブロックに分割し，各ブロック毎にテクスチャ合成による波形合成および予測残差に対する波形再現が混在する動画像の符号化を行う動画像符号化装置であって，
   フレーム間予測における符号化対象ブロックが参照する参照領域に，前記テクスチャ合成による波形合成に係るテクスチャ合成ブロックと，前記予測残差に対する波形再現に係る波形再現ブロックとが混在する場合に，
   前記波形再現ブロックに含まれる領域を参照する画素部分は，参照信号と符号化対象の原信号との差分情報を予測残差信号として符号化する手段と，
   前記テクスチャ合成ブロックに含まれる領域を参照する画素部分は，参照信号が符号化対象フレームの被予測ブロック内の当該画素の復号信号となるように予測残差信号を０として符号化する手段とを備える
   ことを特徴とするテクスチャ合成に基づく動画像符号化装置。
6. 請求項５記載のテクスチャ合成に基づく動画像符号化装置により出力された符号化ストリームを復号する動画像復号装置であって，
   フレーム間予測における復号対象ブロックが参照する参照領域に，前記テクスチャ合成による波形合成に係るテクスチャ合成ブロックと，前記予測残差に対する波形再現に係る波形再現ブロックとが混在する場合に，
   前記波形再現ブロックに含まれる領域を参照する画素部分は，復号した予測残差信号に参照信号を加算した信号を，復号対象フレームの被予測ブロック内の当該画素の復号信号とする手段と，
   前記テクスチャ合成ブロックに含まれる領域を参照する画素部分は，参照信号を復号対象フレームの被予測ブロック内の当該画素の復号信号とする手段とを備える
   ことを特徴とするテクスチャ合成に基づく動画像復号装置。
7. 請求項６記載のテクスチャ合成に基づく動画像復号装置において，
   フレーム間予測において復号対象フレームが参照する参照フレームを記憶する参照フレーム記憶手段と，
   復号信号に対してデブロッキングフィルタ処理を行うデブロッキング処理手段と，
   復号信号が波形再現ブロックの信号であり，そのブロックが前記テクスチャ合成ブロックと隣接する場合，前記テクスチャ合成ブロックに隣接する前記波形再現ブロックのブロック境界に対して，前記デブロッキング処理手段によるデブロッキングフィルタ処理後の信号は，当該フレームの復号信号としてのみ使用し，前記参照フレーム記憶手段に格納する信号は，デブロッキングフィルタ処理前の信号とする復号処理手段を備える
   ことを特徴とするテクスチャ合成に基づく動画像復号装置。
8. 請求項１または請求項２記載のテクスチャ合成に基づく動画像符号化方法を，コンピュータに実行させるためのテクスチャ合成に基づく動画像符号化プログラム。
9. 請求項３または請求項４記載のテクスチャ合成に基づく動画像復号方法を，コンピュータに実行させるためのテクスチャ合成に基づく動画像復号プログラム。
10. 請求項８記載のテクスチャ合成に基づく動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 請求項９記載のテクスチャ合成に基づく動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images