JP5650294B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムに関する。

動画像データの符号化には、例えばＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）勧告の国際標準規格であるＨ．２６４動画像符号化方式が用いられる。Ｈ．２６４動画像符号化方式に関する技術は、例えば、下記非特許文献１等に開示されている。

上記のＨ．２６４動画像符号化方式においては、動き補償を行い動きベクトルを符号化することで動画像フレーム間の冗長を削減し、情報量を削減している。この手法においては、一つの動きベクトルによって動き補償できる領域を小さくすることにより細かな動きにも対応できフレーム間予測の予測精度が高まる。その反面、動きベクトルの数が増え情報量が膨大になるため、これを抑制する必要がある。従来から、動きベクトルの数を減らしつつ予測精度を上げる方法として、下記特許文献１に記載されたような手法が提案されている。

特開平２−６２１８０号公報

角野他，「Ｈ．２６４／ＡＶＣ教科書 インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，２００４年

しかしながら、上記特許文献１に記載された手法においても、動きベクトルが必要であることには変わりなく、動きベクトルを符号化することを余儀なくされていた。このような状況から、更に圧縮効率を向上させた動画像データの符号化方法が求められていた。

本発明は、上記事情に鑑みてなされたものであり、動きベクトルを用いてフレーム間予測を行って符号化を行う場合よりも更に効率的な符号化を可能とする動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムを提供することを可能とする。

本発明に係る動画像符号化装置は、動画像データをブロック単位で符号化する動画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化装置では、符号化対象ブロックと所定の位置関係で隣接すると共に再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックが生成される。この予測ブロックを用いて符号化を行う。即ち、本発明に係る動画像符号化装置によれば、動きベクトルを用いることなく予測信号である予測ブロックを生成することができ効率的な符号化を可能とする。

本発明に係る動画像符号化装置は、動画像データをブロック単位で符号化する動画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。この構成によれば、テンプレートと相関が高い画素群を再生済み動画像データから探索して、探索された画素群と、上記の所定の位置関係とに基づいて予測ブロックが決定される。従って、確実に予測ブロックを決定することができ、確実に本発明を実施することができる。

動画像符号化装置は、テンプレートと記憶手段により記憶された再生済み動画像データとを比較して、当該比較結果に基づき符号化対象ブロックの画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて、符号化対象ブロックを更に分割して当該分割された符号化対象ブロックを新たな符号化対象ブロックとして設定すると共に当該新たな符号化対象ブロックに対するテンプレートを設定する設定手段と、を更に備えることが好ましい。この構成によれば、予測ブロックのサイズを再生画像データの空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激しい動画像データの符号化においても符号化効率が向上する。また、テンプレート領域と予測領域の形状とサイズを信号の特長に応じて変更することにより、予測信号の予測性能が向上する。

本発明に係る動画像復号装置は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測ブロックを生成して、動画像を復号することができる。即ち、本発明に係る動画像復号装置によれば、上記の動画像符号化装置により効率的な符号化がされた動画像データを正しく復号することができる。

本発明に係る動画像復号装置は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

動画像復号装置は、テンプレートと記憶手段により記憶された再生済み動画像データとを比較して、当該比較結果に基づき復号対象ブロックの画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて、復号対象ブロックを更に分割して当該分割された復号対象ブロックを新たな復号対象ブロックとして設定すると共に当該新たな復号対象ブロックに対するテンプレートを設定する設定手段と、を更に備えることが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

符号化手段は、差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックとして生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことが好ましい。この構成によれば、符号化対象の縮小差分ブロックを画素数の少ないものにできるので、強い特徴を持つ領域に対して予測性能が低い平坦領域について、画質を低下させずに予測信号の符号量を効率よく低減できる。

復号手段は、符号化データを復号することにより、差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

本発明に係る動画像符号化装置は、動画像データをブロック単位で符号化する動画像符号化装置であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化装置では、符号化対象ブロックと所定の位置関係で隣接すると共に再生済み動画像データに属する再生信号から、符号化対象ブロックの予測信号である予測ブロックが生成される。更に、予測ブロックから、上記の差分ブロックよりも画素数の少ない符号化対象の縮小差分ブロックを生成する。即ち、本発明に係る動画像符号化装置によれば、符号化対象の縮小差分ブロックを画素数の少ないものにできるので、強い特徴を持つ領域に対して予測性能が低い平坦領域について、画質を低下させずに予測信号の符号量を効率よく低減できる。

本発明に係る動画像復号装置は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、復号手段は、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

符号化手段は、符号化対象ブロック及び予測ブロックに縮小処理を適用してそれぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロックから当該縮小予測ブロックを画素単位で減算して縮小差分ブロックを生成し、再生画像生成手段は、符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、当該復号縮小差分ブロックと縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成する、ことが好ましい。この構成によれば、符号化対象の縮小差分ブロックを確実に生成することができるので、本発明を確実に実施することができる。

符号化手段は、差分ブロックに対して縮小処理を適用することにより縮小差分ブロックを生成し、再生画像生成手段は、符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと予測ブロックとを画素単位で加算して復号ブロックを生成する、ことが好ましい。この構成によれば、符号化対象の縮小差分ブロックを確実に生成することができるので、本発明を確実に実施することができる。

再生画像生成手段は、予測ブロックに縮小処理を適用して縮小予測ブロックとし、復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成することが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

再生画像生成手段は、復号縮小差分ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと予測ブロックとを画素単位で加算して復号ブロックを生成することが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

予測信号決定手段は、形状の異なる複数のテンプレートから１つのテンプレートを選択することが好ましい。この構成によれば、効率的に予測ブロックを生成することができ、符号化処理の効率を向上させることができる。

予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、１つのテンプレートを選択することが好ましい。この構成によれば、適切にテンプレートを選択することができる。

符号化手段は、予測信号決定手段により選択されたテンプレートを特定する情報を符号化することが好ましい。この構成によれば、動画像復号装置におけるテンプレートの選択を容易にして、より効率的な復号を行わせることができる。

予測信号決定手段は、形状の異なる複数のテンプレートから１つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、１つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

復号手段は、選択されるテンプレートを特定する情報を復号して、予測信号決定手段は、復号手段により復号された選択されるテンプレートを特定する情報を参照して、形状の異なる複数のテンプレートから１つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明として記述できる他に、以下のように動画像符号化方法、動画像符号化プログラム、動画像復号方法及び動画像復号プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

本発明に係る動画像符号化方法は、動画像データをブロック単位で符号化する動画像符号化装置における動画像符号化方法であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、符号化ステップにおいて、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成ステップにおいて、符号化ステップにおいて符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化方法は、動画像データをブロック単位で符号化する動画像符号化装置における動画像符号化方法であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶ステップにおいて記憶された再生済み動画像データから探索する探索ステップと、探索ステップにおいて探索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶ステップにおいて記憶された再生済み動画像データから決定する予測信号決定ステップと、を有し、符号化ステップにおいて、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成ステップにおいて、符号化ステップにおいて符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号方法は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおいて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復号ステップにおいて、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成ステップにおいて、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号方法は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおいて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶ステップにおいて記憶された再生済み動画像データから探索する探索ステップと、探索ステップにおいて探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶ステップにおいて記憶された再生済み動画像データから決定する予測信号決定ステップと、を有し、復号ステップにおいて、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成ステップにおいて、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化方法は、動画像データをブロック単位で符号化する動画像符号化装置における動画像符号化方法であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、符号化ステップにおいて、符号化対象ブロックから予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成ステップにおいて、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号方法は、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおいて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復号ステップにおいて、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、再生画像生成ステップにおいて、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化プログラムは、動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符号化プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化プログラムは、動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符号化プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段として機能させ、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号プログラムは、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号プログラムは、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段として機能させ、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化プログラムは、動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符号化プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像復号プログラムは、動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、復号手段は、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

本発明に係る動画像符号化装置は、動画像データを符号化する動画像符号化装置であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割手段と、分割手段により分割された各領域の画像を符号化する符号化手段と、符号化手段により符号化された画像の再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された再生画像を記憶する記憶手段と、符号化手段による符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段と、を備え、符号化手段は、予測信号決定手段により決定された予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。

本発明に係る動画像符号化装置では、まず、符号化対象となる画像の領域と所定の位置関係で隣接したテンプレート領域の再生画像と相関が高い画像の領域を、再生画像から探索する。続いて、探索された領域と上記所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を再生画像から決定する。この予測信号を用いて符号化を行う。即ち、本発明に係る動画像符号化装置によれば、動きベクトルを用いることなく予測信号を決定することができ効率的な符号化を可能とする。

本発明に係る動画像復号装置は、複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置であって、符号化された各領域のデータを復号する復号手段と、復号手段により復号された画像から再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された画像を記憶する記憶手段と、復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段と、を備え、再生画像生成手段は、予測信号決定手段により決定された予測信号と復号手段により復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測信号を決定して、動画像を復号することができる。即ち、本発明に係る動画像復号装置によれば、上記の動画像符号化装置により効率的な符号化がされた動画像データを正しく復号することができる。

また、動画像符号化装置は、テンプレート領域の再生画像と記憶手段により記憶された再生画像とを比較して、当該比較結果に基づき符号化の対象となる領域の画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて、符号化の対象となる領域を更に分割して当該分割された領域を新たな符号化対象の領域として設定すると共に当該新たな符号化対象の領域に対するテンプレート領域を設定する設定手段と、を更に備えることが好ましい。この構成によれば、予測信号の領域のサイズを再生画像の空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激しい動画像データの符号化においても符号化効率が向上する。

また、動画像復号装置は、テンプレート領域の再生画像と記憶手段により記憶された再生画像とを比較して、当該比較結果に基づき復号の対象となる領域の画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて、復号の対象となる領域を更に分割して当該分割された領域を新たな復号対象の領域として設定すると共に当該新たな復号対象の領域に対するテンプレート領域を設定する設定手段と、を更に備えることが好ましい。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明として記述できる他に、以下のように動画像符号化方法、動画像符号化プログラム、動画像復号方法及び動画像復号プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

本発明に係る動画像符号化方法は、動画像データを符号化する動画像符号化装置における動画像符号化方法であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割ステップと、分割ステップにおいて分割された各領域の画像を符号化する符号化ステップと、符号化ステップにおいて符号化された画像の再生画像を生成する再生画像生成ステップと、再生画像生成ステップにおいて生成された再生画像を記憶する記憶ステップと、符号化ステップにおいて符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶ステップにおいて記憶された再生画像から探索する探索ステップと、探索ステップにおいて探索された領域と所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を、記憶ステップにおいて記憶された再生画像から決定する予測信号決定ステップと、を有し、符号化ステップにおいて、予測信号決定ステップにおいて決定された予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。

本発明に係る動画像符号化プログラムは、動画像データを符号化する動画像符号化装置を制御する動画像符号化プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割手段と、分割手段により分割された各領域の画像を符号化する符号化手段と、符号化手段により符号化された画像の再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された再生画像を記憶する記憶手段と、符号化手段による符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段として機能させ、符号化手段は、予測信号決定手段により決定された予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。

本発明に係る動画像復号方法は、複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置における動画像復号方法であって、符号化された各領域のデータを復号する復号ステップと、復号ステップにおいて復号された画像から再生画像を生成する再生画像生成ステップと、再生画像生成ステップにおいて生成された画像を記憶する記憶ステップと、復号ステップによる復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶ステップにおいて記憶された再生画像から探索する探索ステップと、探索ステップにおいて探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶ステップにおいて記憶された再生画像から決定する予測信号決定ステップと、を有し、再生画像生成ステップにおいて、予測信号決定ステップにおいて決定された予測信号と復号ステップにおいて復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

本発明に係る動画像復号プログラムは、複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、符号化された各領域のデータを復号する復号手段と、復号手段により復号された画像から再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された画像を記憶する記憶手段と、復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段として機能させ、再生画像生成手段は、予測信号決定手段により決定された予測信号と復号手段により復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

本発明によれば、符号化対象となる画像の領域と所定の位置関係で隣接したテンプレート領域と相関が高い再生領域を探索して当該探索された領域と上記の位置関係とに基づいて予測信号を決定するので、動きベクトルを用いることなく効率的な符号化を可能とする。

本発明の第１実施形態に係る動画像符号化装置の構成を示す図である。 動画像符号化装置における予測生成部の構成を示す図である。 テンプレート領域と予測対象領域との位置関係を示す図である。 テンプレートマッチングによる予測信号の決定の詳細な動作を説明するための図である。 本発明の第１実施形態に係る動画像符号化装置で実行される処理を示すフローチャートである。 本発明の第１実施形態に係る動画像復号装置の構成を示す図である。 本発明の第１実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。 第２実施形態における予測生成部の構成を示す図である。 第２実施形態において分割された予測対象領域を示す図である。 本発明の第２実施形態に係る動画像符号化装置で実行される処理を示すフローチャートである。 本発明の第２実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。 符号化順序を示す図である。 符号化順序に応じたテンプレート領域と予測対象領域との位置関係の例を示す図である。 第２実施形態において、判断部の機能を説明するための図である。 第２実施形態において、判断部の機能を説明するための図である。 本発明の実施形態に係る動画像符号化プログラムの構成を示す図である。 本発明の実施形態に係る動画像復号プログラムの構成を示す図である。 第１実施形態に係る動画像符号化装置の変形例の構成を示す図である。 第１実施形態に係る動画像復号装置の変形例の構成を示す図である。 第１実施形態に係る予測生成部の変形例の構成を示す図である。 本発明の第３実施形態に係る動画像符号化装置の構成を示す図である。 本発明の第３実施形態に係る動画像復号装置の構成を示す図である。 第３実施形態におけるブロックの縮小・拡大処理を示す図である。 本発明の第３実施形態に係る動画像符号化装置で実行される処理を示すフローチャートである。 本発明の第３実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。 第３実施形態に係る動画像符号化装置の変形例の構成を示す図である。 第３実施形態に係る動画像復号装置の変形例の構成を示す図である。 第３実施形態におけるブロックの縮小・拡大処理の別の例を示す図である。 第３実施形態におけるブロックの縮小・拡大処理の別の例を示す図である。 第３実施形態に係る動画像符号化装置の変形例の構成を示す図である。 第３実施形態に係る動画像復号装置の変形例の構成を示す図である。 第３実施形態に係る動画像符号化装置の変形例の構成を示す図である。 第３実施形態に係る動画像復号装置の変形例の構成を示す図である。 第３実施形態に係る動画像符号化装置の変形例の構成を示す図である。 第３実施形態に係る動画像復号装置の変形例の構成を示す図である。 第３実施形態に係る予測生成部の変形例の構成を示す図である。 第３実施形態おける予測処理の例を示す図である。

以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

［第１実施形態］
図１に、第１実施形態の動画像符号化装置１００を示す。動画像符号化装置１００は、動画像データをブロック単位で符号化する装置である。動画像符号化装置１００は、動画像データを構成するフレーム画像を入力として当該フレーム画像を順次符号化することにより、動画像データを符号化する。動画像符号化装置１００は、ＣＰＵ（Central Processing Unit）、フレームメモリ、ハードディスク等を備える情報処理装置等のハードウェアにより実現される。動画像符号化装置１００は、上記のハードウェア的な構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

図１に示すように、動画像符号化装置１００は、領域分割部１０１と、減算部１０２と、変換部１０３と、符号化部１０４と、逆変換部１０５と、加算部１０６と、記憶部１０７と、予測生成部１０８とを備えて構成されている。以下、各部の機能について説明する。

領域分割部１０１は、入力された動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割手段である。即ち、領域分割部１０１は、入力された動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段である。具体的には、領域分割部１０１は、予め定められた所定の大きさのブロック（例えば８画素×８画素、符号化対象ブロック）に分割する。分割された原画像は、符号化を行う順序で出力され減算部１０２に入力される。出力される順序としては、図１２（ａ）に示すようにフレーム画像の左上から右下への順であるラスタスキャン順でもよいし、図１２（ｂ）に示すようにフレーム画像の左端から右端への順と右端から左端への順とを一段ずつ交互に上から繰り返すジグザグ順としてもよい。なお、出力する順序は、予め領域分割部１０１に記憶させておく。

減算部１０２は、上記の符号化対象ブロックの原信号と、後に説明する予測信号との間の差分信号を生成して出力する、符号化手段の一構成要素である。差分信号は、領域分割部１０１から出力された符号化対象ブロックの原信号から、予測生成部１０８から出力された符号化対象ブロックの予測信号を画素単位で減算することにより生成される。出力される差分信号は、符号化の対象となる信号であり、符号化のために変換部１０３に入力される。

変換部１０３は、減算部１０２から入力された差分信号を予め定められた変換方法に基づき変換して、変換係数データを出力する変換手段である。変換には例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）に代表される直交変換が利用できる。変換のための関係式等は予め変換部１０３に記憶させておく。この変換は、可逆的なものであっても非可逆的なものであってもよい。この変換は、この後行われる符号化をより効率的に行わせるものである。出力された変換係数データは、符号化部１０４及び逆変換部１０５に入力される。なお、情報量圧縮のため、直交変換後の係数に対して量子化を行ってもよい。

符号化部１０４は、変換部１０３から入力された変換係数データを、エントロピー符号化する、符号化手段の一構成要素である。符号化されたデータは、動画像符号化装置１００の出力となる。エントロピー符号化としては、ハフマン符号化のような可変長符号化方式や、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）に代表される算術符号化方式が利用可能である。どちらも変換係数データの発生確率の偏りに基づいて変換方法を変更することにより、情報量を圧縮できる。

逆変換部１０５は、再生画像生成のために用いられる差分信号を生成する、再生画像生成手段の一構成要素である。差分信号は、変換部１０３から入力された変換係数データを変換部１０３においてなされた変換処理の逆処理を行うことにより生成される。逆変換のための関係式等は予め逆変換部１０５に記憶させておく。逆変換部１０５において生成された差分信号は、加算部１０６に入力される。

加算部１０６は、後に説明する予測生成部１０８から出力された予測信号（減算部１０２に入力される予測信号と同じものである）と、逆変換部１０５により生成された差分信号とを足し合わせて和信号とし再生信号を生成する、再生画像生成手段の一構成要素である。ここで、再生信号は再生画像を構成するものである。加算部１０６により生成される再生信号は、復号装置において生成される再生信号と同じものである。加算部１０６により生成された再生信号は、記憶部１０７に入力される。

記憶部１０７は、加算部１０６から入力された再生信号を再生済み動画像データとして、フレームメモリ等の動画像符号化装置１００に備えられる記憶装置に記憶して蓄積する記憶手段である。再生信号は、動画像データの符号化が全て終了するまで、全て蓄積しておく。このように再生済み動画像データは逐次蓄積される。

予測生成部１０８は、本発明の特徴となる部分であり、記憶部１０７により蓄積された再生画像を読み出して、再生信号を元に予測対象（符号化対象）のブロックの予測信号の生成を行う。以下、予測生成部１０８の詳細な動きについて説明する。図２に予測生成部１０８の機能をより詳細化した機能ブロックを示す。図２に示すように予測生成部１０８は、テンプレート領域決定部２０１と、マッチング部２０２と、補填部２０３とを備えて構成される。

テンプレート領域決定部２０１は、記憶部１０７からの入力に基づいて、予測信号を生成するために用いるテンプレート領域及びその領域の信号（テンプレート）を決定する、探索手段の一構成要素である。即ち、テンプレート領域決定部２０１は、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶部１７により記憶された再生済み動画像データに属する再生信号からテンプレートを生成する、探索手段の一構成要素である。また、テンプレート領域決定部２０１は、テンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一構成要素でもある。図３に示すように、テンプレート領域３０１とは符号化の対象となる画像の領域３０２に対して所定の位置関係で隣接すると共に記憶部１０７により記憶された再生画像の領域、つまり再生済み動画像データの再生信号から構成される画素領域である。具体的には、テンプレート領域には、記憶部１０７に記憶された予測対象ブロックと同一フレームの再生済み領域であって、予測対象ブロックと空間的に隣接する位置に存在する画素領域を含んだ所定の大きさの画素群が当てられる。このため、テンプレート領域の位置は、ブロックの符号化順序（領域分割部１０１から出力され符号化処理される順序）に依存する。テンプレート領域決定部２０１には、テンプレート領域を決定するための以下に説明するような条件を予め記憶させておく。

図１３に、テンプレート領域と予測対象領域の位置関係の一例を示す。図１３（ａ）のように、符号化順序をラスタスキャン順に行っていれば、テンプレート領域１３０１は、予測対象ブロック１３０２の左及び上側に位置する領域となる。図１３（ａ）に示すように、予測対象ブロック１３０２の左及び上側に位置する領域１３０３は、記憶部１０７に再生画像が蓄積されている領域である。また、符号化順序がジグザグ順であれば、符号化の進行度合によって、テンプレート領域の位置は変わりうる。図１３（ｂ）のように画面の左から右に符号化が進行中のときは、予測対象ブロック１３０４は、予測対象ブロック１３０５の右及び上側に位置する領域となる。図１３（ｃ）のように画面の右から左に符号化が進行中のときは、予測対象ブロック１３０４は、予測対象ブロック１３０５の左及び上側に位置する領域となる。

マッチング部２０２は、テンプレート領域決定部２０１により決定されたテンプレート領域の再生信号を用いて、記憶部１０７により蓄積された再生画像を探索領域としてテンプレートマッチングを実施し、探索領域内にてテンプレート領域の再生信号との相関が最も高くなる領域を探索（検出）する探索手段である。即ち、マッチング部２０２は、テンプレート領域決定部２０１により決定されたテンプレートと相関が高い画素群を、記憶部１０７により記憶された再生済み動画像データから探索する探索手段である。また、マッチング部２０２は、テンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一構成要素でもある。テンプレートマッチングについては、より詳細に後述する。

補填部２０３は、マッチング部２０２により探索された領域（高相関領域）、及び予測対象ブロックとテンプレート領域との間の位置関係とに基づいて、予測対象ブロックと同サイズの予測信号を再生画像から設定して決定する予測信号決定手段である。即ち、補填部２０３は、マッチング部２０２により探索された画素群と、上記位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶部１０７により記憶された再生済み動画像データから決定する予測信号決定手段である。また、補填部２０３は、テンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一構成要素でもある。探索された高相関領域と予測信号とする画像の領域との間の位置関係は、テンプレート領域と予測対象ブロックとの間の位置関係と同一となる。例えば、ブロックの符号化順序がラスタスキャン順であれば、高相関領域の右及び下側に隣接する領域が予測信号の領域となる。決定された予測信号は、予測生成部１０８からの出力として減算部１０２と加算部１０６とに入力される。

マッチング部２０２と補填部２０３とにおけるテンプレートマッチングによる予測信号の決定の詳細な動作について図４を用いて説明する。マッチング部２０２は、テンプレート領域４０１の画像と類似した箇所を探索範囲４０３，４０４内から探索するテンプレートマッチングを行う。探索範囲には、テンプレート領域４０１及び予測対象領域４０２を含むフレーム（予測対象フレーム）における再生済み画素領域４０３と、それ以外の再生済のフレームの画像４０４とを含む。まず、テンプレート領域４０１の信号と探索範囲内の任意の場所にあるテンプレート領域４０１と同形状の画素群の信号との相関を測定する。このときの相関を示す指標値としては、差分信号の絶対値和を表すＳＡＤ（sum of absolute difference）や差分信号の自乗誤差平均を表すＭＳＥ（mean square error）等を用いることが可能である。探索範囲内で取り得る全ての画素群について相関の指標値を取得し、指標値が最も小さい画素群（但し、テンプレート領域４０１の画像自身は除く）を示す情報（アドレス）を探索結果として出力する。

補填部２０３は、テンプレートマッチングにより探索された高相関領域に隣接した画素群を予測信号として設定する。テンプレート領域と相関が高い場所では、テンプレート領域に隣接している領域も相関が高くなる可能性が高いため、予測信号として用いることができる。このため、本方法による予測方法が成立する。

引き続いて、図５のフローチャートを用いて、本実施形態の動画像符号化装置１００における符号化処理（動画像符号化方法）を説明する。

まず、符号化対象の動画像データが動画像符号化装置１００に入力されると、動画像を構成するフレーム画像毎に領域分割部１０１に入力される。入力されたフレーム画像は、領域分割部１０１により所定の大きさの複数のブロックに分割される（Ｓ５０１、分割ステップ）。以降の処理は全てブロック単位で行われる。ブロックは、符号化対象の領域の画像として減算部１０２に入力される。

次に、以下のように予測生成部１０８により符号化対象のブロックの予測信号が生成される。なお、予測生成部１０８は、動画像符号化装置１００において符号化処理を統括しているコントローラ（図示せず）からブロックの符号化順序を通知されている。あるいは、予測生成部１０８は、ブロックの符号化順序を予め記憶している。まず、テンプレート領域決定部２０１によりブロックに隣接する再生画像上にテンプレート領域が決定される（Ｓ５０２、探索ステップ）。次に、マッチング部２０２により、符号化対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の再生信号と相関の高い領域が探索される（Ｓ５０３、探索ステップ）。次に、補填部２０３により、テンプレートマッチングにより得られた高相関領域と所定の位置関係（図４の例では、右及び下側）で隣接している符号化対象ブロックと同じ大きさの領域が、予測信号として設定される（Ｓ５０４、予測信号決定ステップ）。設定された予測信号は、減算部１０２と加算部１０６とに入力される。

次に、減算部１０２により、領域分割部１０１から入力された原画像から、予測生成部１０８（補填部２０３）から入力された予測信号を、画素領域で引くことによって差分信号が生成される（Ｓ５０５、符号化ステップ）。生成された差分信号は変換部１０３に入力され、変換部１０３により変換される（Ｓ５０６）。変換された差分信号は符号化部１０４と逆変換部１０５とに入力される。符号化部１０４に入力された変換後の差分信号は符号化部１０４によりエントロピー符号化され、圧縮符号化データが生成される（Ｓ５０７、符号化ステップ）。

逆変換部１０５に入力された変換後の差分信号は、逆変換部１０５により逆変換が行われ、逆変換後の差分信号が生成される（Ｓ５０８、再生画像生成ステップ）。逆変換後の差分信号は加算部１０６に入力され、加算部１０６により、予測生成部１０８（補填部２０３）から入力された予測信号と足し合わされ和信号とされ、再生信号が生成される（Ｓ５０９、再生画像生成ステップ）。生成された再生信号は記憶部１０７に入力され、記憶部１０７により、フレームメモリ等における符号化対象となるフレームに応じた所定のアドレスに保存される（Ｓ５１０、記憶ステップ）。

続いて、フレーム画像の全てのブロックで上記の処理（Ｓ５０２〜Ｓ５１０）が終了しているか否かが判断される（Ｓ５１１）。終了していた場合は、このフレームでの処理を終了し、符号化部１０４によるエントロピー符号化後の圧縮符号化データを出力し、次のフレームの処理に遷移する。まだ、未処理のブロックが残っているならば、次のブロックの処理に移行する。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像符号化装置１００における符号化処理を統括する手段を設けてそれに行わせてもよい。

なお、上述した処理では、記憶部１０７に記憶される再生信号は、変換部１０３により変換されて逆変換部１０５により逆変換された差分信号を基にしている。これは、符号化部１０４による符号化が可逆的であることを想定しているからであって、上記の処理で復号装置において再生される再生画像が得られるためである。

上述した処理では、予測をテンプレートマッチングによる補填のみで行う例を挙げたが、これ以外の処理が入っていてもよい。例えば、フレーム画像の上端や両端の符号化の際には、再生済みの隣接画素が存在しない場合があり、本手法を用いるためには隣接画素を予め仮定しておく必要がある。このような部分においては、従来のように動きベクトルを用いた予測を行う方が、符号化効率が良くなる場合がある。また、画面端に限らず本方法での予測よりも動きベクトルによる予測の符号化効率が高くなる場合では、動きベクトルによる予測を用いるようにしてもよい。その場合、例えば、新たにブロック情報のヘッダに予測を本方式か動きベクトルによるものかどちらの手法を用いたかを示す情報と、動きベクトル値とを付与しておくことにより、両方式を効率的に使い分けることができる。

上述したように、本実施形態の動画像符号化装置１００によれば、フレーム間予測を行う際に、符号化済の再生画像を用いることで動きベクトルを用いることなくフレーム間予測ができ、効率的な符号化を可能とする。即ち、本実施形態の動画像符号化装置１００により符号化されたデータは、実質的には変換された差分信号のみが符号化されたものであり従来の符号化方法と比較して動きベクトルを削除したものである。また、それに加え、予測信号の決定をする際に、その時点で再生済みの領域のみを用いるため、常に動画像データのスキャン順に符号化することができる。

次に、本実施形態の動画像復号装置を説明する。図６に、本実施形態の動画像復号装置６００を示す。動画像復号装置６００は、動画像符号化装置１００により符号化された動画像データを復号して、再生済み動画像データを生成する装置である。動画像復号装置６００は、ＣＰＵ（Central Processing Unit）、フレームメモリ、ハードディスク等を備える情報処理装置等のハードウェアにより実現される。動画像復号装置６００は、上記のハードウェア的な構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

図６に示すように、動画像復号装置６００は、復号部６０１と、逆変換部６０２と、加算部６０３と、記憶部６０４と、予測生成部６０５とを備えて構成されている。以下、各部の機能について説明する。

復号部６０１は、入力された圧縮符号化データを復号する復号手段である。圧縮符号化データは、上述したように、本実施形態に係る動画像符号化装置１００により符号化されたものであり、フレーム画像が複数の領域の信号（符号化対象ブロック）に分割されて符号化されたもの（復号対象ブロック）である。復号部６０１における復号方式は、動画像符号化装置１００によるエントロピー符号化方式に対応するものであり、復号するための情報が復号部６０１により予め記憶されている。また、復号部６０１における復号及び出力は、符号化された単位（ブロック単位）で行われ、符号化された順序で行われる。復号されたデータは、逆変換部６０２に入力される。

逆変換部６０２は、復号部６０１から入力されたデータを、動画像符号化装置１００によりなされた変換処理の逆処理を行うことにより、再生済み画像生成のために用いられる差分信号を生成する、再生画像生成手段の一構成要素である。逆変換部６０２は、動画像符号化装置１００における逆変換部１０５に対応している。逆変換のための関係式等は予め逆変換部６０２に記憶させておく。逆変換部６０２において生成された差分信号は、加算部６０３に入力される。

加算部６０３は、後に説明する予測生成部６０５から出力された予測信号と、逆変換部６０２により生成された差分信号とを足し合わせて和信号とし再生信号を生成する、再生画像生成手段の一構成要素である。加算部６０３は、動画像符号化装置１００における加算部１０６に対応している。加算部１０６により生成された再生信号は、記憶部６０４に入力されると共に動画像復号装置６００の出力となる。

記憶部６０４は、加算部６０３から入力された復号ブロック（復号された符号化対象ブロック）である再生信号を再生済み動画像データとして、フレームメモリ等の動画像復号装置６００に備えられる記憶装置に記憶して蓄積する記憶手段である。記憶部６０４は、動画像符号化装置１００における記憶部１０７に対応している。復号ブロックは、動画像データの復号が全て終了するまで、全て蓄積しておく。このように再生済み動画像データは逐次蓄積される。

予測生成部６０５は、記憶部６０４により蓄積された再生画像を読み出して、再生画像を基に予測対象（復号対象）のブロックの予測信号の生成を行う。予測生成部６０５は、動画像符号化装置１００における予測生成部１０８に対応しており、同一の機能を有しているため、ここでは説明を省略する。

引き続いて、図７のフローチャートを用いて、本実施形態の動画像復号装置６００における復号処理（動画像復号方法）を説明する。動画像復号装置６００により復号される圧縮符号化データは、動画像符号化装置１００により符号化されたものであるとする。

まず、復号対象の圧縮符号化データが動画像復号装置６００に入力されると、復号部６０１により復号が行われる（Ｓ７０１、復号ステップ）。復号されると、ブロック単位での変換データが取り出される。この変換データは、復号部６０１により逆変換部６０２に入力される。また、復号対象のブロックのフレームにおける位置情報が、動画像復号装置６００において復号処理を統括しているコントローラ（図示せず）から予測生成部６０５に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。

次に、以下のように予測生成部６０５により復号対象のブロックの予測信号が生成される。まず、テンプレート領域決定部２０１によりブロックに隣接する再生画像上にテンプレート領域が設定される（Ｓ７０２、探索ステップ）。次に、マッチング部２０２により、符号化対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の再生信号と相関の高い領域が探索される（Ｓ７０３、探索ステップ）。次に、補填部２０３により、テンプレートマッチングにより得られた高相関領域と所定の位置関係（図４の例では、右及び下側）で隣接している符号化対象ブロックと同じ大きさの領域が、予測信号として設定される（Ｓ７０４、予測信号決定ステップ）。設定された予測信号は、加算部６０３に入力される。

次に、逆変換部６０２により、復号部６０１から入力された変換データが逆変換されて、差分信号が生成される（Ｓ７０５、再生画像生成ステップ）。なお、Ｓ７０２〜Ｓ７０４の一連の処理と、Ｓ７０５の処理とは、以下に説明するＳ７０６以降の処理の前に行われていればよいので、順序が逆になっていてもよい。

次に、加算部６０３により、逆変換部６０２から入力された差分信号と、予測生成部６０５（補填部２０３）から入力された予測信号とが足し合わされ和信号とされ、再生信号である復号ブロックが生成される（Ｓ７０６、再生画像生成ステップ）。生成された復号ブロックは、記憶部６０４に入力され、記憶部６０４により、フレームメモリ等における復号対象となるフレームに応じた所定のアドレスに保存される（Ｓ７０７、記憶ステップ）。

続いて、フレーム画像の全てのブロックで上記の処理（Ｓ７０１〜Ｓ７０７）が終了しているか否かが判断される（Ｓ７０８）。終了しており、再生されたフレーム画像が完成している場合は、再生されたフレーム画像を、スクリーン等の表示手段（図示せず）に出力する。また、別の表示用の装置に出力してもよい。まだ、未処理のブロックが残っているならば、次のブロックの処理に移行する。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像復号装置６００における符号化処理を統括する手段を設けてそれに行わせてもよい。

上述したように、本実施形態の動画像復号装置６００によれば、動画像符号化装置１００と同様に予測信号を決定して、動画像を復号することができる。即ち、本実施形態の動画像復号装置６００によれば、上記の動画像符号化装置１００により効率的な符号化がされた動画像データを正しく復号して再生画像を生成することができる。

なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号化処理及び動画像復号処理についても同様に実施可能である。

（１）探索範囲
ここまでは、テンプレートマッチングの対象である探索範囲を符号化対象フレーム内の再生済み領域（４０３）と再生済みフレームの再生画像４０４としているが、フレーム単位でいずれかを選択しても良い。例えば、再生済み領域４０３に限定すれば、フレーム内の再生信号のみを予測対象とするイントラフレームにも本発明は適用できる。同様に再生画像４０４のみを探索対象に限定することにより、フレーム間の予測を伴うインターフレームの復号時の演算量を低減できるという効果がある。更に、再生済み領域４０３をテンプレートマッチングの探索対象とする予測モード（イントラテンプレートマッチング予測）と、再生画像４０４をテンプレートマッチングの探索対象とする予測モード（インターテンプレートマッチング予測）を用意し、ブロック単位で選択するという方法も復号時の演算量の削減に繋がるので効果的である。この際、図５の説明にて示したとおり、非特許文献１に記載されているような複数の予測モードと組み合わせて用いることも可能である。なお、各画像内の探索範囲を予め設定した小領域とすることも演算量の低減につながるので効果的である。

（２）複数フレーム
ここまでは、テンプレートマッチングの対象とする再生済みフレームの枚数については、特に述べていないが、複数枚を対象とすることは予測性能を高めるため有効である。この際、符号化対象フレーム内の再生画像領域を含んでもよい。以下、これらのテンプレートマッチング対象となる再生済みフレームの再生画像及び符号化対象フレームの再生画像領域を総称として参照フレームの参照画像と呼ぶことにする。この際、参照画像は、整数画素のみならず、フィルタ処理により生成した実数画素も含んだ解像度の高い画像としてもよい。実数画素の生成方法は、例えば、非特許文献１に記載されている。選択する参照フレーム番号はブロック単位あるいはフレーム単位で符号化してもよいし、ＳＡＤなどの指標値により付加情報なしで選択することも可能である。明示的に符号化する場合には、（符号化対象ブロックにおける）予測対象領域の原信号と、複数の参照フレームの参照画像から生成される（符号化対象ブロックにおける）予測対象領域の予測信号を比較し、１枚の参照フレームを選択する。

この符号化処理は図１８に示すように図１に示す動画像符号化装置１００において予測生成部１０８と減算部１０２との間に選択部１０９を追加することにより実施できる。選択部１０９は、予測生成部１０８が複数の参照フレームを対象として生成した予測信号について、符号化対象ブロックの原信号との間の指標値（ＳＡＤやＭＳＥなど）を計算し、指標値が最小となる参照フレームを選択する。選択した参照フレーム番号は、符号化部１０４にてエントロピー符号化される。なお、選択部１０９の処理は、予測生成部１０８に含まれていても同様の結果が得られるので、この構成でも本変形例は実施できる。復号処理では図１９に示すように、予測生成部６０６が復号部６０１にて復号された参照フレーム番号に対応する参照フレームを利用して予測信号を生成する。

また、１枚の参照フレームを選択して符号化対象ブロックの予測信号を生成する（１フレーム選択処理）のではなく、２枚の参照フレームを選択し、選択した参照フレームから得られる符号化対象ブロックの予測信号を画素単位で平均化して最終的な予測信号を算出（平均化処理）しても良い。この際、符号化対象ブロックの予測信号の選択候補を、同じ参照フレームから取得することも考えられる。１画素（あるいは１／２画素や１／４画素）ずれた位置の予測信号を同じ参照フレームから２つ選択すれば、内挿処理により探索する動きベクトルの精度を高める効果もある。なお、平滑化処理は予測誤差信号の雑音成分をする効果があるため、一般に、変換符号化との相性が良い。

２枚の参照フレームを選択する場合、単純な平均化ではなく、画素毎の重みづけ平均化処理にて、予測対象領域の最終的な予測信号を算出する（重みづけ平均化処理）ことも可能である。重みづけ係数は、ブロック内で一定値とする方法や画素単位で変更する方法がある。重みづけ係数の設定の方法や符号化方法については、特に限定しないが、非特許文献１に記されるような方法が適用できる。

更に、奇数枚の参照フレームを選択し、画素単位で予測対象領域の予測信号の中央値を選択する方法もある（中央値予測処理）。また、４枚以上の偶数枚のフレームから画素単位で予測対象領域の予測信号の中央の２値を選択し、平均化または重みづけ平均化により予測値を算出する方法も実施可能である。このような中央値を利用した予測方法は、平均的な予測誤差を小さくする効果がある。

これらの平均化処理、重み付け平均化処理、中央値予測処理は図２０に示すように図２に示す予測生成部１０８に信号生成部２０４を追加した予測生成部１１０８により実現できる（図１の予測生成部１０８と図６の予測生成部６０５に適用）。信号生成部２０４では、複数フレームにより生成される予測対象領域の予測信号を入力として、上記に示した処理方法により最終的な予測信号を生成する。信号生成部２０４の処理は、再生画像や（再生画像に関するデータである）再生画像に属する特徴データ（動きベクトルなど）から導出される情報を用いて実施できるため、復号側でも同じ処理が実施できる。

１フレーム選択処理、平均化処理、重みづけ平均化処理、中央値予測処理などから複数の処理手法を用意し、ブロック単位やフレーム単位で処理手法を選択する方法も考えられる。復号値により構成されるテンプレートを用いる予測処理では、指標値が最適となる動きが予測誤差信号を最小化する保証はない。そのため、予測対象領域の予測信号の特性が異なる複数の処理手法から、適切な手法を選択する方法は有効である。

処理手法の選択方法としては、まず予測対象領域の予測誤差絶対値和（または予測誤差二乗和）を最小とする方法を符号化側で選択して（図１８の選択部１０９）、復号側に伝送する方法が考えられる。この選択手法は、図１８の予測生成部１０８と図１９の予測生成部６０６を図２０の予測生成部１１０８に置き換えることにより実現できる。なお、ここでは、図１８の選択部１０９は、選択した参照フレーム番号の替わりに、選択した処理手法の情報を符号化部１０４に出力する。選択部１０９の処理が予測生成部１１０８に含まれる構成でも同様の結果が得られるので、この構成でも実施可能である。

また、それぞれの処理手法に基づいてテンプレート領域の予測信号を生成し、テンプレート領域の生成信号との間で指標値（ＳＡＤやＭＳＥなど）を計算することで自動的に処理手法を選択する方法も考えられる。例えば、平均化処理では、テンプレート領域の２つの予測信号の候補を画素単位で平均化して予測信号を計算し、計算した予測信号とテンプレート領域の再生信号との間で指標値を計算する。この方法によれば再生画像や再生画像に属する特徴データ（動きベクトルなど）から導出される情報を用いて処理手法を一意に決めることができるため、処理手法の情報を符号化する必要がない。

また、テンプレート領域内の信号の分散値（ＴａＶ）と複数参照フレームに対する指標値の分散値(ＥｖＶ)の組み合わせにより、４つの条件を設定し、ＴａＶとＥｖＶが共に閾値より小さい場合には平均化処理、ＴａＶのみが閾値より小さい場合には重みづけ平均化処理、ＥｖＶのみが閾値より小さい場合には中央値予測処理、ＴａＶとＥｖＶが共に閾値より大きい場合には１フレーム選択処理とするような手法も考えられる。この場合、テンプレート領域の再生信号の分散によりテンプレートの空間方向の特徴の強さを評価し、指標値の分散によりテンプレート領域の時間方向の特徴の強さを評価する。この手法では、分散値が小さいほど、予測対象領域の予測信号における複数候補の差が小さく、平滑化による予測誤差信号の雑音を除去する効果が高いという仮定に基づいて処理手法の選択を実施している。このような自動的な選択方法は、図１８の予測生成部１０８を図２０の予測生成部１１０８に置き換えると共に、図１８の選択部１０９に上記で示した選択方法を導入することで実現できる。この選択方法においても、再生画像や再生画像に属する特徴データ（分散値など）から導出される情報を用いて処理手法を一意に決めることができるため、処理手法の情報を符号化する必要がない。そのため、選択部１０９から符号化部１０４への出力は省略される。

この際、上記に示した分散値を用いる選択方法では、選択部１０９への入力を符号化対象ブロックの原信号からテンプレート領域の再生信号に置き換え、予測生成部１１０８から選択部１０９への入力に複数参照フレームの指標値を追加することが必要となる。なお、選択部１０９の処理を予測生成部１１０８が含む構成でも同じ結果が得られるので、この構成でも実施可能である。復号側の処理は、符号化処理に合わせて、図６の予測生成部６０５を図２０の予測生成部１１０８と図１８選択部１０９の組み合わせに置き換えることにより実現できる。なお、自動的な選択方法は、ここで記載した方法に限定されず、再生画像や再生画像に属する特徴データから導出される情報のみを利用する方法であれば実現できる。

（３）予測生成部の構成
予測生成部１０８はテンプレート領域決定部２０１、マッチング部２０２、補填部２０３により構成されているが、本発明はこの構成に限定されずに実現できる。例えば、テンプレート領域の再生信号を予め定めた手順により符号化対象フレームの再生信号から直接入力される構成とすれば、テンプレート領域決定部２０１は不要である。また、マッチング部２０１にて、参照フレームからテンプレート領域の予測信号を取得する際に、予測対象領域の予測信号を同時に取得するように構成すれば、補填部がなくとも予測信号は生成できる。

（４）符号化対象ブロックのサイズ
本実施例では符号化対象ブロックのサイズを８画素×８画素としているが、本発明は他のブロックサイズでも実施できるため、このサイズには限定されない。また、テンプレート領域のサイズについても、限定されない。例えば、８画素×８画素ではテンプレート領域と予測対象領域を合わせて１２画素×１２画素とする場合や、テンプレート領域のサイズをその半分とする１０画素×１０画素など様々である。また、ブロック単位やフレーム単位で、符号化対象ブロックのサイズとテンプレート領域のサイズを変更することも有効である。非特許文献１に示されているように、異なるサイズの符号化対象ブロックとテンプレート領域の組を用意することは、画像内の異なる絵柄に対応できるので有効である。また、イントラテンプレートマッチング予測とインターテンプレートマッチング予測を考えた場合、テンプレート領域と探索範囲の冗長性が一般的に低いイントラテンプレートマッチング予測のブロックサイズを小さくすると予測効率の向上が期待できる。

また、予測対象ブロックと符号化対象ブロックとは異なるブロックサイズでも本発明の予測は実施可能である。

（５）テンプレート領域の再生信号
ここまではテンプレート領域の再生信号を符号化対象フレームの再生済み画素から構成しているが、その他の参照フレーム上の再生済み画素も復号側に既知であるため利用できる。例えば、８画素×８画素ブロックの予測対象領域を４画素×４画素ブロックに分割して、４×４ブロック単位で予測信号を生成する場合を考える。テンプレート領域と予測対象領域を合わせて６画素×６画素ブロックとすると、８×８ブロックの左上の４×４ブロックのテンプレート領域については、符号化対象フレームの再生済み画素にて構成できる。しかしながら８×８ブロックの右上の４×４ブロックのテンプレート領域では、ブロック上部の６×２画素は符号化対象フレームの再生済み画素で構成できるが、ブロック左部の２×２画素はまだ符号化されていないため、左上の４×４ブロックの予測信号にて代用する。同様に８×８ブロックの左下の４×４ブロックではブロック上部の２×２画素、右下の４×４ブロックではテンプレート領域の全画素については、符号化対象フレームの再生済み画素が符号化されていないため予測信号にて代用する。
更に、ここまではテンプレート領域の再生信号を、符号化対象ブロックに隣接するブロックの再生済み画素を取得して構成しているが、再生済み信号にノイズを除去するフィルタ等を施してテンプレート領域の再生信号を生成してもよい。例えば、雑音が多い画像では、テンプレート領域の再生信号及び参照画像にフィルタ処理を施すことにより、雑音に影響されない動き検出が可能となる。

（６）指標値について
ここまでは、テンプレートマッチングにて対象領域内の予測信号を生成する際の指標値を、テンプレート領域における予測信号と対象信号の差分絶対値和（ＳＡＤ）や平均二乗誤差（ＭＳＥ）としていたが、これに限定されることはない。例えば、T. Wiegand et. al., “Rate-Constrained Coder Control and Comparisonof Video Coding Standards”, IEEE Trans.Circuits and Systems for VideoTechnology, vol. 13, No. 7, July 2003, 688-703.（非特許文献２）に記載されるように差分動きベクトルの大きさを考慮した値も本発明の指標値に適用可能である。

更に、各画素の差分絶対値あるいは二乗誤差に重みをかけることも有効である。例えば、ＳＡＤを評価値とする場合、テンプレート領域と予測領域の境界画素の差分絶対値に４、境界から離れることに３，２，１と重みを小さくしていくという方法が考えられる。このように境界に近い画素を優先することにより予測性能の向上が期待できる。

（７）逆変換部の構成
図１では、逆変換部１０５の入力は変換部１０３からの出力となっているが、符号化部１０４からの出力でもよい。この場合、逆変換部１０５の処理の前に、図６の復号部６０１の処理が実施される。また、動画像符号化装置と動画像復号装置の処理を統一化する実装方法でも本発明は実施できる。つまり、符号化部１０４の出力を、図６の復号部６０１にて処理し、復号画像を記憶部１０７に入力するという構成も考えられる。

［第２実施形態］
第２実施形態における動画像符号化装置及び動画像復号装置の装置構成は、第１実施形態における装置構成と、予測生成部の詳細な構成を除いて同一である。以下、本実施形態における予測生成部と、第１実施形態における予測生成部１０８，６０５との相違点について説明する。

図８に示すように、本実施形態の予測生成部８００は、判断部８０１と、テンプレート領域決定部８０２と、マッチング部８０３と、補填部８０４とを備えて構成される。

判断部８０１は、テンプレート領域の再生信号と記憶部１０７，６０４により記憶された再生画像とを比較して、当該比較結果に基づき符号化又は復号の対象となる領域（予測対象ブロック）の信号の空間的連続性を推定する推定手段である。なお、空間的連続性とは、ある空間内における動きの方向・大きさなどの特徴がどの程度一致しているかを示す指標である。即ち、ある領域内において、その領域の上半分と下半分とで動きの特徴が異なっていた場合、空間性連続性は無い。また、判断部８０１は、推定された画像の空間的連続性に基づいて、符号化又は復号の対象となる領域を更に分割して当該分割された領域を新たな符号化又は復号対象の領域（予測対象領域、補填領域）として設定すると共に当該新たな符号化又は復号対象の領域に対するテンプレート領域を設定する設定手段である。判断部８０１は、記憶部１０７，６０４により記憶された再生画像を分析して、テンプレート領域のサイズ及び予測対象領域のサイズを含む予測パラメータを決定して、その情報をテンプレート領域決定部８０２と、補填部８０４とに出力する。予測パラメータの具体的決定方法は、後述する。

テンプレート領域決定部８０２は、判断部８０１から入力されたテンプレート領域のサイズの情報に基づいて、予測信号を生成するために用いるテンプレート領域及びその領域の画像を設定する、探索手段の一構成要素である。テンプレート領域決定部８０２は、第１実施形態におけるテンプレート領域決定部２０１に対応し、同様の機能を有する。

マッチング部８０３は、テンプレート領域決定部８０２により設定されたテンプレート領域の画像を用いて、記憶部１０７，６０４により蓄積された再生画像を探索領域としてテンプレートマッチングを実施し、探索領域内にてテンプレート領域の画素群との相関が最も高くなる領域を探索する探索手段である。マッチング部８０３は、第１実施形態におけるマッチング部２０２に対応し、同様の機能を有する。

補填部８０４は、マッチング部８０３により探索された領域（高相関領域）、及び予測対象ブロックとテンプレート領域との間の位置関係とに基づいて、予測対象ブロックと同サイズの予測信号を再生画像から設定して決定する予測信号決定手段である。このときの予測対象ブロックのサイズは、判断部８０１により設定されたものである。補填部８０４は、第１実施形態における補填部２０３に対応し、同様の機能を有する。

ここで、判断部８０１におけるテンプレート領域のサイズ及び予測対象領域のサイズの決定方法を図１４及び図１５を用いて説明する。テンプレート領域のサイズ及び予測対象領域のサイズの決定には、予測対象ブロックに隣接する再生済み画素を利用する。図１４は、予測対象ブロック１４０１の画素とその周辺の再生済み画素１４０２とを示した図である。まず、図１４（ａ）及び（ｂ）に示すように、予測対象ブロック１４０１に隣接する領域１４０２を全てカバーする領域Ａ、及び領域１４０２を分割してそれぞれ及び領域１４０２の一部をカバーする領域Ｂ，Ｃ，Ｄ（領域Ｂ，Ｃ，Ｄはそれぞれ重なり合わず、足し合わせると領域１４０２となる）の４つの領域を用意する。

次に、領域Ａ，Ｂ，Ｃ，Ｄをテンプレート領域とした、記憶部により蓄積された再生画像に対するテンプレートマッチングを実施し、相関の高い領域をそれぞれ求める。ここで、相関値としては、例えばＳＡＤを用いるとする。それぞれの領域Ａ，Ｂ，Ｃ，Ｄに対するＳＡＤを、ＳＡＤ_Ａ、ＳＡＤ_Ｂ、ＳＡＤ_Ｃ、ＳＡＤ_Ｄとし、ＳＡＤ_Ａと（ＳＡＤ_Ｂ＋ＳＡＤ_Ｃ＋ＳＡＤ_Ｄ）とを比較する。ＳＡＤ_Ａの方が非常に大きかった場合、領域Ａ内で空間的連続性がなく、予測対象ブロック１４０１においても空間的連続性がないと推定する。即ち、図１５に示すように、再生済の画像の領域１５０１において、領域Ａと相関が高い領域１５０１ａと、領域Ｂ，Ｃ，Ｄと相関が高い領域１５０１ｂ，１５０１ｃ，１５０１ｄとが別々に位置している状態であると推定する。この推定に基づき、空間Ａによるテンプレートマッチングでは予測がうまくいかない（決定された予測信号と符号化及び復号対象画像との乖離が大きくなる）と判断する。ＳＡＤ_Ａの方が非常に大きいとの判断は、閾値を予め決めておく等により行うことができる。このように判断したら、テンプレート領域のサイズ及び予測対象領域のサイズを、ブロックを更に分割して、ブロックのサイズよりも小さく設定する。このときの予測対象領域のサイズは、例えば、領域Ｂ，Ｃ，Ｄの分割に応じたようなサイズとすることができる。また、テンプレート領域はその予測対象領域のサイズに応じたサイズとする。

逆にＳＡＤ_Ａと（ＳＡＤ_Ｂ＋ＳＡＤ_Ｃ＋ＳＡＤ_Ｄ）とにあまり差がなかった場合には、領域Ａ内で空間的連続性があり、予測対象ブロック１４０１においても空間的連続性があると推定する。この推定に基づき、領域Ａによるテンプレートマッチングが有効であると判断して、予測対象領域はブロックのサイズとする（予測対象領域を、ブロックが分割されていない領域とする）。なお、上記の判断に用いる予測対象ブロック１４０１に隣接する領域１４０２を分割した領域は、図１４（ｂ）に示すような領域Ｂ，Ｃ，Ｄのようなパターンだけでなく、図１４（ｃ）のように、更に細分化してもよい。

本発明のようなテンプレートマッチングによる予測では、動きベクトルによる予測とは異なり、正確な予測とはなりえない。このため誤予測をなるべく避ける必要がある。そして誤予測は、一般的にはテンプレート領域のサイズが小さいときに発生しやすくなると考えられる。反面、動きが細かく空間的な連続性が無い部分においては、テンプレート領域や予測対象領域が大きいと、細かい動きに対応できず、予測誤差が増加することになる。従って、本発明による手法のようにテンプレート領域のサイズ及び予測対象領域のサイズを小さくして細かい動きに適合する確率を上げることが有効となる。

テンプレート領域のサイズ及び予測対象領域のサイズが変更されたときの予測の推移について図９を用いて説明する。予測対象ブロック９０１に隣接する領域に空間的連続性が存在し、予測対象領域のサイズが予測対象ブロック９０１全域であった場合は、第１実施形態と同様に１度のテンプレートマッチングにて処理を行う。例えば、図９に示すように、予測対象ブロック９０１を領域９０１ａ，９０１ｂ，９０１ｃ，９０１ｄの４つの領域に分割して、予測対象領域サイズを小さくして、テンプレート領域のサイズもあわせて小さくした場合で説明する。なお、予測対象ブロック９０１の左及び上側の領域は、再生済である画像の領域であるものとする。

まず、図９（ａ）に示すように、予測対象ブロック９０１の左上の領域９０１ａに対して、左及び上側の領域９０２ａをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図９（ｂ）に示すように、領域９０１ａの右側の領域９０１ｂに対して、上側の領域９０２ｂをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図９（ｃ）に示すように、最初に予測信号の設定を行った領域９０１ａの下側の領域９０１ｃに対して、左側の領域９０２ｃをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図９（ｄ）に示すように、残りの領域である右下の領域９０１ｄに対して、領域９０１ａ，９０１ｂ，９０１ｃを含む左及び上側の領域９０２ｄをテンプレート領域に設定し、予測信号をテンプレート領域の対象信号としてテンプレートマッチングによる予測信号の設定を行う。これにより、予測対象ブロック９０１の全ての領域に対して予測信号を設定することになり、符号化及び復号が可能になる。

なお、テンプレート領域のサイズ及び予測対象領域のサイズの変更の仕方としては、図９（ａ）〜（ｄ）のように縦横の両方向に分割するだけでなく、図９（ｅ）（ｆ）のように、縦横何れかの方向のみ分割するようにしてもよい。例えば、図１４（ｂ）において、領域Ａにおける高相関領域に領域Ｂ，Ｃ，Ｄ，Ｅにおける高相関領域が含まれ、領域Ｆにおける高相関領域のみが含まれない場合に図９（ｅ）（ｆ）のように縦方向に分割するのがよい。このような場合、予測対象ブロックの上半分と下半分とで空間的連続性が切れると判断できるためである。

この場合、まず、図９（ｅ）に示すように、予測対象ブロック９０１の上半分の領域９０１ｅに対して、左及び上側の領域９０２ｅをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図９（ｆ）に示すように、領域９０１ｅの下側の領域９０１ｆに対して、左側の領域９０２ｆをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。これにより、予測対象ブロック９０１の全ての領域に対して予測信号を設定することになり、符号化及び復号が可能になる。

引き続いて、図１０のフローチャートを用いて、本実施形態の動画像符号化装置における符号化処理（動画像符号化方法）を説明する。

まず、符号化対象の動画像データが動画像符号化装置に入力されると、動画像を構成するフレーム画像毎に領域分割部１０１に入力される。入力されたフレーム画像は、領域分割部１０１により所定の大きさの複数のブロックに分割される（Ｓ１００１）。以降の処理は全てブロック単位で行われる。ブロックは、符号化対象の領域の画素として予測生成部８００と減算部１０２とに入力される。

次に、以下のように予測生成部８００により符号化対象のブロックの予測信号が生成される。まず、上述したように判断部８０１により符号化対象ブロックに隣接する再生済み画素を用いて、当該符号化対象ブロックに用いる予測パラメータを決定する（Ｓ１００２、推定ステップ及び判断ステップ）。決定された予測パラメータは、テンプレート領域決定部８０２に入力される。次に、テンプレート領域決定部８０２により、設定した予測パラメータに基づいて、符号化対象の領域を設定して当該領域に対して隣接する再生済み画素群を再生済画素領域（テンプレート領域）上にテンプレートとして設定する（Ｓ１００３）。なお、ここで設定される符号化対象の領域は、上述したように符号化対象ブロックを分割したものである場合がある。次に、マッチング部８０３により、符号化対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の画素群と相関の高い領域が探索される（Ｓ１００４）。次に、補填部８０４により、テンプレートマッチングにより得られた高相関領域と所定の位置関係で隣接している符号化対象の領域と同じ大きさの領域が、予測信号として設定される（Ｓ１００５）。

次に、符号化対象のブロックの全ての領域で予測信号が設定されたか否かが判断される（Ｓ１００６）。全ての領域で予測信号が設定されていない場合、Ｓ１００３〜Ｓ１００５の一連の処理を、符号化対象のブロックの全ての領域で予測信号が設定されるまで繰り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像符号化装置における符号化処理を統括する手段を設けてそれに行わせてもよい。

以降の処理（Ｓ１００７〜Ｓ１０１３）の処理は、第１実施形態における対応する処理（Ｓ５０５〜Ｓ５１１）と同一である。

上述したように、本実施形態の動画像符号化装置によれば、第１実施形態と同様に、フレーム間予測を行う際に、符号化済の再生画像を用いることで動きベクトルを用いることなくフレーム間予測ができ、効率的な符号化を可能とする。また、予測信号の領域のサイズを再生済み信号の空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激しい動画像データの符号化においても符号化効率が向上する。

引き続いて、図１１のフローチャートを用いて、本実施形態の動画像復号装置における復号処理（動画像復号方法）を説明する。本実施形態の動画像復号装置により復号される圧縮符号化データは、上記の本実施形態の動画像符号装置により符号化されたものであるとする。

まず、復号対象の圧縮符号化データが動画像復号装置に入力されると、復号部６０１により復号が行われる（Ｓ１１０１）。復号されると、ブロック単位での変換データが取り出される。この変換データは、復号部６０１により逆変換部６０２に入力される。また、復号対象のブロックのフレームにおける位置情報が、復号部６０１により予測生成部８００に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。

次に、以下のように予測生成部８００により復号対象のブロックの予測信号が生成される。まず、上述したように判断部８０１により復号対象ブロックに隣接する再生画像を用いて、当該復号対象ブロックに用いる予測パラメータを決定する（Ｓ１１０２、推定ステップ及び判断ステップ）。決定された予測パラメータは、テンプレート領域決定部８０２に入力される。次に、テンプレート領域決定部８０２により、設定した予測パラメータに基づいて、復号対象の領域を設定して当該領域に対して隣接する再生済み画素群をテンプレートとして設定する（Ｓ１１０３）。なお、ここで設定される復号対象の領域は、上述したように復号対象ブロックを分割したものである場合がある。次に、マッチング部８０３により、復号対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の画素群と相関の高い領域が探索される（Ｓ１１０４）。次に、補填部８０４により、テンプレートマッチングにより得られた高相関領域と所定の位置関係で隣接している復号対象の領域と同じ大きさの領域が、予測信号として設定される（Ｓ１１０５）。

次に、復号対象のブロックの全ての領域で予測信号が設定されたか否かが判断される（Ｓ１１０６）。全ての領域で予測信号が設定されていない場合、Ｓ１１０３〜Ｓ１１０５の一連の処理を、復号対象のブロックの全ての領域で予測信号が設定されるまで繰り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像復号装置における復号処理を統括する手段を設けてそれに行わせてもよい。

以降の処理（Ｓ１１０７〜Ｓ１１１０）の処理は、第１実施形態における対応する処理（Ｓ７０５〜Ｓ７０８）と同一である。なお、第１実施形態と同様に、Ｓ１１０２〜Ｓ１１０６の一連の処理と、Ｓ１１０７の処理とは、Ｓ１１０８以降の処理の前に行われていればよいので、順序が逆になっていてもよい。

上述したように、本実施形態の動画像復号装置によれば、本実施形態の動画像符号化装置と同様に予測信号を決定して、動画像を復号することができる。即ち、本実施形態の動画像復号装置によれば、本実施形態の上記の動画像符号化装置により効率的な符号化がされた動画像データを正しく復号して再生画像を生成することができる。

なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号化処理及び動画像復号処理についても同様に実施可能である。

（１）テンプレート領域と予測対象領域の分離
上記では、図８の判断部８０１にて予測対象領域とテンプレート領域のサイズや形状を同時に決定しているが、一方のサイズと形状を固定してもよい。したがって、予測対象領域のサイズと形状を固定とし、テンプレート領域のサイズあるいは形状を適応的に切り替えたい場合にも本発明は適用できる。この場合、判断部８０１から補填部８０４への出力は不要である。例えば、図１４において、予測対象領域１４０１に対するテンプレートを、図１４（ａ）（ｂ）の領域Ａ、領域Ｂ、領域Ｃ、領域Ｄから選択するという方法が考えられる。予測対象領域１４０１のテンプレートとしては、予測対象領域１４０１と間に絵柄の連続性があり、かつそれを構成する画素数は多い方が良い。そのため、通常は領域Ａが好ましいが、ある方向に絵柄の連続性が無い場合には、小さいサイズのテンプレートを用いた方が良い。なお、判断部８０１における判定処理は上記に示した手法には限定されない。例えば、テンプレート領域の予測信号を実際にその領域の画素を符号化した時の予測信号と比較し、平均差分絶対値が小さいテンプレート形状とサイズを選択するという方法が考えられる。符号化した時の予測信号ではなく、その領域が属する符号化対象ブロックの再生信号を用いて再度予測信号を生成しなおしても良い。また、テンプレート領域の予測信号と対象信号（再生信号）の平均差分絶対値が小さいテンプレート形状とサイズを選択するという方法も考えられる。

一方で、絵柄ではなく動きの連続性を確保する方法も有効である。例えば、領域Aをテンプレート領域として検出した動きベクトルと、隣接ブロックの動きベクトルあるいは隣接ブロックから算出される予測動きベクトルの差を計算する。そして差分の動きベクトルが予め定めた閾値より小さい場合には検出した動きベクトルを予測領域の動きベクトルとする。一方、差分の動きベクトルが予め定めた閾値より大きい場合には、異なるテンプレート形状（例えば、図１４（ｂ）の領域Ｂ，Ｃ，Ｄや図１４（ｃ）の領域Ｂ，Ｄ，Ｆ等）について動きベクトルを検出する。そして、それぞれのテンプレート領域について、その領域内の画素を符号化したときの動きベクトルと検出した動きベクトルを比較し、差が小さい動きベクトルを予測対象領域の動きベクトルとして選択するという方法も考えられる。その領域内の画素を符号化したときの動きベクトルの替わりに、その領域が属する符号化対象ブロックの再生信号を用いて、再度動きベクトルを検出しなおしても良い。いずれに方法においても、再生信号や（再生信号に関する情報である）再生信号に属する特徴データ（動きベクトルなど）から導出される情報を用いて実施可能である。また、複数のテンプレート形状にて検出した動きベクトルの大きさを比較してテンプレート形状や予測領域のサイズを決めることも可能である。同様に隣接ブロックの動きベクトルの大きさを比較して、テンプレート形状や予測領域のサイズを決めることも可能である。

候補となるテンプレートの形状とサイズは図１４のようにテンプレートの分割に限定されるものではない。例えば、８画素×８画素ではテンプレート領域と予測対象領域を合わせたサイズを１２画素×１２画素、１０画素×１０画素及び１４画素×１４画素から選択するような場合も本変形例に含まれる。

（２）テンプレート領域と予測対象領域のサイズ決定
上記では、図８の判断部８０１にてテンプレート領域と予測対象領域のサイズや形状を計算により決定しているが、予測対象領域の原信号（符号化対象ブロック）を利用して、最適なサイズや形状の情報を符号化しても良い。この決定方法は、例えば、図１８のように予測生成部１０８が複数種のテンプレートを用いて生成した予測対象領域の予測信号を出力し、選択部にて指標値（ＳＡＤやＭＳＥなど）を最小とするテンプレートサイズと形状を選択し、その情報を符号化部１０４にてエントロピー符号化することにより実施可能となる。選択部１０９の処理が予測生成部１０８に含まれている構成でも実施できる。

また、予測対象領域の位置によっては、テンプレート領域の対象信号が存在しない場合がある。その場合には、存在する対象信号のみでテンプレートを生成する。例えば、画像の左端では図１４（ｂ）に示す領域Ｃ、画像の上端では領域Ｄをテンプレート領域とする。

［第３実施形態］
再生信号により構成されるテンプレートを用いる本発明の動き予測では、テンプレート領域の対象信号と予測信号から算出される差分信号の指標値が最小となる動きを探索範囲から検出する。したがって、テンプレート領域の対象信号に際立った特徴がある場合には、その特徴に基づいて適切な動き予測が実施できる。しかしながら、平坦な領域のように、テンプレート領域の対象信号に際立った特徴が表れない場合には、指標値は最小であっても、実際とは異なる動きを検出する可能性が高くなる。この場合、予測対象領域の予測信号と対象信号との差分が大きければ、その符号量も増えてしまう。その一方で、際立った特徴のない平坦な領域は信号に含まれる高周波成分が少なく、解像度を落とした信号と元の信号との空間相似性は高い。そのため、予測対象領域の対象信号の解像度を落として符号化し、復号側にて解像度を落とした再生信号を簡単な手法で拡張しても、元の信号からの劣化を抑えることができる。そこで、本実施形態では、平坦な領域に適した差分符号化手法として、予測対象領域の対象信号と予測信号の解像度を落とし、その低解像度差分信号を符号化する手法（符号化対象ブロックと予測ブロックを縮小化し、その縮小差分ブロックを符号化する手法）について示す。

なお、本実施形態では、便宜上、予測信号にて構成されるブロックを予測ブロック、差分信号にて構成されるブロックを差分ブロック、再生信号にて構成されるブロックを復号ブロックと呼ぶことにする。そして、符号化対象ブロックは動画像データの符号化対象フレームの原信号にて構成されるブロックを符号化対象ブロックと呼ぶ。

図２１に、第３の実施形態を実施する動画像符号化装置２１００を示す。図１の動画像符号化装置１００に、縮小化部２１１０（縮小化部２１１０−１及び縮小化部２１１０−２の総称）と拡大部２１１１を設けることにより実現できる。なお、減算部２１０２、変換部２１０３、符号化部２１０４、逆変換部２１０５、加算部２１０６の機能は、扱うブロックサイズが小さくなる（例えば４画素×４画素）だけで、それぞれ、図１の減算部１０２、変換部１０３、符号化部１０４、逆変換部１０５、加算部１０６の機能と同じである。なお、変換部２１０３及び逆変換部２０１５については、図１の変換部１０３及び逆変換部１０５でも非特許文献１に示されるように、４画素×４画素単位で扱うことが可能である。この場合、図１の変換部１０３及び逆変換部１０５と、図２１の変換部２１０３及び逆変換部２１０５の違いは、処理するブロックの数が４個から１個に減ることを意味する。

縮小化部２１１０−１と縮小化部２１１０−２とは、それぞれ、領域分割部１０８から得られる符号化対象ブロックと予測生成部１０８から得られる予測ブロックをそれぞれ、縮小符号化対象ブロックと縮小予測ブロックに縮小して、減算部２１０２に出力する。減算部２１０２では、２つの縮小ブロックの差分を画素単位で計算し、縮小差分ブロックを変換部２１０３に出力する。変換部２１０３では、変換（及び量子化）処理を実施し、変換データ（量子化データ）は符号化部２１０４にて符号化される。同時に、変換データ（量子化データ）は、逆変換部にて（逆量子化及び）逆変換処理を実施し、復号縮小差分ブロックを加算部２１０６に出力する。加算部２１０６では、復号縮小差分ブロックと縮小予測ブロックを画素単位で加算し、復号縮小ブロックを生成する。拡大部２１１１は、復号縮小ブロックを符号化対象ブロックと同じサイズの復号ブロックまで拡大し、記録部１０７に出力する。縮小化部２１１０と拡大部２１１１の処理は図２３を用いて後述する。

図２２に、第３の実施形態を実施する動画像復号装置２２００を示す。図６の動画像復号装置６００に、縮小化部２２０７と拡大部２２０８を設けることにより実現できる。縮小化部２２０７と拡大部２２０８の処理は、それぞれ図２１における縮小化部２１１０と拡大部２１１１と同じ機能を持つ。なお、減復号部２２０１、逆変換部２２０２、加算部２２０３の機能は、扱うブロックサイズが小さくなる（例えば４画素×４画素）だけで、それぞれ、図６の復号部６０１、逆変換部６０２、加算部６０３の機能と同じである。なお、逆変換部については、図１の符号化装置と同様に図６の逆変換部６０２においても非特許文献１に示されるように、４画素×４画素単位で扱うことが可能である。この場合、図６の逆変換部６０２と、図２２の逆変換部２２０２の違いは、処理するブロックの数が４個から１個に減ることを意味する。

縮小化部２２０７は、予測生成部６０５から得られる予測ブロックを縮小予測ブロックに縮小して、加算部２２０３に出力する。加算部２２０３では、復号部２２０１と逆変換部２２０２の処理により復号された復号縮小ブロックと、縮小予測ブロックを画素単位で加算し、復号縮小ブロックを生成する。図２２の符号化装置と同様に、逆変換部２２０２は量子化処理を含んでも良い。拡大部２２０８は、復号縮小ブロックを復号ブロックと同じサイズの復号ブロックまで拡大し、記録部６０４に出力する。

図２３に縮小化部２１１０，２２０７と拡大部２１１１，２２０８における縮小・拡大処理を示す。ブロック２３０１は縮小される前のブロックを示している。処理２３０４が縮小処理における縮小ブロック上の画素生成手法を説明している。画素ｊ．ｋ，ｍ，ｎがブロック２３０１上の画素、画素Ｐが生成される縮小ブロック上の画素を示している。処理２３０４では、４画素単位で画素の平均化処理を実施し、縮小ブロック上の画素を算出する。ブロック２３０２が縮小処理により得られた縮小ブロックを示している。

処理２３０５が拡大処理における拡大ブロック上の画素生成手法を示している。画素Ａ〜Ｄがブロック２３０２上の画素、画素ａ〜ｉが拡大画像上の画素を示している。処理２３０５では、画素位置に応じて異なる方法で画素の内挿・外挿処理を実施する。画素ａは、隣接する縮小ブロック上の画素がＡのみであるため、画素Ａを画素ａとしてそのまま用いる。同様に、ブロック２３０３の白丸で示した画素は、縮小ブロック上の隣接画素をコピーする方法により算出する。画素ｂ〜ｅについては、隣接する縮小ブロック上の画素が２画素存在する。そこで、これらの画素は、縮小ブロック上の隣接２画素を用いた外挿処理により算出する。同様に、ブロック２３０３の黒四角で示した画素は、縮小ブロック上の隣接２画素を用いた外挿処理により算出する。画素ｆ〜ｉについては、隣接する縮小ブロック上の画素が４画素存在する。そこで、これらの画素は、縮小ブロック上の隣接４画素を用いた線形内挿処理により算出する。同様に、ブロック２３０３の黒丸で示した画素は、縮小ブロック上の隣接４画素を用いた線形内挿処理により算出する。

図２４と図２５とはそれぞれ第３の実施形態を実現する動画像符号化処理及び動画像復号処理を示している。図２４と図２５は第１の実施形態における図５と図７にそれぞれ対応する。図２４と図２５では、図５と図７におけるテンプレート領域決定処理（Ｓ５０２，Ｓ７０２）、テンプレートマッチング処理（Ｓ５０３，Ｓ７０３）、予測信号決定処理（Ｓ５０４）、予測信号生成処理（Ｓ７０４）を、予測信号生成処理（Ｓ２４０４，Ｓ２５０４）としてまとめて記載している。また、図２４におけるＳ２４０１，Ｓ２４０５，Ｓ２４０６，Ｓ２４０７，Ｓ２４０８，Ｓ２４１０，Ｓ２４１１は、図５におけるＳ５０１，Ｓ５０５，Ｓ５０６，Ｓ５０７，Ｓ５０８，Ｓ５１０，Ｓ５１１にそれぞれ対応する。これらの処理は扱うブロックサイズが異なるだけで、同様の処理を実施するため、ここでの説明は省略する。更に、図２５におけるＳ２５０１，Ｓ２５０５，Ｓ２５０７，Ｓ２５０８は、図７におけるＳ７０１，Ｓ７０５，Ｓ７０７，Ｓ７０８にそれぞれ対応する。これらの処理も扱うブロックサイズが異なるだけで、同様の処理を実施するため、ここでの説明は省略する。

図２４の処理Ｓ２４１２の符号化ブロック縮小化処理では、縮小化部２１１０−１にて、領域分割部１０１入力される符号化対象ブロックを縮小符号化対象ブロックに縮小し、縮小したブロックを減算部２１０２に出力する。処理Ｓ２３１３の予測ブロック縮小化処理では、縮小化部２１１０−２にて、予測生成部１０８から入力される予測ブロックを縮小予測ブロックに縮小し、縮小したブロックを減算部２１０２及び加算部２１０６に出力する。以下処理Ｓ２４０５〜処理Ｓ２４０８により、縮小差分ブロックの符号化、復号処理を実施し、復号縮小差分ブロックが生成される。処理Ｓ２４０９の復号縮小ブロック生成処理では、加算部２１０６にて、縮小予測ブロックと復号縮小差分ブロックを画素単位で加算し、復号縮小ブロックを生成する。処理Ｓ２４１４の拡大処理では、拡大部２１１１にて、復号縮小ブロックを復号ブロックに拡大する。

図２５の処理Ｓ２５０９の予測ブロック縮小化処理では、縮小化部２２０７にて、予測生成部６０５から入力される予測ブロックを縮小予測ブロックに縮小し、縮小したブロックを加算部２２０３に出力する。処理Ｓ２５０５では、縮小差分ブロックの復号処理が実施され、復号縮小差分ブロックが生成される。処理Ｓ２５０６の復号縮小ブロック生成処理では、加算部２２０３にて、縮小予測ブロックと復号縮小差分ブロックを画素単位で加算し、復号縮小ブロックを生成する。処理Ｓ２５１０の拡大処理では、拡大部２２０８にて、復号縮小ブロックを復号ブロックに拡大する。

本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号化処理及び動画像復号処理についても同様に実施可能である。

（１）テンプレートマッチングを用いた予測方法
本実施形態では、予測生成部におけるテンプレートマッチングの方法は、図２の方法に限定されるものではない。すなわち、本実施形態及び変形例においても、第１実施形態、第２実施形態及びそれらの変形例にて示したテンプレートマッチングを用いた予測信号生成方法は適用可能である。図１８、図１９のように、選択部を追加することもでき、予測生成部１０８，６０５を図２０に示した予測生成部１１０８に置き換えることも可能である。また、予測生成部１０８，６０５を図８に示した予測生成部８００に置き換えることも、信号の入出力の流れは変わらないため、そのまま適用できる。

ここまでは、テンプレートマッチングを用いた予測方法として、テンプレートを用いて、記憶部１０７，６０４に保存されている再生済み動画像データから予測ブロックを生成する方法を採用していた。しかしながら、非特許文献１に記載されているイントラ予測のように、テンプレートの再生信号から所定の方法により予測信号を生成する方法もある。この方法においても、本実施形態の縮小・拡大処理を用いた符号化・復号処理は符号量を削減する効果があるため有効である。

この変形例における予測生成部の構成を図３６に示す。図は、テンプレートの信号から予測信号を生成するイントラ予測の例である。テンプレートの再生信号から予測信号を生成する方法は、図２１と図２２の予測生成部１０８を図３６の予測生成部３６０８に置き換えることにより実施できる。テンプレート領域決定部３６０２では、符号化対象ブロックに隣接する１３個の再生済み画素にてテンプレートを構成する。補填部３６０３では、図３７に示す処理３７１１に示すような方法で、テンプレート内の画素から予測ブロックを生成する。なお、図３７には、９種類の補填方法が提示されているが、本発明は、このうち少なくとも１種類を予め定義しておくことにより実施できる。また、補填部内にて複数の補填方法から１種類を選択し、選択した補填方法により生成した予測ブロックを出力してもよい。この際、補填方法の選択手法は本発明では限定されない。選択した補填方法の情報を伝送してもよいし、エンコーダ（動画像符号化装置）とデコーダ（動画像復号装置）が共有するデータのみを用いて決める方法でもよい。

また、テンプレートの形状は図３７に示したものに限定されない。ブロック境界の画素だけでなく、符号化対象ブロックが属するフレームの再生済み領域の画素であれば、ブロック境界から離れた画素から構成されるテンプレートであっても本発明は実現可能である。

（２）縮小・拡大処理の構成
図２１に示す動画像符号化装置２１００と図２２に示す動画像復号装置２２００では、符号化対象ブロックと予測ブロックを縮小化し、復号された縮小ブロックを拡大することにより復号ブロックを生成している。しかしながら、縮小、拡大処理を用いた符号量の削減は、異なる構成においても実現可能であり、この方法には限定されない。図３２と図３４とに動画像符号化装置の別例、図３３と図３５とに動画像復号装置の別例を示す。

図３２の動画像符号化装置３２００では、予測ブロックではなく、符号化対象ブロックから予測ブロックを画素単位で減算することにより生成した差分ブロックを縮小化部３２１０にて縮小化する。そして、復号した復号縮小差分ブロックを拡大部３２１１にて拡大し、拡大ブロックと予測ブロックを画素単位で加算し、復号ブロックとする。

図３３の動画像復号装置３３００は、図３２に示す動画像符号化装置３２００に対応する復号装置である。この方法では、予測ブロックの縮小化は実施せず、復号した復号縮小差分ブロックを拡大部３３０８にて拡大し、拡大ブロックと予測ブロックを画素単位で加算し、復号ブロックとする。

図３４の動画像符号化装置３４００は、図２１における縮小化部２１１０−２の機能が予測生成部３４０８内の補填部に含まれる構成である。同様に図３５の動画像復号装置３５００は、図２２における縮小化部２２０７が予測生成部の補填部に含まれる構成である。この際、補填部は、縮小予測ブロックを直接生成するように縮小化処理と補填処理を組み合わせることも可能である。図２、図８あるいは図２０に示す補填部２０３において、補填部２０３の有するメモリサイズが縮小予測ブロックは保存できるが、予測ブロックを保存できない大きさであり、記憶部１０７内の再生済み動画像データから直接必要な情報のみを取得し、縮小予測ブロックを生成する。この場合には、テンプレート領域決定部とマッチング部は、上記に示したようにテンプレート領域内の全画素を記憶部１０７内の再生済み動画像データから取得しても良いし、テンプレート領域にも縮小化を実施し、必要な情報のみを取得してマッチング処理を実施しても良い。一方、図３５に示す動画像復号装置３５００においては、テンプレート領域決定部も、記憶部６０４内の再生済み動画像データから直接必要な情報のみを取得すればよい。

なお、上記の動画像符号化装置３２００，３４００及び動画像復号装置３３００，３５００における予測生成部の構成は、図２に示すものでも図３６に示すものでも実現可能である。また、図１８、図１９に示す動画像符号化装置１８００及び動画像復号装置１９００のように、選択部を伴う場合も、選択部を追加することにより実現できるため、図２や図２０に示した予測生成部に置き換えることも可能である。更に、図２を図８に示した予測生成部に置き換えることも、信号の入出力の流れは変わらないため、そのまま適用できる。

更に、図２１にて復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモリに保存しても良い。また、別のフレームでは、復号縮小ブロックを統合することにより得られる縮小画像にてテンプレートマッチングを行い、縮小予測ブロックを生成する。そして、縮小符号化対象ブロックと縮小予測ブロックの差分符号化を行なう。または、縮小予測ブロックを拡大し、符号化対象ブロックとの差分符号化を行なってもよい。同様に図２２では復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモリに保存しても良い。別のフレームでは、縮小ブロックを統合することにより得られる縮小画像にてテンプレートマッチングを行い、縮小予測ブロックを生成する。そして、復号した縮小差分ブロックと縮小予測ブロックを加算して縮小ブロックを再生する。または、縮小予測ブロックを拡大し、復号した差分ブロックと拡大したブロックを加算して復号ブロックを再生してもよい。このように、縮小処理と拡大処理の適用方法を変更しても、符号量を削減する効果は得られる。

縮小化処理と拡大処理の方法は図２３に示した方法でも良いし、後述する別例でもよい。

（３）ＴＭＰ−Ｅ、ＴＭＰ−Ｌの選択方法
図２１及び図２２に示す動画像符号化装置２１００及び動画像復号装置２２００は、テンプレート領域の絵柄がすべて平坦な場合を仮定して、ブロックの縮小・拡大処理を伴う装置の構成を示している。実用的には、画像の絵柄には、平坦な部分と特徴のある部分が混在するため、第１実施形態にて説明したブロックの縮小・拡大処理を実施しない構成と組み合わせて実施する。図２６に、図１及び図２１に示す動画像符号化装置１００，２１００を組み合わせた動画像符号化装置２６００を、図２７に、図６及び図２２に示す動画像復号装置６００，２２００を組み合わせた動画像復号装置２７００を示す。図内で図１、図６、図２１、図２２と同じ番号のブロックは同じ機能を示すため、ここでは詳細な説明を省略する。

図２６では、領域分割部１０１にて分割された符号化対象ブロックがそれぞれ、減算部１０２と縮小化部２１１０−１に入力される。符号化対象ブロックは２通りの予測符号化方法（ＴＭＰ−Ｅモード；図１に示す動画像符号化装置１００の符号化方式、ＴＭＰ−Ｌモード；図２１に示す動画像符号化装置２１００の符号化方式）で符号化処理され、変換部１０３と変換部２１０３から２種類の変換データ（量子化データ）が切り替え部２６１３に出力される。また、２通りの手法で局部復号された２種類の復号ブロックが選択部２６１２に出力される。選択部２６１２では、その２種類の復号ブロックから１種類を選択し、その選択情報を切り替え部２６１３と符号化部２６０４に出力する。切り替え部２６１３は選択情報に従って、変換データ（量子化データ）を符号化部２６０４に出力する。符号化部は選択情報と変換データ（量子化データ）を併せてエントロピー符号化する。

選択部２６１２におけるＴＭＰ−ＥとＴＭＰ−Ｌモードの選択方法としては、例えば、別途入力される符号化対象ブロックと２種類の復号ブロックの差分信号を比較し、差分の自乗和が小さいほうを選択する方法が挙げられる。但し、この方法では符号量が換算されていないため、符号化効率の高い符号化手法が選択されない。符号化効率を考慮した選択方法としては、例えば、非特許文献２に記載したような方法が挙げられる。この方法によれば、２種類の予測符号化手法により生成された変換データ（量子化データ）をそれぞれ仮想的に符号化する。そして、復号ブロックと符号化対象ブロックとの間のトータル歪（例えば差分の二乗和）と符号量の重みづけ指標値をそれぞれ計算し、指標値の小さい符号化方法を選択する。この方法であれば、符号化効率の高い予測符号化方法が選択できる。なお、変換データ（量子化データ）の符号化は、選択部２６１２にこれらを入力し、選択部２６１２にて実施してもよいし、符号化部２６０４にて実施し、符号量の情報を選択部に入力しても良い。

図２７に示す動画像復号装置２７００では、復号部２７０１にて、ＴＭＰ−ＥモードとＴＭＰ−Ｌモードの選択情報と選択された予測符号化方法による変換データ（量子化データ）がエントロピー復号される。切り替え部２７０９は選択情報に基づいて、選択情報がＴＭＰ−Ｅを示すときには変換データ（量子化データ）を逆変換部６０２に出力し、選択情報がＴＭＰ−Ｌモードを示すときには変換データ（量子化データ）を逆変換部２２０２に出力する。変換データ（量子化データ）は、選択情報が示す復号方法により復号される。

上記では、ＴＭＰ−ＥとＴＭＰ−Ｌとを異なる予測符号化方法として扱い、符号化側にてその選択情報を符号化している。しかしながら、２種類の予測符号化方法を１種類として扱い、符号化側と復号側が共有する復号情報（再生画像や再生画像に属する特徴データから導出される情報）を用いて自動的に選択することも可能である。特徴データとしてはテンプレート領域の対象信号が利用できる。例えば、テンプレート領域の対象信号の分散を用いる方法がある。予め閾値を設定し、分散値が閾値より大きければＴＭＰ−Ｅ、小さければＴＭＰ−Ｌとする方法が考えられる。また、分散値以外にも、テンプレート領域の対象信号の画素勾配（隣接画素間の差分値）を計算し、差分値が閾値を超える画素数が予め定めた数より多ければＴＭＰ−Ｅ、少なければＴＭＰ−Ｌとするような方法も考えられる。更に、テンプレートマッチングにて検出した動きベクトルと、テンプレート領域の画素群を復号した際の動きベクトル（復号ブロックの信号を利用して再検索しても良い）を比較し、その差が予め定めたしきい値より小さい場合にはＴＭＰ−Ｅ、大きい場合にはＴＭＰ−Ｌとすることも可能である。検出した動きベクトルの大きさや隣接ブロックの動きベクトルを基準として選択してもよい。これら、分散値、画素勾配、動きベクトルによる選択を組み合わせても良い。それぞれで選択した方法が異なる場合には、多数決で最終的な選択を行ってもよいし、選択した方法が異なる場合のみ選択情報を伝送するという方法も実現可能であり、安定した選択結果が得られる。

この場合、図２７の動画像復号装置２７００では、選択情報が復号されないため別途選択部を設ける必要がある。この選択部は符号化装置の選択部と同じ動作をし、選択情報を切り替え部２７０９に出力する。

図２６及び図２７に示す各装置２６００，２７００における予測生成部は、上記の変形例（１）に示したように図２に示す構成には限定されない。図８、図２０及び図３６に示す構成を適用することも可能である。

なお、図３６に示す予測生成部３６０８では、予め定めた補填方法の場合のみＴＭＰ−Ｌのような縮小化・拡大処理を適用し、他の補填方法ではＴＭＰ−Ｅのように差分符号化のみを適用することも可能である。また、補填部にて選択した補填方法にて生成した予測ブロックに対して、ＴＭＰ−ＬとＴＭＰ−Ｅのような符号化方法を適用し、適応的に選択する方法も実施可能である。

（４）従来の予測符号化方法との適応
上記で示した予測符号化方法ＴＭＰ−ＥとＴＭＰ−Ｌとは、非特許文献１に記載されているような複数の予測符号化方法（動きベクトルを符号化するインター予測モードやイントラ予測モード）と組み合わせて選択的に使用することが可能である。この際、それぞれの予測符号化方法について、複数のブロックサイズを用意してもよい。予測符号化方法とブロックサイズの最適な選択は、例えば非特許文献２に示したような方法にて実現できる。図２６と図２７とに示す各装置２６００，２７００（予測生成方法は変形例（１）に示すような変形が可能である）に従来の予測符号化方法を組み合わせ、選択部を拡張することにより実現できる。また、ＴＭＰ−Ｌのみを従来の予測符号化方法と適応することも可能である。この場合、図２１及び図２２に示す各装置２１００，２２００と、図３２及び図３３に示す各装置３２００，３３００、図３４と図３５に示す各装置３４００，３５００とのいずれかに従来の予測符号化方法を組み合わせればよい。

（５）縮小・拡大処理
縮小化部によるブロック縮小処理及び拡大部におけるブロック拡大処理の方法は図２３の方法に限定されるものではない。別例を図２８と図２９に示す。

図２８では、ブロック２８０１は縮小される前のブロック、ブロック２８０２が縮小ブロックを示している。この例では、処理２３０４のようなフィルタ処理を伴わない単純な画素サンプリングにより縮小ブロックを生成する。処理２８０５が拡大処理における拡大ブロック上の画素生成手法を示している。画素Ａ〜Ｄがブロック２８０２上の画素、画素ａ〜ｃが拡大画像上の画素を示している。画素Ａ〜Ｄは、もともと縮小処理前の画素であるため、そのまま拡大ブロック２８０３にコピーされる。縮小処理にて除外された画素については、処理２３０５の画素ａ〜ｃのように、単純な線形内挿処理により算出する。ブロック２８０３の四角で示した画素は、同様に隣接する画素を用いた線形内挿処理により算出する。なお、拡大ブロック２８０３の上端と左端の黒四角の画素については、丸で示した隣接画素が１つまたは２つしか存在しない。この場合には、画素群２８０６に示した隣接ブロックの復号済み画素を利用する。なお、画素群２８０６は記憶部に蓄積されているため、この処理を実現するためには、図２１、図２２、図２６、図２７に示す各装置において記憶部から拡大部への入力パスが必要となる。

図２９では、ブロック２９０１は縮小される前のブロック、ブロック２９０２が縮小ブロックを示しており、処理２９０４にて縮小処理の方法を説明する。この縮小方法では、処理２９０４に示すように画素ｐに隣接する８画素（ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｑ，ｒ）を利用したフィルタ処理により縮小ブロック上の画素Ｐを生成する。処理２９０５が拡大処理における拡大ブロック２９０３上の画素生成手法を示している。この処理は図２８の２８０５と同様であるため、説明を省略する。この場合にも、画素郡２９０６は記憶部に蓄積されているため、この処理を実現するためには、図２１、図２２、図２６、図２７において記憶部から拡大部への入力パスが必要となる。

これらの例では、縮小ブロックのサイズが縦・横の縮小率がそれぞれ１／２となっているが、縮小率はこれに限定されない。例えば、縮小率が１／４でもよいし、縦・横の縮小率が異なっても良い。

縮小・拡大方法を１種類に限定せず、複数の方法から選択しても良い。選択方法としては、符号化誤差の絶対値和や二乗和が最小となる方法を符号化側でフレーム単位やブロック単位で選択して、選択情報を符号化しても良いし、複数の復号ブロック候補から自動的に決定しても良い。決定方法としては、再生画像や再生画像に属する特徴データから導出される情報を用いていれば良く、例えば、画素単位で平均値を計算する方法や、画素単位で中央値を選択する方法などが考えられる。

なお、符号化対象ブロックに対する縮小方法については、復号装置では限定されない。そのため、縮小ブロックの画素数が同じであれば、予測ブロックと符号化対象ブロックには異なる縮小方法を適用してもよい。また、復号装置及び復号処理では、符号化対象ブロックの縮小方法を規定しない。

（６）拡大ブロックの再符号化
図２６及び図２７に示す各装置２６００，２７００では、拡大部２１１１，２２０８により拡大されたブロックは復号ブロックの候補としているが、これを予測ブロックの候補として扱い、予測生成部１０８，６０５により生成される予測ブロックと適応選択することも可能である。拡大部により拡大したブロックは、フィルタ処理により高周波成分が制限されているため、これを再符号化することにより、画質が向上するという効果がある。

図３０と図３１とにそれぞれ、本変形例を実施する動画像符号化装置３０００及び動画像復号装置３１００を示す。

図３０の動画像符号化装置３０００では、図２６と比較して、選択部３０１２と符号化部３００４の機能、及び変換部２１０３から出力される変換データ（量子化データ）の扱いが異なる。図２６の選択部２６１２では、２種類の復号ブロックの候補が入力されるが、本変形例の選択部３０１２では、予測生成部１０８と拡大部２１１１から２種類の予測ブロックの候補が入力される。選択方法としては図２６の説明にて示した方法が利用できる。但し、非特許文献２の方法を利用する場合には、トータル歪と符号量の算出のため、２種類の予測ブロックの候補を仮想的に符号化・復号する必要がある。また、ＴＭＰ−Ｌについては、変換部２１０３から出力される変換データ（量子化データ）も仮想的に符号化し、符号量に換算する必要がある。選択された予測ブロックは、加算部１０６と減算部１０２に出力され、変換・符号化される。選択部にてＴＭＰ−Ｌを選択した場合には、スイッチ３０１３をオンとし、変換部２１０３からの出力される変換データ（量子化データ）を符号化部３００４に出力する。符号化部３００４では、変換部１０３、変換部２１０３（ＴＭＰ−Ｌの場合）、及び選択部（必要の場合）からのデータをまとめて符号化する。

なお、変換部１０３，２１０３にて量子化を実施する場合、変換部２１０３の量子化精度を変換部１０３の量子化精度より高く設定すると符号化効率が向上する。縮小ブロックは符号化対象ブロックよりも少ない符号量で符号化できるため、量子化精度を高くしても符号量は増大しない。そのため、符号化効率を劣化させずに画質を向上できるという効果がある。

図３１の動画像復号装置３００１では、図２７と比較して、復号部３１０１と切り替え部３１０９の機能、及び予測生成部６０５から出力される予測ブロックの扱いが異なる。復号部３１０１では、まず選択情報をエントロピー復号する。予測符号化方法がTMP-Lモードのときは、縮小ブロックの変換データ（量子化データ）をエントロピー復号する。縮小ブロックの変換データ（量子化データ）は切り替え部３１０９の制御により逆変換部２２０２に出力される。拡大ブロックの変換データ（量子化データ）をエントロピー復号し、切り替え部３１０９の制御により逆変換部６０２に出力される。また、選択情報に基づくスイッチ３１１０の制御により、予測生成部６０５にてテンプレートマッチングにより生成された予測ブロックは縮小化部２２０７に出力される。加算部６０３は、逆変換部６０２から得られる差分ブロックと拡大部２２０８から得られる予測ブロックを加算して復号ブロックを生成する。一方、予測符号化方法がＴＭＰ−Ｅモードのときは、エントロピー復号された変換データ（量子化データ）は、切り替え部３１０９の制御により逆変換部６０２に出力される。また、選択情報に基づくスイッチ３１１０の制御により、予測生成部６０５にてテンプレートマッチングにより生成された予測ブロックは加算部６０３に出力される。加算部６０３では、逆変換部６０２から得られる差分ブロックと、スイッチ３１１０を通して予測生成部６０５から得られた予測ブロックを加算して復号ブロックを生成する。

なお、この変形例においても、本実施形態の変形例（１）に示したテンプレート予測方法及び変形例（３）や（４）に示したモード選択方法を適用することは可能である。

ここで、上述した一連の符号化処理を動画像符号化装置に実行させるための動画像符号化プログラムについて説明する。図１６に示すように、動画像符号化プログラム１６０１は、動画像符号化装置により読取可能、又は備えられる記録媒体１６００に形成されたプログラム格納領域１６００ａ内に格納される。

動画像符号化プログラム１６０１は、動画像符号化処理を統括的に制御するメインモジュール１６０１ａと、領域分割モジュール１６０１ｂと、減算モジュール１６０１ｃと、変換モジュール１６０１ｄと、符号化モジュール１６０１ｅと、逆変換モジュール１６０１ｆと、加算モジュール１６０１ｇと、記憶モジュール１６０１ｈと、予測生成モジュール１６０１ｉとを備えて構成されている。また、予測生成モジュール１６０１ｉは、テンプレート領域決定モジュール１６０１ｊと、マッチングモジュール１６０１ｋと、補填モジュール１６０１ｍとを備えている。

上記各モジュールが実行されることにより実現される機能は、上述した動画像符号化装置１００の各構成要素の機能と同様である。即ち、領域分割モジュール１６０１ｂと、減算モジュール１６０１ｃと、変換モジュール１６０１ｄと、符号化モジュール１６０１ｅと、逆変換モジュール１６０１ｆと、加算モジュール１６０１ｇと、記憶モジュール１６０１ｈと、予測生成モジュール１６０１ｉの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号化装置１００における、領域分割部１０１と、減算部１０２と、変換部１０３と、符号化部１０４と、逆変換部１０５と、加算部１０６と、記憶部１０７と、予測生成部１０８の機能と同様である。また、テンプレート領域決定モジュール１６０１ｊと、マッチングモジュール１６０１ｋと、補填モジュール１６０１ｍの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号化装置１００における、テンプレート領域決定部２０１と、マッチング部２０２と、補填部２０３の機能と同様である。

続いて、上述した一連の復号処理を動画像復号装置に実行させるための動画像復号プログラムについて説明する。図１７に示すように、動画像復号プログラム１７０１は、動画像復号装置により読取可能、又は備えられる記録媒体１７００に形成されたプログラム格納領域１７００ａ内に格納される。

動画像復号プログラム１７０１は、動画像復号処理を統括的に制御するメインモジュール１７０１ａと、復号モジュール１７０１ｂと、逆変換モジュール１７０１ｃと、加算モジュール１７０１ｄと、記憶モジュール１７０１ｅと、予測生成モジュール１７０１ｆとを備えて構成されている。また、予測生成モジュール１７０１ｆは、テンプレート領域決定モジュール１７０１ｇと、マッチングモジュール１７０１ｈと、補填モジュール１７０１ｉとを備えている。

上記各モジュールが実行されることにより実現される機能は、上述した動画像復号装置６００の各構成要素の機能と同様である。即ち、復号モジュール１７０１ｂと、逆変換モジュール１７０１ｃと、加算モジュール１７０１ｄと、記憶モジュール１７０１ｅと、予測生成モジュール１７０１ｆの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像復号装置６００における、復号部６０１と、逆変換部６０２と、加算部６０３と、記憶部６０４と、予測生成部６０５の機能と同様である。また、テンプレート領域決定モジュール１７０１ｇと、マッチングモジュール１７０１ｈと、補填モジュール１７０１ｉの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号化装置１００又は動画像復号装置６００における、テンプレート領域決定部２０１と、マッチング部２０２と、補填部２０３の機能と同様である。

なお、動画像符号化プログラム１６０１及び動画像復号プログラム１７０１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。

ここでは、第１の実施形態に示した図１と図６とに記載の動画像符号化装置１００、動画像復号装置６００に対応する動画像符号化プログラム１６０１と動画像復号プログラム１７０１について説明したが、第１実施形態の変形例、第２及び第３実施形態、並びにその変形例についても、動画像符号化装置、動画像復号装置の機能を実施するモジュールを用意するこことにより、動画像符号化プログラムならびに動画像復号プログラムを構成できるため、本発明に含まれる。

１００，１８００，２１００，２６００，３０００，３２００，３４００…動画像符号化装置、６００，１９００，２２００，２７００，３１００，３３００，３５００…動画像復号装置、１０１…領域分割部、１０２，２１０２…減算部、１０３，２１０３…変換部、１０４，２１０４，３００４…符号化部、１０５，６０２，２１０５，２２０２…逆変換部、１０６，６０３，２１０６，２２０３…加算部、１０７，６０４…記憶部、１０８，６０５，８００，１１０８，３４０８，３５０５，３６０８…予測生成部、２０１，８０２，３６０２…テンプレート領域決定部、２０２…マッチング部、２０３，３６０３…補填部、６０１，２２０１，３１０１…復号部、８０１…判断部、１０９，２６１２，３０１２…選択部、２０４…信号生成部、２１１０，２２０７，３２１０…縮小化部、２１１１，２２０８，３２１１，３３０８…拡大部、２６１３，２７０９，３１０９…切り替え部、３０１３，３１１０…スイッチ、１６００，１７００…記録媒体、１６００ａ，１７００ａ…プログラム格納領域、１６０１…動画像符号化プログラム、１７０１…動画像復号プログラム、１６０１ａ，１７０１ａ…メインモジュール、１６０１ｂ…領域分割モジュール、１６０１ｃ…減算モジュール、１６０１ｄ…変換モジュール、１６０１ｅ…符号化モジュール、１６０１ｆ，１７０１ｃ…逆変換モジュール、１６０１ｇ，１７０１ｄ…加算モジュール、１６０１ｈ，１７０１ｅ…記憶モジュール、１６０１ｉ，１７０１ｆ…予測生成モジュール、１６０１ｊ，１７０１ｇ…テンプレート領域決定モジュール、１６０１ｋ，１７０１ｈ…マッチングモジュール、１６０１ｍ，１７０１ｉ…補填モジュール、１７０１ｂ…復号モジュール。

Claims (10)

1. 動画像データをブロック単位で符号化する動画像符号化装置であって、
   前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、
   前記符号化対象ブロックを符号化する符号化手段と、
   前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、
   前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、
   前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、
   前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、
   前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成し、
   前記符号化手段は、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号に基づいて、前記差分ブロックの縮小処理を行うか否かを判断することを特徴とする動画像符号化装置。
2. 前記符号化手段は、前記符号化対象ブロック及び前記予測ブロックに前記縮小処理を適用してそれぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロックから当該縮小予測ブロックを画素単位で減算して縮小差分ブロックを生成し、
   前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、当該復号縮小差分ブロックと前記縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記符号化手段は、前記差分ブロックに対して前記縮小処理を適用することにより縮小差分ブロックを生成し、
   前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して復号ブロックを生成する、
   ことを特徴とする請求項１に記載の動画像符号化装置。
4. 動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、
   復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、
   前記復号手段により復号された符号化データから前記復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、
   前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、
   前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、
   前記復号手段は、前記符号化データを復号することにより、前記復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、
   前記再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、前記復号縮小差分ブロックから復号ブロックを生成し、
   前記復号手段は、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号に基づいて、前記符号化データを復号したものが前記復号縮小差分ブロックであるか否かを判断することを特徴とする動画像復号装置。
5. 前記再生画像生成手段は、前記予測ブロックに、画素数を所定の方法で減少させる縮小処理を適用して縮小予測ブロックとし、前記復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成することを特徴とする請求項４に記載の動画像復号装置。
6. 前記再生画像生成手段は、前記復号縮小差分ブロックに前記拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して復号ブロックを生成することを特徴とする請求項４に記載の動画像復号装置。
7. 動画像データをブロック単位で符号化する動画像符号化装置における動画像符号化方法であって、
   前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の符号化対象ブロックに分割する分割ステップと、
   前記符号化対象ブロックを符号化する符号化ステップと、
   前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、
   前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、
   前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、
   前記符号化ステップにおいて、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、
   前記再生画像生成ステップにおいて、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成し、
   前記符号化ステップにおいて、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号に基づいて、前記差分ブロックの縮小処理を行うか否かを判断することを特徴とする動画像符号化方法。
8. 動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、
   復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、
   前記復号ステップにおいて復号された符号化データから前記復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、
   前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、
   前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、
   前記復号ステップにおいて、前記符号化データを復号することにより、前記復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、
   前記再生画像生成ステップにおいて、画素数を所定の方法で増加させる拡大処理により、前記復号縮小差分ブロックから復号ブロックを生成し、
   前記復号ステップにおいて、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号に基づいて、前記符号化データを復号したものが前記復号縮小差分ブロックであるか否かを判断することを特徴とする動画像復号方法。
9. 動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符号化プログラムであって、
   前記動画像符号化装置を、
   前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、
   前記符号化対象ブロックを符号化する符号化手段と、
   前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、
   前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、
   前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、
   前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、
   前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成し、
   前記符号化手段は、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号に基づいて、前記差分ブロックの縮小処理を行うか否かを判断することを特徴とする動画像符号化プログラム。
10. 動画像データの符号化データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、
    前記動画像復号装置を、
    復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、
    前記復号手段により復号された符号化データから前記復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、
    前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、
    前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索し、探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、
    前記復号手段は、前記符号化データを復号することにより、前記復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、
    前記再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、前記復号縮小差分ブロックから復号ブロックを生成し、
    前記復号手段は、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号に基づいて、前記符号化データを復号したものが前記復号縮小差分ブロックであるか否かを判断することを特徴とする動画像復号プログラム。

Images