JP5313223B2 - 動画像復号装置及び動画像符号化装置 - Google Patents

Description

本発明は、ブロック単位で予測ブロックを生成する動画像復号技術と動画像符号化技術に関する。

従来、予測対象ブロックの予測信号（予測ブロック）をブロック単位で生成する既存の符号化方式として、例えば特許文献１に記載の技術が提案されている。かかる技術は、フレーム間の動きを示す動きベクトルと、この動きベクトルから生成される予測ブロックと予測対象ブロックとの間の誤差ブロックとを、エントロピー符号化することにより、時間方向の冗長度を低減するものである。ここで、予測対象ブロックとは、次に予測処理が行われる入力フレームの分割ブロックである。

特開２００２−３５４４８６号公報

細かい動き表現を含む画像領域の時間予測性能を向上させるためには、数多くの動きベクトルなどの情報（以下、「動き情報」と記す。）が必要となる。ところが、上述した従来の方式では、動き情報の符号化が必要となるため、動き情報を始めとする、いわゆる付加情報の符号量が増大する。このことが、符号化処理や復号処理における処理効率の向上を困難とする要因になっている。

そこで、本発明の課題は、上述の付加情報の符号量増大を抑制することにより、符号化処理と復号処理における処理効率を向上することである。

本発明に係る動画像符号化装置は、ブロック単位で予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段（メモリ）と、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第１の分割手段と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成手段と、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大手段と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第２の分割手段と、前記復号済み画像と前記生成された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測手段と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。

本発明に係る動画像復号装置は、ブロック単位で予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段（例えばメモリ）と、入力された符号化データを復号して、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号手段と、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大手段と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割手段と、前記復号済み画像と前記分割された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測手段と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合手段とを備える。

動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、予測ブロックよりも画素数の少ない低解像ブロックを圧縮符号化して符号化データを動画像復号装置に送信することが望ましい。この点、これらの発明によれば、低解像ブロックの画素数は、予測ブロックの画素数よりも少ないため、低解像ブロックが圧縮された符号化データは、従来の動き情報よりも付加情報の符号量が少なくなる。これにより、付加情報の符号量増大は低減され、その結果、符号化処理と復号処理における処理効率は向上する。

特に、動画像復号装置では、まず、拡大ブロックを分割して小ブロックを得、小ブロックと復号済み画像とから予測小ブロックを生成する。これにより、動画像の細かい領域の高精度な予測を行うことが可能な複数の予測小ブロックを得る。そして、これらを統合することで、予測ブロックを生成する。したがって、上述した処理効率の向上と同時に、符号量の少ない低解像ブロックを利用した高精度な予測が可能となる。

上述した動画像符号化装置は、前記符号化対象の画像を符号化対象ブロックに分割する第３の分割手段と、前記分割された符号化対象ブロックと前記予測ブロックとを画素単位で減算して誤差ブロックを生成する減算手段と、前記生成された誤差ブロックを符号化する符号化手段と、前記符号化された符号化データを復号して、復号誤差ブロックを生成する復号手段と、前記予測ブロックと前記復号誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。

また、動画像符号化装置では、拡大手段が、前記生成された復号低解像ブロックの画素と予測対象ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測対象ブロックと同じ画素数のブロックを生成することが望ましい。

また、動画像符号化装置では、生成手段が、前記予測対象ブロックを所定の変換規則に基づいて当該予測対象ブロックよりも画素数が少ない低解像予測対象ブロックに変換する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像予測対象ブロックと前記低解像予測ブロックとを画素単位で減算して低解像誤差ブロックを生成する手段と、当該低解像誤差ブロックを符号化した後、前記低解像誤差ブロックの符号化データを復号することで復号低解像誤差ブロックを生成する手段と、前記復号低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを復元する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第２の予測ブロックを生成する手段と、前記変換規則に基づいて該第２の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記生成手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第２の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。

上述した動画像復号装置は、前記符号化データを復号し、誤差ブロックを生成する生成手段と、前記予測ブロックと前記誤差ブロックとを画素単位で加算して復号ブロックを生成し、当該復号ブロックを前記保持手段に出力する出力手段とを更に備えることが望ましい。

また、動画像復号装置では、拡大手段が、前記生成された低解像ブロックの画素と予測ブロックの上辺および左辺に隣接する復号済みブロックの画素を用いて、前記予測ブロックと同じ画素数のブロックを生成することが望ましい。

また、動画像復号装置では、復号手段が、前記入力された符号化データを復号して低解像誤差ブロックを復号する手段と、低解像予測ブロックを生成する低解像予測ブロック生成手段と、前記低解像誤差ブロックと前記低解像予測ブロックとを画素単位で加算して前記低解像ブロックを生成する手段とを含んで構成され、前記低解像予測ブロック生成手段が、前記予測ブロックと同じ画素数の第２の予測ブロックを生成する手段と、所定の規則に基づいて該第２の予測ブロックから前記低解像予測ブロックを生成する手段とを含んで構成され、前記復号手段は、さらに、前記低解像誤差ブロック内のすべての差分画素値がゼロの場合には、前記第２の予測ブロックを前記予測ブロックとして出力する手段を含んで構成されることが望ましい。

更に、本発明に係る動画像符号化・復号技術は、装置のみならず、方法あるいはプログラムの形態を採ることもでき、以下にその特徴を説明する動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラムは、動画像符号化装置、及び動画像復号装置に関する上述の効果と同様の効果を奏する。

すなわち、本発明に係る動画像符号化方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像符号化方法であって、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第１の分割ステップと、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成ステップと、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大ステップと、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第２の分割ステップと、前記復号済み画像と前記生成された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。

本発明に係る動画像復号方法は、復号済み画像を用いてブロック単位で予測ブロックを生成する動画像復号方法であって、入力された符号化データを復号して、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号ステップと、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大ステップと、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割ステップと、前記復号済み画像と前記分割された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測ステップと、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合ステップとを含む。

また、本発明に係る動画像符号化プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像符号化プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化対象の画像を、複数の予測対象ブロックに分割する第１の分割処理と、前記予測対象ブロックを、当該予測対象ブロックよりも画素数が少ない低解像ブロックに変換及び符号化した後、当該低解像ブロックの符号化データを復号することで、復号低解像ブロックを生成する生成処理と、前記復号済み画像を用いて、前記生成された復号低解像ブロックを、前記予測対象ブロックと同じ画素数のブロックに拡大する拡大処理と、前記拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する第２の分割処理と、前記復号済み画像と前記生成された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測処理と、前記生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。

本発明に係る動画像復号プログラムは、復号済み画像と、ブロック単位で予測ブロックを生成する機能を有する動画像復号プログラムとを保持する保持手段を備えるコンピュータに、入力された符号化データを復号して、予測ブロックよりも画素数が少ない低解像ブロックを生成する復号処理と、前記復号済み画像を用いて、前記生成された低解像ブロックを、前記予測ブロックと同じ画素数のブロックに拡大する拡大処理と、当該拡大されたブロックを、所定の分割規則に基づいて分割することで、複数の小ブロックを生成する分割処理と、前記復号済み画像と前記分割された小ブロックとを用いて、当該小ブロックの予測小ブロックを生成する予測処理と、当該生成された複数の予測小ブロックを、前記分割規則に基づいて統合することで、予測ブロックを生成する統合処理とを実行させる。

上記目的を達成するために、本発明に係る動画像復号装置は、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置であって、復号済み画像が保持される保持手段と、入力された符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備え、前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

また、上記目的を達成するために、本発明に係る動画像符号化装置は、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置であって、復号済み画像が保持される保持手段と、入力された画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段とを備え、前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

動画像符号化装置と動画像復号装置間で高精度な予測符号化を行うには、動画像符号化装置において、符号化対象ブロックよりも画素数の少ない低解像ブロックを圧縮符号化した低解像ブロック情報をエントロピー符号化して動画像復号装置に送信することが望ましい。低解像ブロックは符号化対象ブロックよりも画素数が少なく、低解像ブロック情報は、符号化対象ブロックの予測に必要とされる従来の予測情報よりも付加情報の符号量が少なくなるため、付加情報の符号量増大を回避し、処理効率を高めることができる。

また、動画像復号装置では、低解像ブロック情報から低解像ブロックを復号し、得られた低解像ブロックを複数の低解像分割ブロックに分割し、各低解像分割ブロックと復号済み画像とから、低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成し、該予測小ブロックを統合することで予測ブロックを生成することが望ましい。この場合、低解像ブロックをさらに分割して低解像分割ブロックを得て、低解像分割ブロックと復号済み画像とから、予測小ブロックを生成することで、動画像の細かい領域の高精度な予測を行うことが可能な予測小ブロックを得て、該予測小ブロックを統合することで予測ブロックを生成することができる。即ち、少ない符号量の低解像ブロック情報を用いながら、高精度な予測を行い、同時に、処理効率を高めることができる。

本発明に係る動画像復号装置では、前記エントロピー復号手段は、前記符号化データをエントロピー復号することで、当該符号化データに含まれ符号化対象ブロックと予測ブロックとの誤差を表す誤差ブロック情報をさらに生成し、前記動画像復号装置は、前記エントロピー復号手段により生成された誤差ブロック情報を復号することで、誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。

本発明に係る動画像符号化装置は、前記符号化対象ブロック分割手段により分割された符号化対象ブロックと、前記ブロック統合手段により生成された予測ブロックとの誤差を画素単位で求めることで、当該誤差を表す誤差ブロックを生成する誤差ブロック生成手段と、前記誤差ブロック生成手段により生成された誤差ブロックを符号化することで誤差ブロック情報を生成する誤差ブロック符号化手段と、前記誤差ブロック符号化手段により生成された誤差ブロック情報を復号することで、復号誤差ブロックを生成する誤差ブロック復号手段と、前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された復号誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段とをさらに具備することが望ましい。

また、本発明に係る動画像符号化装置は、前記復号低解像ブロック生成手段により生成された低解像ブロック情報および前記誤差ブロック符号化手段により生成された誤差ブロック情報をエントロピー符号化するエントロピー符号化手段をさらに具備することが望ましい。

なお、本発明は、動画像復号方法、動画像符号化方法、動画像復号プログラム、動画像符号化プログラムとして捉えることもでき、以下のように記述することができる。これらは、上記の動画像復号装置、動画像符号化装置と同様の効果を奏する。

本発明に係る動画像復号方法は、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置における動画像復号方法であって、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号工程と、前記エントロピー復号工程にて生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号工程と、前記低解像ブロック復号工程にて生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有し、前記予測小ブロック生成工程は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

本発明に係る動画像符号化方法は、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置における動画像符号化方法であって、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割工程と、前記符号化ブロック分割工程にて分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成工程と、前記復号低解像ブロック生成工程にて生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程とを有し、前記予測小ブロック生成工程は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

本発明に係る動画像復号プログラムは、復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置、に設けたコンピュータを、入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させ、前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

本発明に係る動画像符号化プログラムは、復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置、に設けたコンピュータを、入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで、低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、として機能させ、前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、ことを特徴とする。

本発明によれば、付加情報の符号量増大が抑制されるので、符号化処理や復号処理における処理効率を高めることができる。

第１実施形態における動画像符号化装置の構成を示す図である。 第１実施形態における動画像復号装置の構成を示す図である。 ブロックマッチングを説明するための図である。 ブロック縮小化処理を説明するための図である。 ブロック拡大処理を説明するための第１の図である。 ブロック拡大処理を説明するための第２の図である。 拡大ブロックの４×４分割を説明するための図である。 拡大ブロックの２×２分割を説明するための図である。 ４×４小ブロック動き推定処理を説明するための図である。 ２×２小ブロック動き推定処理を説明するための図である。 ブロック符号化処理を説明するためのフローチャートである。 低解像ブロック符号化・復号処理を説明するためのフローチャートである。 小ブロック動き推定処理を説明するためのフローチャートである。 ブロック復号処理を説明するためのフローチャートである。 低解像ブロック復号処理を説明するためのフローチャートである。 動画像符号化処理又は動画像復号処理をコンピュータシステムにより実現するためのプログラムを格納するデータ記憶媒体について説明する図である。 第１実施形態の動画像符号化プログラムの構成を示す図である。 第１実施形態の動画像復号プログラムの構成を示す図である。 ブロック分割を伴うブロックマッチングを説明するための図である。 ブロックサイズに関する第４の変形態様を説明するための図である。 第５変形態様におけるブロック拡大処理を説明するための図である。 第５変形態様における動画像符号化装置の構成を示す図である。 第５変形態様における動画像復号装置の構成を示す図である。 第６変形態様におけるブロック縮小化処理を説明するための図である。 第８変形態様における動画像符号化装置の構成を示す図である。 第８変形態様における動画像復号装置の構成を示す図である。 第８変形態様におけるブロック拡大処理を説明するための図である。 第２実施形態における動画像復号装置を説明する図である。 第２実施形態における動画像符号化装置を説明する図である。 第２実施形態におけるブロック復号処理フローを示した図である。 第２実施形態における低解像ブロック復号処理フローを示した図である。 第２実施形態における小ブロック予測処理フローを示した図である。 第２実施形態におけるブロック符号化処理ブローを示した図である。 第２実施形態における低解像ブロック符号化・復号処理フローを示した図である。 分割ブロック予測処理を説明するための図である。 ブロック画素配置を説明するための図である。 第２実施形態の動画像復号プログラムの構成図である。 第２実施形態の動画像符号化プログラムの構成図である。

［第１実施形態］
以下、添付図面を参照しながら、本発明の第１実施形態について説明する。図１は、本発明に係る予測符号化を実現可能な動画像符号化装置（以下、単に「符号化装置１００」と記す。）の構成を示す図である。同様に、図２は、本発明に係る予測復号を実現する動画像復号装置（以下、単に「復号装置２００」と記す。）の構成を示す図である。これら各装置の有する構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。また、両図において、同一の機能を有する構成要素には同一の符号を付す。

まず、図１を参照して、符号化装置の構成を説明する。符号化装置１００は、符号化ブロック分割部２５１により、入力フレーム２０１を、１６×１６画素の符号化対象ブロック（予測対象ブロック）２０２に分割する。そして、分割して得られた複数の符号化対象ブロック（予測対象ブロック）２０２をラスタスキャン順に予測・符号化する装置である。

ここで、予測対象ブロックとは、入力フレーム２０１をブロック分割することにより得られるブロックのうち、次の予測対象となるブロックである。符号化対象ブロックとは、入力フレーム２０１をブロック分割することにより得られるブロックのうち、次の符号化対象となるブロックである。本実施の形態では、予測処理の対象ブロックと符号化処理の対象ブロックとを同サイズとするために、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。

符号化対象ブロック（予測対象ブロック）２０２は、まず復号低解像ブロック生成部２５２に入力される。復号低解像ブロック生成部２５２は、予測対象ブロック２０２よりも画素数の少ない復号低解像ブロック１１０、及び、低解像ブロック情報１０２を生成する。動き推定部２１１には、予測対象ブロック２０２がラスタスキャン順に入力される。動き推定部２１１は、入力された予測対象ブロック２０２と、フレームメモリ１５３に保存されている過去の復号フレームから抽出される複数の候補予測ブロック２０３との間でブロックマッチングを実行し、１本の低解像ブロック予測用動きベクトル１０４を検出する。

ここで、図３を参照し、ブロックマッチングを説明する。ブロックマッチングとは、予測対象ブロックの動きベクトルを検出する技術である。ブロックマッチングでは、動き推定部２１１は、過去に復号された復号フレーム５２０上に探索範囲５２２を設定し、探索範囲内を探索する。次に、予測対象ブロック２０２との差分評価値が最小となるブロック１０５の位置を検出する。そして、復号フレーム上において予測対象ブロック２０２と空間的に同一位置にある仮想ブロック５２１から、検出されたブロック１０５までの移動量を、動きベクトル１０４とする。なお、差分評価値としては、検出対象のブロックと符号化対象ブロックとの間で対応する画素の差分絶対値和や、動きベクトルの符号量の換算値を当該差分絶対値和に加算した値などを適用することができる。

動き補償部１３３は、低解像ブロック予測用動きベクトル１０４に対応する低解像予測ブロック１０６を生成する。具体的には、低解像ブロック予測用動きベクトル１０４に基づいて、フレームメモリ１５３に保存されている過去の復号フレーム５２０から、８×８画素のブロックに対応する画素を取得し、これを低解像予測ブロック１０６とする。図４に、１６×１６画素サイズのブロック１０と８×８画素サイズの低解像ブロック１１との対応関係を示す。図４に示すように、８×８画素サイズの低解像ブロック１１は、１６×１６画素サイズのブロック１０から、縦横１ライン間隔で画素を抽出したブロックである。

ここで、低解像ブロックを画素抽出によって生成することは、後述する小ブロック予測処理の予測性能を高める効果がある。つまり、低解像ブロックの各画素が高周波成分を保持しているため、符号化装置１００は、動き検出の際に、細かい特徴を捉え易くなる。その結果、予測性能が向上する。

符号化対象ブロック（予測対象ブロック）２０２に関しても、縮小化処理部１３４により、図４に示した規則に従って、符号化対象ブロック２０２よりも画素数の少ない低解像符号化対象ブロック（低解像予測対象ブロック）２０５に変換される。減算部２１３は、低解像符号化対象ブロック（低解像予測対象ブロック）２０５と低解像予測ブロック１０６とにおける各画素を減算し、低解像誤差ブロック２０６を生成する。

変換部２１４は、低解像誤差ブロック２０６を４個の４×４ブロックに分割した後、これら各４×４ブロックに対して、４×４離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を施す。そして、それぞれ１６個の低解像誤差ブロックに関する変換係数２０７を生成する。量子化部２１５は、変換係数２０７を量子化し、低解像誤差ブロックの量子化変換係数１０７を生成する。統合部２１６は、動きベクトル１０４と低解像誤差ブロックの量子化変換係数１０７とを纏め、低解像ブロック情報１０２として、エントロピー符号化部２５５に出力する。

逆量子化部１３６は、量子化変換係数１０７を逆量子化し、低解像誤差ブロックの復号量子化変換係数１０８を生成する。逆変換部１３７は、復号量子化変換係数１０８を逆ＤＣＴ変換し、復号低解像誤差ブロック１０９を生成する。加算部２１７は、低解像予測ブロック１０６と復号低解像誤差ブロック１０９とにおける各画素を加算し、復号低解像ブロック１１０を生成する。

拡大ブロック生成部１５４は、復号低解像ブロック１１０を、図５に示す拡大ブロック１２７に拡大する。すなわち、拡大ブロック生成部１５４は、フレームメモリ１５３に保存されている現フレームの復号済み画素から、現在予測対象となっているブロック位置の上辺、及び左辺に隣接するブロックの復号画素を、境界復号画素群１２３として取得し、図５に示すように、復号低解像ブロック１１０の周囲に配置する。

続いて、拡大ブロック生成部１５４は、図６に示す内挿計算処理により、黒四角で示す画素の内挿値を算出し、拡大ブロック１２７を生成する。この処理により、８×８ブロックサイズの復号低解像ブロック１１０は、後述の予測処理によって生成される予測ブロックと同じブロックサイズ（１６×１６）の拡大ブロック１２７に拡張される。なお、予測対象のブロックが現フレームの端のブロックである場合には、隣接するブロックが存在しないため、拡大ブロック生成部１５４は、境界復号画素群１２３を取得することができない。この場合には、復号低解像ブロック１１０の境界画素にて、これを代用する。

ブロック分割部１６２は、図７のブロック１２７ａに示すように、拡大ブロック１２７を、１６個の４×４小ブロック１１２ａに分割する。更に、ブロック分割部１６２は、図８のブロック１２７ｂに示すように、拡大ブロック１２７を、６４個の２×２小ブロック１１２ｂに分割する。これらの分割された各小ブロックは、１個の４×４小ブロック１１２ａと、これと空間的に同一位置にある４個の２×２小ブロック１１２ｂとを１組として、順に、小ブロック予測部１５２に入力される。

小ブロック予測部１５２は、ブロックマッチングにより小ブロック１１２の動きベクトル１１５を検出する小ブロック動き推定部１６３と、検出された小ブロック動きベクトル１１５を用いて小ブロック１１２の予測小ブロック１１６を生成する小ブロック動き補償部１６４とから構成される。本実施の形態では、小ブロック予測部１５２は、これらの機能を用いて、各々の２×２小ブロック１１２ｂの予測小ブロック１１６ｂを生成する。

より具体的には、
（１）小ブロック動き推定部１６３は、４×４小ブロックの動きベクトル検出処理を実行する。以下、１６個の４×４小ブロック１１２ａのうち、特に図９に示す左上端のブロック１１２ａ１に着目し、小ブロック予測部１５２の機能を説明するが、他の１５個の４×４小ブロックについても、空間的なブロック位置が異なるだけで、同様の手順によって処理される。図９は、１６分割された４×４小ブロックのうち、左上端に位置する４×４小ブロック１１２ａ１の動きベクトル１１５ａ１の検出手法を説明するための図である。小ブロック動き推定部１６３は、４×４小ブロック１１２ａが小ブロック動き推定部１６３に入力されると、過去に復号されたフレーム５２０（フレームメモリ１５３に保存）上に探索範囲１８１ａ１を設定する。続いて、所与の規則に従って探索範囲内を探索し、４×４小ブロック１１２ａ１との差分評価値（小ブロック内における画素の差分絶対値の総和）が最小となる４×４小ブロック１１６ａ１の位置を検出し、これを４×４予測小ブロック１１６ａ１とする。そして、小ブロック動き推定部１６３は、４×４小ブロック１１２ａ１と空間的に同一位置にある復号フレーム５２０上の４×４ブロック１１７ａ１と、検出された４×４予測小ブロック１１６ａ１との間における移動量を、４×４小ブロック１１２ａ１の動きベクトル１１５ａ１とする。

なお、探索範囲１８１ａ１は、予め定めたサイズとし、低解像予測ブロックの生成に用いた符号化済みの低解像ブロック予測用動きベクトル１０４を中心とした位置に設定するものとする。これは、検出される４×４小ブロックの動きベクトルが低解像ブロック予測用動きベクトル１０４に近い可能性が高いことを考慮してのものであり、探索精度を高める効果や探索範囲を小さく設定できる効果がある。したがって、同一の符号化対象ブロックに属する１６個の４×４小ブロックの探索範囲の中心点に関しても同様に、低解像ブロック予測用動きベクトル１０４の示す位置に設定される。

（２）小ブロック動き推定部１６３は、（１）にて動きベクトルが検出された４×４小ブロック１１２ａ１と同一の組に属する４個の２×２小ブロックの動きベクトルを検出する。以下、４個の２×２小ブロックのうち、特に、図１０に示す左上端のブロック１１２ｂ１に着目して説明する。図１０は、６４分割された２×２小ブロックのうち、左上端に位置する２×２小ブロック１１２ｂ１の動きベクトル１１５ｂ１の検出手法を説明するための図である。小ブロック動き推定部１６３は、２×２小ブロック１１２ｂ１が小ブロック動き推定部１６３に入力されると、過去に復号されたフレーム５２０（フレームメモリ１５３に保存）上に探索範囲１８１ｂ１を設定する。続いて、所定の規則に従って探索範囲内を探索し、２×２小ブロック１１２ｂ１との差分評価値（小ブロック内における画素の差分絶対値の総和）が最小となる２×２小ブロック１１６ｂ１の位置を検出し、これを２×２予測小ブロック１１６ｂ１とする。そして、小ブロック動き推定部１６３は、２×２予測小ブロック１１２ｂ１と空間的に同一位置にある復号フレーム５２０上の２×２ブロック１１７ｂ１と、検出された２×２小ブロック１１６ｂ１との間の移動量を、２×２小ブロック１１２ｂ１の動きベクトル１１５ｂ１とする。更に、残りの３個の２×２小ブロックについても、同様の方法で２×２小ブロックの動きベクトルを検出する。

なお、探索範囲１８１ｂ１は、予め定めたサイズとし、２×２小ブロック１１２ｂ１と同じ組に属する４×４小ブロック１１２ａ１の動きベクトル１１５ａ１を中心とした位置に設定する。これは、検出される２×２小ブロックの動きベクトルが空間的に同一位置にあること、すなわち、当該動きベクトルが、同じ組に属する４×４小ブロックの動きベクトルに近い可能性が高いこと、を考慮したものであり、探索範囲を小さく設定できる効果がある。したがって、小ブロック動き推定部１６３は、同一の組に属する４個の２×２小ブロックの探索範囲の中心点も同様に、空間的に同一位置にある４×４小ブロックの動きベクトル１１５ａ１により示される位置に設定する。

（３）検出された４本の２×２小ブロックの動きベクトル１１５ｂは、小ブロック動き補償部１６４に入力される。小ブロック動き補償部１６４は、復号フレーム５２０（フレームメモリ１５３に保存）から、２×２小ブロックの動きベクトル１１５ｂに対応する予測小ブロック１１６ｂを取得する。このような小ブロック予測部１５２の処理は、復号装置２００が符号化データから生成可能なデータのみを用いて実行されるため、復号装置２００においても同様の処理結果を得ることができる。つまり、復号装置２００でも、符号化装置１００と同じ動きベクトルを検出することができる。したがって、各２×２小ブロックの動きベクトルは、符号化する必要がない。

ブロック統合部１５５は、６４個の２×２予測小ブロックのそれぞれを、ブロック分割部１６２における分割規則に基づいて、分割前の元の位置に並べることにより統合し、これにより１６×１６画素の予測ブロック１１８を生成する。減算部２５３は、符号化対象ブロック２０２と予測ブロック１１８とにおける各画素の差分値を計算して誤差ブロック２０８を生成する。

誤差ブロック符号化部２５４は、誤差ブロック２０８を符号化して誤差ブロック情報１１９を生成し、エントロピー符号化部２５５に出力する。図１に示したように、誤差ブロック符号化部２５４は、変換部２１８と量子化部２１９とをその構成要素とする。変換部２１８は、誤差ブロック２０８を、４×４単位で４×４離散コサイン変換（ＤＣＴ）し、１６個の４×４ブロックのそれぞれについて、１６個の変換係数２０９を生成する。量子化部２１９は、各変換係数２０９を量子化し、誤差ブロック情報（例えば、量子化変換係数）１１９を生成する。

誤差ブロック復号部１５６は、誤差ブロック情報１１９を復号して復号誤差ブロック１２１を生成する。図１に示したように、誤差ブロック復号部１５６は、逆量子化部１４０と逆変換部１４１とをその構成要素とする。逆量子化部１４０は、１６個の４×４ブロックそれぞれについて、１６個の量子化変換係数１１９を逆量子化することにより、復号量子化変換係数１２０を生成する。逆変換部１４１は、各４×４ブロックの復号量子化変換係数１２０を逆ＤＣＴ変換することで、復号誤差ブロック１２１を生成する。

加算部１５７は、予測ブロック１１８と復号誤差ブロック１２１とにおける各画素を加算し、復号ブロック１２２を生成する。生成された復号ブロック１２２はフレームメモリ１５３に保存され、その結果、復号済み画像は更新される。エントロピー符号化部２５５は、低解像ブロック情報１０２と誤差ブロック情報１１９とをエントロピー符号化することにより、符号化データ１０１に多重化する。

次に、符号化装置１００の動作を説明する。併せて、本発明に係る動画像符号化方法を構成する各ステップについて説明する。図１１は、予測符号化の対象ブロックの符号化処理を説明するためのフローチャートである。なお、図１１のブロック符号化処理において、後述するブロック復号処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。

まず、符号化ブロック分割部２５１により入力フレーム２０１が分割されると、符号化装置１００は、符号化対象ブロック２０２を得る。Ｓ１では、復号低解像ブロック生成部２５２が、図１２に示す低解像ブロック符号化・復号処理を実行する。

図１２のＳ１０１では、次の符号化対象ブロック（予測対象ブロック）が入力される。Ｓ１０２では、動き推定部２１１が、予測対象ブロックと、フレームメモリに保存されている過去に復号された復号フレームとから、低解像ブロック予測用動きベクトルを検出する。なお、動きベクトルの検出手法は、復号低解像ブロック生成部２５２の構成説明において既述のため、省略する。

Ｓ１０３では、動き補償部１３３が、フレームメモリの復号フレームから低解像ブロック予測用動きベクトルに対応する低解像予測ブロックを取得する。Ｓ１０４では、縮小化処理部１３４が、図４を参照して説明した上述の変換規則に基づいて、予測対象ブロックを低解像予測対象ブロックに変換する。Ｓ１０５では、減算部２１３が、低解像予測対象ブロックと低解像予測ブロックとの間において各画素を減算し、低解像誤差ブロックを生成する。

Ｓ１０６では、変換部２１４が低解像誤差ブロックをＤＣＴ変換した後、量子化部２１５がＤＣＴ係数を量子化する。その結果、低解像誤差ブロックの量子化変換係数が生成される。なお、Ｓ１０６における量子化精度は、後述する図１１のＳ８における量子化精度よりも高く設定する。これは、符号化装置１００が低解像ブロックの画質を高くすることにより、Ｓ３、Ｓ４における２×２小予測ブロック検出精度を高くすることができる、という効果による。

図１２のＳ１０７では、逆量子化部１３６と逆変換部１３７とが、低解像誤差ブロックの量子化変換係数を復号（逆量子化・逆変換）する。その結果、復号低解像誤差ブロックが生成される。Ｓ１０８では、加算部２１７が、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素を加算し、復号低解像ブロックを生成する。そして、統合部２１６が、動きベクトルと低解像誤差ブロックの量子化変換係数とを統合して低解像ブロック情報を生成する（Ｓ１０９）。

図１１に戻り、Ｓ２では、拡大ブロック生成部１５４が、図５及び図６に示したように、復号低解像ブロックを、予測ブロックと同サイズ（１６×１６画素）の拡大ブロック１２７に拡大する。拡大ブロックの生成手法に関しては、拡大ブロック生成部１５４の機能説明にて、図５、図６を参照して説明した通りであるので省略する。

Ｓ３では、図７、図８に示したように、ブロック分割部１６２が、拡大ブロックを４×４小ブロックと２×２小ブロックとに分割する。分割された各小ブロックは、１個の４×４小ブロックと、空間的にこれと同一位置にある４個の２×２小ブロックとを１組として、小ブロック動き推定部１６３に入力される。

Ｓ４では、小ブロック動き推定部１６３が、上記組単位で、４個の２×２小ブロックの動きベクトルを検出する。小ブロック動き推定処理は、１個の４×４小ブロックと４個の２×２小ブロックとに対してそれぞれ実行される。その順序は、先に４×４小ブロックに対する処理が実行され、その後、４個の２×２小ブロックに対する処理が実行される。

ここで、図１３を参照して、小ブロック動き推定処理を説明する。まず、Ｓ４１では小ブロックが入力され、評価値Ｅminが、最大整数値（初期値）として設定される（Ｓ４２）。次に、Ｓ４３にて、小ブロックのサイズが判定される。その後、その判定結果に応じた処理Ｓ４４１またはＳ４４２が実行される。すなわち、過去の復号フレーム５２０（フレームメモリ１５３に保存）上に、探索範囲のサイズと探索範囲の中心位置（探索中心点）とが設定される。

続いて、復号フレーム５２０の探索範囲内における予測小ブロックの候補が、その探索中心点からスパイラル順に探索され、その結果、上記評価値Ｅminが最小となる予測小ブロックが特定される。具体的には、小ブロック動き推定部１６３は、フレームメモリ１５３の復号フレームから、次の候補の予測小ブロック１１３を取得し（Ｓ４５）、評価値Ｅを計算する（Ｓ４６）。評価値Ｅは、小ブロックと予測小ブロックとの間における画素差分値の絶対値の総和である。

Ｓ４７では、評価値Ｅが評価値Ｅminよりも小さいか否かが判定される。評価値Ｅが評価値Ｅminより小さい場合には（Ｓ４７；ＹＥＳ）、評価値Ｅminが評価値Ｅに更新されるとともに、小ブロックの動きベクトルが、小ブロックの位置から予測小ブロックの現候補ブロックの位置までの移動量に更新される（Ｓ４８）。一方、評価値Ｅが評価値Ｅmin以上の場合には（Ｓ４７；ＮＯ）、Ｓ４８の処理は省略され、Ｓ４９に移行する。

Ｓ４９では、探索範囲内における全候補の予測小ブロックの探索が終了したか否かが判定される。以降、Ｓ４９にて探索範囲内における全候補の予測小ブロックの探索が終了したと判断されるまで、Ｓ４５〜Ｓ４９の一連の処理が繰り返し実行される。そして、上記探索が終了したと判断された時点で、小ブロック動き推定処理は終了する。

図１１に戻り、Ｓ５では、小ブロック動き補償部１６４が、Ｓ３とＳ４にて検出された４本の２×２小ブロックの動きベクトルに対応する２×２予測小ブロック１１６を、フレームメモリ１５３の復号フレームからそれぞれ取得する。Ｓ３〜Ｓ５の各処理は、１６組の小ブロックについて実行される。

Ｓ６では、ブロック統合部１５５が、Ｓ３で用いた分割規則に基づいて、６４個の２×２予測小ブロックを分割前の位置に並べることにより、１６×１６画素の予測ブロックに統合する。Ｓ７では、減算部２５３が、符号化対象ブロックと予測ブロックとの間で各画素を減算し、誤差ブロックを生成する。Ｓ８では、誤差ブロック符号化部２５４が、誤差ブロックを符号化（変換・量子化）して、誤差ブロック情報（例えば、量子化変換係数）を生成する。

Ｓ９では、誤差ブロック復号部１５６が、上記誤差ブロック情報を復号（逆量子化・逆変換）し、復号誤差ブロックを生成する。Ｓ１０では、加算部１５７が、予測ブロックと復号誤差ブロックとの間で各画素を加算し、復号ブロックを生成する。生成された復号ブロックが、フレームメモリ１５３の現在の復号フレームに保存されると（Ｓ１１）、エントロピー符号化部２５５は、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し（Ｓ１２）、ブロック符号化処理は終了する。

次いで、図２に示した復号装置２００の構成を説明する。復号装置２００は、ブロック単位の予測処理と符号化データ１０１の復号処理とを実行し、ブロック単位でラスタスキャン順に復号ブロック１２２を再生する装置である。本実施の形態では、予測処理により生成される予測ブロックと復号ブロックとは同サイズであり、共に１６×１６画素とする。

エントロピー復号部１５０は、復号対象とする復号ブロックの生成に必要とされる符号化データ１０１の入力を受けると、エントロピー復号により、符号化データ１０１を、低解像ブロック情報１０２と誤差ブロック情報１１９とに分離する。低解像ブロック復号部１５１は、低解像ブロック情報１０２を復号することにより、予測ブロックよりも画素数の少ない８×８画素の復号低解像ブロック１１０を生成する。

分離部１３１は、低解像ブロック情報１０２を、低解像ブロック予測用動きベクトル１０４と低解像誤差ブロック情報（例えば、低解像誤差ブロックの量子化変換係数）１０７とに分離する。動き補償部１３３は、低解像ブロック予測用動きベクトル１０４に対応する低解像予測ブロック１０６を、フレームメモリ１５３に保存されている復号フレーム５２０から取得する。

逆量子化部１３６は、低解像誤差ブロックの量子化変換係数１０７を逆量子化して、低解像誤差ブロックの復号量子化変換係数１０８を生成する。逆変換部１３７は、復号量子化変換係数１０８を逆ＤＣＴ変換することにより、復号低解像誤差ブロック１０９を生成する。加算部１３５は、低解像予測ブロック１０６と復号低解像誤差ブロック１０９とにおける各画素の加算値を算出し、復号低解像ブロック１１０を生成する。

なお、拡大ブロック生成部１５４、ブロック分割部１６２、小ブロック予測部１５２、及び、ブロック統合部１５５の有する各機能と処理結果は、符号化装置１００の説明と同様である。したがって、その説明、及び説明のための図示は省略する。

また、誤差ブロック復号部１５６は、誤差ブロック情報（例えば、量子化変換係数）１１９を復号して復号誤差ブロック１２１を生成する。誤差ブロック復号部１５６は、逆量子化部１４０と逆変換部１４１とを有する。逆量子化部１４０は、量子化変換係数１１９を逆量子化し、復号量子化変換係数１２０を生成する。逆変換部１４１は、復号量子化変換係数１２０を逆ＤＣＴ変換し、復号誤差ブロック１２１を生成する。

加算部１５７は、予測ブロック１１８の各画素について、復号誤差ブロック１２１と空間的に一致する位置の画素と当該画素との加算値を算出し、これにより復号ブロック１２２を生成する。復号ブロック１２２はフレームメモリ１５３に保存され復号済み画像が更新される。

続いて、復号装置２００の動作を説明し、併せて、本発明に係る動画像復号方法を構成する各ステップについて説明する。なお、図１４のブロック復号処理において、図１１に示したブロック符号化処理とその内容及び処理結果が共通するステップの符号を図中括弧内に示す。

次のブロックの復号処理が開始されると、まず、Ｔ１にて、当該ブロックの復号に必要とされる１ブロック分の符号化データが、エントロピー復号部１５０に入力される（Ｔ１）。Ｔ２では、エントロピー復号部１５０が、入力された符号化データをエントロピー復号し、低解像ブロック情報と誤差ブロック情報とを得る。これらの情報のうち、低解像ブロック情報は、低解像ブロック復号処理４０４により、低解像ブロック復号部１５１に入力され、復号低解像ブロックに復号される。

ここで、図１５を参照し、Ｔ３における低解像ブロック復号処理を説明する。Ｔ３１では、低解像ブロック情報が分離部１３１に入力される。分離部１３１は、Ｔ３２にて、低解像ブロック情報を動きベクトルと低解像誤差ブロック情報とに分離する。Ｔ３３では、動き補償部１３３が、過去に復号された復号フレーム５２０（フレームメモリ１５３に保存）から、低解像ブロック予測用動きベクトル１０４に対応する低解像ブロック予測ブロック１０６を取得する。

Ｔ３４では、逆量子化部１３６が、低解像誤差ブロック情報としての量子化変換係数１０７を逆量子化し、復号量子化変換係数１０８を生成する。更に、逆変換部１３７が、この復号量子化変換係数１０８を逆ＤＣＴ変換し、復号低解像誤差ブロック１０９を生成する。Ｔ３５では、加算部１３５が、低解像予測ブロック１０６と復号低解像誤差ブロック１０９との各画素を加算して、復号低解像ブロック１１０を生成する。

図１４に戻り、図５及び図６に示したように、拡大ブロック生成部１５４が、復号低解像ブロック１１０を予測ブロックと同サイズ（１６×１６画素）の拡大ブロック１２７に拡大する（Ｔ４）。拡大ブロックの生成手法に関しては、拡大ブロック生成部１５４の機能説明にて、図５、図６を参照して説明した通りであるので省略する。

Ｔ５〜Ｔ７では、ブロック分割部１６２と小ブロック予測部１５２とが、６４個の２×２小ブロックに拡大ブロックを分割し、６４個の２×２予測小ブロックを生成する。なお、図１４のＴ５，Ｔ６の各処理は、図１１に示したＳ３，Ｓ４の各処理とそれぞれ同様であるので、その詳細な説明は省略する。また、Ｔ７の処理は、図１１のＳ５の処理と同様であるので、その説明は省略する。

Ｔ８では、ブロック統合部１５５は、Ｔ６及びＴ７にて生成された６４個の２×２予測小ブロックを、Ｔ５における分割規則に基づいて、分割前の元の位置に並べる。これにより、上記予測小ブロックを１６×１６画素の予測ブロックに統合する。

Ｔ９では、誤差ブロック復号部１５６が、誤差ブロック情報（例えば量子化変換係数）を復号（逆量子化・逆変換）し、復号誤差ブロックを生成する。Ｔ１０では、加算部１５７が、予測ブロックと復号誤差ブロックとの各画素を加算し、復号ブロックを生成する。Ｔ１１では、復号ブロックがフレームメモリ１５３に保存され、その結果、復号済み画像が更新される。

図１６（ａ）は、本実施の形態における画像符号化処理を実現するための動画像符号化プログラム、及び、同画像復号処理を実現するための動画像復号プログラムが格納されたフレキシブルディスクの物理フォーマットを例示している。また、図１６（ｂ）は、上記フレキシブルディスクの正面の外観と断面構造を示す。フレキシブルディスクＦＤはケースＦ内に内蔵され、当該ディスクの表面には、外周からは内周に向かって同心円状に複数のトラックＴｒが形成されている。これら各トラックは、角度方向に、１６個のセクタＳｅに分割されている。フレキシブルディスクＦＤ上に割り当てられた領域には、データとして、上述のプログラムが記録されている。

フレキシブルディスクＦＤに上記プログラムを記録する場合には、図１６（ｃ）に示すように、コンピュータシステムＣｓからフレキシブルディスクドライブＦＤＤを介する。フレキシブルディスクＦＤ内のプログラムにより、符号化装置１００または復号装置２００をコンピュータシステムＣｓ中に構築する場合には、フレキシブルディスクドライブＦＤＤが、上記プログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。

図１７は、本発明に係る動画像符号化プログラム２６１の構成を示す図である。動画像符号化プログラム２６１は、記録媒体２６０に記録されている。記録媒体２６０は、例えば、上述したフレキシブルディスクであるが、光ディスクやＩＣカード、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは半導体メモリであってもよい。コンピュータシステムＣｓには、ＰＣ（Personal Computer）に限らず、ＣＰＵを具備し、ソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

次に、本発明に係る動画像符号化プログラムおよび動画像復号プログラムの構成について説明する。動画像符号化プログラム２６１は、図１７に示すように、記録媒体２６０に形成されたプログラム格納領域２６０ａ内に格納されている。動画像符号化プログラム２６１は、動画像符号化処理を統括的に制御するメインモジュール２６１ａと、符号化対象ブロック分割モジュール２６１ｂと、復号低解像ブロック生成モジュール２６１ｃと、低解像ブロック拡大モジュール２１６ｄと、拡大ブロック分割モジュール２６１ｅと、小ブロック予測モジュール２６１ｆと、ブロック統合モジュール２６１ｇとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像符号化装置１００の符号化ブロック分割部２５１、復号低解像ブロック生成部２５２、拡大ブロック生成部１５４、ブロック分割部１６２、小ブロック予測部１５２、ブロック統合部１５５の各機能とそれぞれ同様である。

動画像復号プログラム１６１は、図１８に示すように、記録媒体１６０に形成されたプログラム格納領域１６０ａ内に格納されている。動画像復号プログラム１６１は、動画像復号処理を統括的に制御するメインモジュール１６１ａと、エントロピー復号モジュール１６１ｂと、低解像ブロック復号モジュール１６１ｃと、低解像ブロック拡大モジュール１６１ｄと、拡大ブロック分割モジュール１６１ｅと、小ブロック予測モジュール１６１ｆと、ブロック統合モジュール１６１ｇとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像復号装置２００のエントロピー復号部１５０、低解像ブロック復号部１５１、拡大ブロック生成部１５４、ブロック分割部１６２、小ブロック予測部１５２、ブロック統合部１５５の各機能とそれぞれ同様である。

なお、動画像符号化プログラム２６１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。動画像復号プログラム１６１に関しても同様に、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。

なお、上記実施の形態に記載の態様は、本発明に係る動画像符号化・復号技術の好適な一例であり、本発明は、かかる態様に限定されるものではない。

（第１の変形態様）
かかる態様は、小ブロックの動きベクトル検出方法に関する。上記実施形態では、小ブロックの動きベクトル検出の際の探索範囲を、４×４小ブロックで±３２、２×２小ブロックで±１としたが、異なる探索範囲でもよい。また、小ブロックの動きベクトル成分の精度についても、整数値だけでなく、実数値とすることも可能である。実数値には、１／２画素、１／４画素などがあり、ベクトル成分が実数値の場合における予測画素の算出方法としては、例えばＨ．２６４（“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”，September 2004.）に記載されている方法を適用できる。

また、上記実施形態では、小ブロックの動きベクトル検出時における探索範囲の中心点に関しては、４×４小ブロックでは低解像ブロック予測用動きベクトル、２×２小ブロックでは空間的に同一位置の４×４小ブロックの動きベクトルとした。しかし、符号化側と復号側とで一意に決定できる値であれば、これに限定されない。例えば、０ベクトルや、中央値予測などの方法により隣接小ブロックの動きベクトルから選定される予測ベクトルを、探索範囲の中心点に設定することもできる。

更に、小ブロックの動きベクトルを検出する際の評価値を画素差分値の絶対値和としたが、これに限定されず、符号化側と復号側とで一意に決定できる評価方法であればよい。例えば、画素差分値の二乗和や、画素位置に応じた画素差分値の重み付け絶対値和（二乗和）などへの変形も可能である。予測対象の復号フレームを１フレームに限定したが、複数の復号済みフレームを対象とし、小ブロック毎に異なる復号フレームから予測小ブロックを生成してもよい。このとき、評価値として画素差分値の絶対値和など、符号化側と復号側とで同じ評価値を用いれば、復号フレームの選択情報を符号化する必要はなくなり、効率的である。

（第２の変形態様）
かかる態様は、予測方法に関する。予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロックまたは復号ブロックと同一フレーム内の既に復号された復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。すなわち、上述した復号低解像ブロックを、イントラ予測を用いて拡大することも可能である。より具体的には、復号装置２００が、復号低解像ブロックを再分割した低解像ブロックを分割し、同じフレーム内の隣接する復号済みの画素を用いて、例えばＨ．２６４（“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.）の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各縮小分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果を奏する。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。例えば、拡大ブロック生成部１５４にて、イントラ予測による復号低解像ブロックの拡大処理を実行し、この拡大ブロックを小ブロックに分割して、小ブロック予測部１５２の処理を実現する方法も有効である。

（第３の変形態様）
かかる態様は、誤差ブロックの符号化に関する。予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化する処理は必須ではない。つまり、誤差ブロック符号化部２５４（図１）と誤差ブロック復号部１５６（図１と図２）とは省略することもできる。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めてもよい。誤差ブロック、及び低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。更に、上記実施の形態では、符号化対象ブロックと予測対象ブロックとを同じブロックサイズとしたが、異なるサイズでも本発明の予測方法は実現可能である。また、誤差信号の符号化は、ブロック単位に限定されるものではなく、画面単位で行ってもよい。但し、この場合には、低解像ブロックの拡大処理に用いるブロック境界の復号画素を用意すべく、低解像ブロックの拡大処理を実行する前に、隣接予測ブロックの生成処理と予測誤差信号の復号処理とを実行する必要がある。

（第４の変形態様）
かかる態様は、ブロックサイズに関する。上記実施の形態では、低解像ブロック予測用の動きベクトルは、符号化対象ブロックと復号ブロックとに１本ずつとした。しかし、図１９に示すように、符号化対象ブロックを複数のブロックに分割し、分割ブロック単位でブロックマッチングを実施する方法に対しても、本発明に係る予測方法は適用可能である。この場合には、符号化対象ブロック単位で小ブロックのサイズが決定されるとともに、分割ブロックのサイズ情報と複数個の動きベクトル（１０４ａ，１０４ｂ，１０４ｃ，１０４ｄ）とが符号化される。

更に、図１９の例では、４×４小ブロックの動きベクトル検出時における探索範囲の中心点は、４本の低解像ブロック予測用の動きベクトルから空間的に同一の位置の動きベクトルが示す位置に設定できる。

なお、図１９では、分割方法を８×８単位としているが、これに限定されるものではなく、Ｈ．２６４（“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.）に示すような複数の分割方法を適応的に利用することができる。また、符号化対象ブロックサイズと復号ブロックサイズとに関しても、１６×１６に限定されるものではない。すなわち、３２×３２、８×８、４×４など、異なるブロックサイズであっても、そのサイズに応じて小ブロックのサイズを変更することにより、本発明を適用できる。

小ブロック予測部１５２（図６のＳ３とＳ４）における小ブロックのサイズも、４×４と２×２とに限定されるものではない。例えば、図２０に示す５×５小ブロック１１２ｃや３×３小ブロック１１２ｄのように、隣接小ブロックを相互にオーバラップさせることで、小ブロックサイズを拡大してもよい。小さいブロックサイズは、ブロック内に特徴がない場合に予測性能が落ちる傾向があるため、かかる態様を採ることで、局所的な予測性能の向上が見込まれる。なお、小ブロックサイズを、５×５と４×４並びに３×３と２×２で適応的に切り替える方法も有効である。これと同様に、変換・量子化を実行する際のブロックサイズも限定されない。すなわち、符号化装置１００及び復号装置２００は、誤差ブロックを、例えば８×８ブロックや１６×１６ブロック単位で変換・量子化してもよい。

（第５の変形態様）
かかる態様は、復号低解像ブロックの拡大方法に関する。上記実施の形態では、拡大ブロック生成部１５４は、復号低解像ブロックを拡大するために参照する境界復号画素群１２３を、予測ブロックの上辺と左辺に隣接するブロックの復号画素から取得するものとした。しかし、図２１に示すように、境界復号画素群１２３を、隣接するブロックの復号低解像ブロックの復号画素から取得して、拡大ブロックを生成することもできる。

上述の変形態様を実現するための符号化装置３００及び復号装置４００を、図２２、図２３にそれぞれ示す。符号化装置３００、復号装置４００は、符号化装置１００、復号装置２００と以下の点において相違する。
（ｉ）復号低解像ブロック１１０を一度フレームメモリ１５３に保存する点
（ii）隣接ブロックに空間的に対応する復号低解像ブロックの復号画素を境界復号画素として、復号低解像ブロックに統合する点
（iii）境界復号画素を含む低解像ブロック１２４（図２１参照）を単位として、拡大ブロック生成部１５４に入力する点
このように符号化装置３００及び復号装置４００を構成することで、境界復号画素を変更することが可能となる。

なお、図１と図２に示した各装置の特徴と、図２２と図２３に示した各装置の特徴とを、条件に応じて適応的に組み合わせてもよい。例えば、各装置は、隣接するブロックの低解像ブロック用動きベクトルが現在の予測対象のブロックと同じ場合には、復号低解像ブロックの復号画素を境界復号画素として用いる。異なる場合には、復号フレームの復号画素を境界復号画素として用いる。また、複数の予測方法をブロック単位で適応的に切り替える符号化方式では、現在の予測対象ブロックの隣接ブロックの予測方法を条件として、境界復号画素を変更してもよい。

更に、境界復号画素を用いることなく、フレーム端での処理のように、低解像予測ブロック内の画素のみから拡大ブロックを生成するものとしてもよい。また、上記実施の形態では、境界復号画素を現フレームの復号済み画像から抽出したが、空間的に同一位置にある過去の復号フレームの復号画素を用いることもできる。境界復号画素は、予測対象のブロックに隣接する画素としたが、復号済みの画素であれば、これに限定されることはなく、ブロック境界から離れた復号画素、あるいは、複数の復号画素から生成した画素などを用いてもよい。

（第６の変形態様）
かかる態様は、縮小化方法に関する。上記実施の形態では、図４に示したように、ブロックの縮小化処理として、縦・横方向に１ライン間隔で間引く方法を採ったが、この方法に限定されない。例えば、低解像ブロックの画素数は、符号化装置１００と復号装置２００間で予め定めておけばよく、復号ブロック（符号化対象ブロック）よりも画素数の少ない任意の形状とすることができる。例えば、図４に示した低解像予測ブロック１０６の各画素を縦横方向に１画素ずらしたブロックや、図２４の低解像予測ブロック１０６１のように画素数を半分としたブロックに対しても、本発明は適用可能である。

また、上記実施の形態では、ブロックの縮小化を、画素間引き処理のみにより実現したが、ブロックの画素にローパスフィルタ処理を施した後に間引き処理を行ってもよい。但し、動き探索の精度を高めるためには、小ブロック動き推定部１６３への入力となる候補予測ブロック１１３に対しても、同一のローパスフィルタ処理を施す必要がある。

（第７の変形態様）
かかる態様は、低解像ブロック予測に関する。上記実施の形態では、各装置は、低解像予測ブロックを、フレームメモリ１５３から直接取得したが、低解像予測ブロック１０６を生成するために必要とするデータ１５を、フレームメモリ１５３に保存されている過去の復号フレーム５２０から取得してもよい。その後、動き補償部１３３の内部で、図３に示した１６×１６画素サイズの予測ブロック１０５を生成し、予測ブロック１０５を８×８画素サイズの低解像予測ブロック１０６に変換してもよい。

また、上記実施の形態では、各装置は、１６×１６画素の予測対象ブロックを動き推定部２１１への入力としたが、低解像ブロック予測は本実施例に記載した方法には限定されず、例えば、予測対象ブロックに図４の変換規則を施した低解像ブロックを上記入力としてもよい。この場合、低解像予測ブロックと低解像符号化対象ブロック（低解像予測対象ブロック）との予測誤差が小さくなるように、低解像ブロック予測用動きベクトルを選定することにより、低解像誤差ブロックの符号量が削減される効果がある。

（第８の変形態様）
かかる態様は、複数予測モードの符号化に関する。上述の実施形態では、符号化対象ブロック（復号ブロック）の予測方法を、本発明に係る予測方法のみとした。しかし、背景技術に記載したような、複数の動きベクトルを符号化する従来のブロック予測方法と、発明に係る予測方法との何れかを、符号化対象ブロック（復号ブロック）単位で、適宜選択するものとしてもよい。

更に、上述の予測方法では、１６×１６ブロック内の全画素を、本発明に係る予測方法により予測するものとした。しかし、１６×１６ブロックを分割し、分割ブロック単位で、本発明の予測方法と、低解像ブロック予測用動きベクトルを用いたフレーム間予測方法とを適応的に切り替えてもよい。例えば、１６×１６符号化対象ブロック（復号ブロック）を４個の８×８ブロックに分割し、８×８単位での適応予測を行う場合において、その実施を可能とする符号化装置５００を図２５に示す。同様の復号装置６００を図２６に示す。本態様における、復号低解像ブロック及び拡大ブロックを図２７に示す。

図２５の符号化装置５００は、図１に示した符号化装置１００と、以下の点において相違する。第１に、拡大ブロック生成部１５４１は、復号低解像ブロックの拡大処理を８×８単位で実行する。すなわち、拡大ブロック生成部１５４１は、４×４単位で復号低解像ブロックを８×８拡大ブロックに拡張し、ブロック分割部１６２に出力する。拡大ブロック生成部１５４１は、図２７に示すように、８×８復号低解像ブロック１１０を、４個の４×４低解像ブロック１１０ａ，１１０ｂ，１１０ｃ，１１０ｄに分割する。そして、４×４ブロック単位で、境界復号画素群１２８ａ〜１２８ｄと統合し、８×８拡大ブロック１２７１に拡大する。拡大された８×８拡大ブロックは、ブロック分割部１６５にて、ブロック１２７１ａとブロック１２７１ｂとに示すように、４×４小ブロックと２×２小ブロックとに分割される。そして、小ブロック予測部１５２に入力される。

なお、境界復号画素群１２８ａ〜１２８ｄには、復号画素を用いるため、この適応予測方式では、８×８単位で予測誤差の符号化処理を実行する必要がある。但し、既存の符号化方式では、通常８×８単位で予測誤差の符号化処理が実行されるため、予測処理と誤差符号化処理の実行単位を切り替えるだけで、上記適応予測方式にも対応することができる。

第２に、判定部２５６は、８×８ブロック単位で、予測方法と予測ブロックの選択を行う。判定部２５６には、予測対象ブロック２０２と、動き補償部１３３１が低解像ブロック予測用動きベクトル１０４を用いてフレームメモリ１５３から読み出した１６×１６予測ブロック１０５とが入力される。その後、これらのブロックは、４個の８×８符号化対象ブロックと、１６×１６予測ブロックを４分割した低解像予測ブロック選択用８×８予測ブロックとにそれぞれ分割される。

一方、判定部２５６には、ブロック統合部１５５から、本発明の小ブロック予測方法にて生成された８×８予測ブロック１１８が入力される。判定部２５６は、２種類の予測ブロックについて、符号化対象ブロックとの画素差分絶対値和を８×８単位で計算し、値が小さい方の８×８予測ブロックを選択し、１６×１６画素の予測ブロック１２６に統合する。そして、選択された予測方式の選択情報１２５を統合部２１６１に出力する。

第３に、統合部２１６１は、選択情報１２５を、低解像ブロック情報１０２１に統合する。選択情報１２５が低解像ブロック予測用動きベクトル１０４を用いた予測方式を選択している場合には、８×８ブロックサイズの復号低解像ブロックのうち、対応する４×４ブロック領域の情報は必要ない。このため、かかる場合には、対応する４×４低解像誤差ブロックの量子化変換係数はすべてゼロとなるため、低解像ブロック情報１０２１に統合しない。

図２６の復号装置６００は、図１に示した復号装置２００と、以下の点において相違する。第１に、拡大ブロック生成部１５４１は、復号低解像ブロックの拡大処理を８×８単位で実行する。その手法は、図２７を用いて説明した通りであるので、詳細は省略するが、復号側においても、８×８予測ブロックが生成された時点で、対応する８×８予測誤差ブロックの復号処理を実行し、８×８復号ブロックを復号する必要がある。

第２に、スイッチ１５９は、低解像ブロック情報１０２１から分離された選択情報１２５に従って、２種類の予測方式を切り替える。但し、選択情報１２５が動きベクトル１０４を用いた予測方式を選択している場合には、８×８復号低解像ブロックのうち、対応する４×４ブロック領域の情報が、低解像ブロック情報１０２１に含まれていない。つまり、低解像誤差ブロックの量子化係数はすべてゼロとなる。このため、当該領域については、該当する４×４低解像ブロックの復号処理、及び本発明の小ブロック予測処理は実行されない。

なお、第８の変形態様においても、上述した第５の変形態様にて説明したブロック拡大方法の適用は可能であり、予測対象ブロックの隣接ブロックの予測方法に応じて、ブロック拡大方法を適応的に切り替えることができる。

［第２実施形態］
以下、図面を参照しながら、本発明に係る実施形態を説明する。

［装置構成］
図２８には、本発明の予測復号を実現する動画像復号装置（以下「復号装置」と称する）の構成を示し、図２９には、本発明の予測符号化を実現する動画像符号化装置（以下「符号化装置」と称する）の構成を示す。なお、図２８及び図２９において同じ番号が付された処理部は、同じ機能を有するものとする。

［符号化装置の構成］
図２９の符号化装置は、入力フレーム２０１を符号化ブロック分割部２５１にて８×８の符号化対象ブロック２０２に分割し、分割で得られた複数の符号化対象ブロック２０２をラスタスキャン順に符号化する装置である。第１実施形態と同様に、本実施形態でも予測対象の予測対象ブロックと符号化対象の符号化対象ブロックのブロックサイズを同じとするため、予測対象ブロックと符号化対象ブロックは一致する。また、予測ブロックとは、過去に復号した画素から予測処理により生成されるブロックである。なお、予測対象ブロックと符号化対象ブロックのブロックサイズが異なっても良い。符号化対象ブロック２０２はまず、復号低解像ブロック生成部２５２に入力される。

復号低解像ブロック生成部２５２は、「符号化対象ブロック（予測対象ブロック）２０２よりも画素数の少ない復号低解像ブロック１１０」及び「低解像ブロック情報１０２」を生成する処理部である。ここで、復号低解像ブロック生成部２５２の動作を説明する。動き推定部２１１には、符号化対象ブロック（予測対象ブロック）２０２がラスタスキャン順に入力され、動き推定部２１１は、入力された符号化対象ブロック（予測対象ブロック）２０２とフレームメモリ１５３に保持されている複数の候補予測ブロック２０３との間でブロックマッチングを実施し、１本の動きベクトル１０４を検出する。動きベクトル予測・符号化部２１２は、検出された動きベクトル１０４を入力し、各成分の値について予測動きベクトルの各成分の値を減算した差分動きベクトル１０３を算出する。予測動きベクトルは、現ブロックの左、直上、右上（フレームの外の場合は、左上）の隣接３ブロックの動きベクトルを対象とした中央値予測（成分毎）により算出される。動き補償部１３３は、フレームメモリ１５３に保持されている復号済みの復号フレーム５２０から、動きベクトル１０４に対応するブロック１０５を取得する。ブロック１０５は、縮小化処理部１３４によって、図３６に示すように、縦横１ライン置きに画素を抽出した低解像予測ブロック１０６に変換される。さらに符号化対象ブロック（予測対象ブロック）２０２も同様に、縮小化処理部１３４によって符号化対象ブロック（予測対象ブロック）２０２よりも画素数の少ない低解像符号化対象ブロック（低解像予測対象ブロック）２０５に変換される。減算部２１３は、低解像符号化対象ブロック（低解像予測対象ブロック）２０５の各画素について、低解像予測ブロック１０６と空間的に一致する位置の画素と当該各画素との差分値を算出し、低解像誤差ブロック２０６を生成する。変換部２１４は低解像誤差ブロック２０６を４x４離散コサイン変換(DCT)し、１６個の低解像誤差ブロックの変換係数２０７を生成する。量子化部２１５は変換係数２０７を量子化し、低解像誤差ブロックの量子化変換係数１０７を生成する。統合部２１６は、差分動きベクトル１０３と低解像誤差ブロックの量子化変換係数１０７とをまとめて、低解像ブロック情報１０２としてエントロピー符号化部２５５に出力する。逆量子化部１３６は、量子化変換係数１０７を逆量子化し、低解像誤差ブロックの復号量子化変換係数１０８を生成する。逆変換部１３７は、復号量子化変換係数１０８を逆DCT変換し、復号低解像誤差ブロック１０９を生成する。加算部２１７は、低解像予測ブロック１０６の各画素について、復号低解像誤差ブロック１０９と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック１１０を生成する。

次に、低解像ブロック分割部１６６は、復号低解像ブロック１１０を、図３６のブロック１０６と同様に２x２の低解像分割ブロック１１２に分割する。各低解像分割ブロック１１２は、小ブロック予測部１５８（図１、図２の１５２に相当）に入力される。

小ブロック予測部１５８は、フレームメモリ１５３に保持されている復号済み画像を用いて、低解像分割ブロック１１２毎に、４x４の予測小ブロック１１６を生成する処理部である。この小ブロック予測部１５８の処理は、復号済み画像のみを入力として実施するため、復号装置においても同様の処理が実施できる。ここで、小ブロック予測部１５８の動作を説明する。小ブロック予測部１５８に入力された４x４ブロック（「候補予測小ブロック」という）１１３は、縮小化処理部１３４によって、画素数の少ない候補縮小予測小ブロック１１４に変換され、拡大動き推定部１３８へ出力される。拡大動き推定部１３８は、図３５に示す２x２の低解像分割ブロック１１２（１１２ａ〜１１２ｄ）と、低解像分割ブロックの４画素と空間的に対応する４画素（候補縮小予測小ブロック１１４）との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル１１５（１１５ａ〜１１５ｄ）を検出する。この際の差分評価値は、「低解像分割ブロックの４画素」と「検索する４x４ブロック（候補予測小ブロック１１３）の１６画素の内、低解像分割ブロックの４画素と空間的に対応する４画素（候補縮小予測小ブロック１１４）」との差分絶対値和とする（詳細は図３２を用いて後述する）。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部１３９は、低解像分割ブロックの動きベクトル１１５（１１５ａ〜１１５ｄ）に対応する４x４予測小ブロック１１６（１１６ａ〜１１６ｄ）を、フレームメモリ１５３の復号フレーム５２０から取得する。

次に、ブロック統合部１５５は、図３５の左側に示すように４個の予測小ブロック１１６ａ〜１１６ｄを統合し、８x８の予測ブロック１１８（図２９）を生成する。減算部２５３は、符号化対象ブロック２０２の各画素について、予測ブロック１１８と空間的に一致する位置の画素と当該各画素との差分値を算出し、誤差ブロック２０８を生成する。

誤差ブロック符号化部２５４は、誤差ブロック２０８を符号化して誤差ブロック情報１１９を生成し、エントロピー符号化部２５５に出力する処理部である。ここで、誤差ブロック符号化部２５４の動作を説明する。変換部２１８は誤差ブロック２０８を８x８離散コサイン変換(DCT)し、６４個の変換係数２０９を生成する。量子化部２１９は変換係数２０９を量子化し、誤差ブロック情報（量子化変換係数）１１９を生成する。

誤差ブロック復号部１５６は、誤差ブロック情報１１９を復号して復号誤差ブロック１２１を生成する処理部である。ここで、誤差ブロック復号部１５６の動作を説明する。逆量子化部１４０は、量子化変換係数１１９を逆量子化し、復号量子化変換係数１２０を生成する。逆変換部１４１は、復号量子化変換係数１２０を逆DCT変換し、復号誤差ブロック１２１を生成する。

次に、加算部１５７は、予測ブロック１１８の各画素について、復号誤差ブロック１２１と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック１２２を生成する。生成された復号ブロック１２２はフレームメモリ１５３の現在の復号フレーム６１０に保持される。最後に、エントロピー符号化部２５５は、低解像ブロック情報１０２と誤差ブロック情報１１９とをエントロピー符号化して、符号化データ１０１に多重化する。

［復号装置の構成］
図２８の復号装置は、符号化データ１０１を復号し、８x８復号ブロック１２２をラスタスキャン順で再生する装置である。１個の８x８復号ブロックに相当する符号化データ１０１は、まず、エントロピー復号部１５０に入力される。エントロピー復号部１５０は、エントロピー復号によって低解像ブロック情報１０２と誤差ブロック情報１１９とを生成する。

低解像ブロック復号部１５１は、低解像ブロック情報１０２を復号して、復号ブロックよりも画素数の少ない復号低解像ブロック１１０を生成する処理部である。ここで、低解像ブロック復号部１５１の動作を説明する。分離部１３１は、低解像ブロック情報１０２を差分動きベクトル１０３と低解像誤差ブロック情報（低解像誤差ブロックの量子化変換係数）１０７とに分離する。動きベクトル予測・復号部１３２は、差分動きベクトル１０３の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル１０４を算出する。予測動きベクトルは、例えば、現ブロックの左、直上、右上（フレームの外の場合は、左上）の隣接３ブロックの動きベクトルを対象とした中央値予測（成分毎）により算出される。動き補償部１３３は、フレームメモリ１５３に保持されている復号済みの復号フレーム５２０から、動きベクトル１０４に対応するブロック１０５を取得する。ブロック１０５は、縮小化処理部１３４によって、図３６に示すように、縦横１ライン置きに画素を抽出した低解像予測ブロック１０６に変換される。逆量子化部１３６は、低解像誤差ブロックの量子化変換係数１０７を逆量子化し、低解像誤差ブロックの復号量子化変換係数１０８を生成する。逆変換部１３７は、復号量子化変換係数１０８を逆DCT変換し、復号低解像誤差ブロック１０９を生成する。加算部１３５は、低解像予測ブロック１０６の各画素について、復号低解像誤差ブロック１０９と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック１１０を生成する。

次に、低解像ブロック分割部１６６は、図３６のブロック１０６と同様に、復号低解像ブロック１１０を２x２の低解像分割ブロック１１２に分割する。各低解像分割ブロック１１２は、小ブロック予測部１５８に入力される。

小ブロック予測部１５８（図１、図２の１５２に相当）は、フレームメモリ１５３に保持されている復号済み画像を用いて、低解像分割ブロック１１２毎に、４x４の予測小ブロック１１６を生成する処理部である。ここで、小ブロック予測部１５８の動作を説明する。拡大動き推定部１３８は、図３５に示す２x２の低解像分割ブロック１１２（１１２ａ〜１１２ｄ）と、低解像分割ブロックの４画素と空間的に対応する４画素（候補縮小予測小ブロック１１４）との間のブロックマッチングを実施し、低解像分割ブロックの動きベクトル１１５（１１５ａ〜１１５ｄ）を検出する。この際の差分評価値は、「低解像分割ブロックの４画素」と「検索する４x４ブロック（候補予測小ブロック１１３）の１６画素の内、低解像分割ブロックの４画素と空間的に対応する４画素（候補縮小予測小ブロック１１４）」との差分絶対値和とする（詳細は図３２を用いて後述する）。このような復号済み画像のみを入力値とした差分評価値は、復号装置でも算出できるため、復号装置でも符号化装置と同じ動きベクトルを検出することができる。予測小ブロック取得部１３９は、低解像分割ブロックの動きベクトル１１５（１１５ａ〜１１５ｄ）に対応する４x４予測小ブロック１１６（１１６ａ〜１１６ｄ）を、フレームメモリ１５３の復号フレーム５２０から取得する。

次に、ブロック統合部１５５は、図３５の左側に示すように４個の予測小ブロック１１６ａ〜１１６ｄを統合し、８x８の予測ブロック１１８（図２８）を生成する。

誤差ブロック復号部１５６は、誤差ブロック情報（量子化変換係数）１１９を復号して復号誤差ブロック１２１を生成する処理部である。ここで、誤差ブロック復号部１５６の動作を説明する。逆量子化部１４０は、量子化変換係数１１９を逆量子化し、復号量子化変換係数１２０を生成する。逆変換部１４１は、復号量子化変換係数１２０を逆DCT変換し、復号誤差ブロック１２１を生成する。

次に、加算部１５７は、予測ブロック１１８の各画素について、復号誤差ブロック１２１と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号ブロック１２２を生成する。復号ブロック１２２はフレームメモリ１５３の現在の復号フレーム６１０に保持される。

［処理フローの説明］
図３０には、本発明の予測復号を実現する動画像復号処理フローを示し、図３３には、本発明の予測符号化を実現する動画像符号化処理フローを示す。なお、図３０及び図３３において同じ番号が付された処理は、同じ処理結果を導くものとする。

［動画像復号処理フロー］
図３０にて本発明の予測符号化を実現する動画像復号処理フローを説明する。次の復号ブロックの復号処理が開始されると（処理４０１）、まず、処理４０２により、次の復号ブロックの復号に必要とされる１ブロック分の符号化データが図２８のエントロピー復号部１５０に入力される。入力された符号化データは、処理４０３にて、エントロピー復号部１５０によってエントロピー復号され、低解像ブロック情報と誤差ブロック情報とが得られる。このうち低解像ブロック情報は処理４０４にて、低解像ブロック復号部１５１によって低解像ブロック復号処理が施され、復号低解像ブロックが生成される。

ここで、図３１を用いて、処理４０４の低解像ブロック復号処理フローを説明する。低解像ブロック復号処理が開始されると（処理４２１）、まず、分離部１３１が低解像ブロック情報を取得し（処理４２２）、該低解像ブロック情報を差分動きベクトルと低解像誤差ブロック情報とに分離する（処理４２３）。処理４２４では、動きベクトル予測・復号部１３２が、差分動きベクトル１０３の各成分の値に予測動きベクトルの各成分の値を加算することにより動きベクトル１０４を算出（復号）する。予測動きベクトルは、例えば、現ブロックの左、直上、右上（フレームの外の場合は、左上）の隣接３ブロックの動きベクトルを対象とした中央値予測（成分毎）により算出される。得られた動きベクトルは、以降の復号ブロックの復号における動きベクトル予測処理のために保持される。

次の処理４２５では、動き補償部１３３が、フレームメモリ１５３に保持されている復号済みの復号フレーム５２０から、動きベクトル１０４に対応するブロック１０５を取得する。次の処理４２６では、取得されたブロック１０５は、縮小化処理部１３４によって、図３６に示すように縦横１ライン置きに画素を抽出した低解像予測ブロック１０６に変換される。

次の処理４２７では、逆量子化部１３６が、低解像誤差ブロックの量子化変換係数１０７を逆量子化し、低解像誤差ブロックの復号量子化変換係数１０８を生成する。そして、逆変換部１３７が、復号量子化変換係数１０８を逆DCT変換し、復号低解像誤差ブロック１０９を生成する。そして、処理４２８では、加算部１３５が、低解像予測ブロック１０６の各画素について、復号低解像誤差ブロック１０９と空間的に一致する位置の画素と当該各画素との加算値を算出し、復号低解像ブロック１１０を生成して、低解像ブロック復号処理を終了する（処理４２９）。

図３０に説明を戻す。処理４０５では、低解像ブロック分割部１６６が、復号低解像ブロック１１０を２x２の低解像分割ブロック１１２に分割する。処理４０６では、小ブロック予測部１５８が、４個の低解像分割ブロック１１２に対して、小ブロック予測処理を施す。

ここで、図３２を用いて小ブロック予測処理フローを説明する。小ブロック予測処理が開始されると（処理４３０）、まず、処理４３１では、初期値として、評価値Eminは最大整数値に設定され、分割動きベクトル０ベクトルに設定される。次に、処理４３２では、低解像分割ブロック１１２が小ブロック予測部１５８に入力される。続いて処理４３４の拡大動き推定処理では、拡大動き推定部１３８によって低解像分割ブロックの動きベクトルが検出される。

この拡大動き推定処理では、フレームメモリ１５３の復号フレームの探索範囲（縦、横方向に±１６画素）内をその中心（０ベクトル）からスパイラル順に候補予測小ブロックが抽出され、評価値Eminが最小となる予測小ブロック位置が検出される。より具体的には、処理４３４１にて、フレームメモリ１５３の復号フレームから次の候補の予測小ブロックが取得され、処理４３４２にて、取得された候補予測小ブロックが、例えば図３６のブロック１０６と同様に低解像予測ブロックの次元（画素数）に変換される。処理４３４３では、評価値E（「低解像分割ブロックの４画素」と「検索する４x４ブロックの１６画素の内、低解像分割ブロックの４画素と空間的に対応する４画素」との差分の絶対値和）が計算され、処理４３４４では、評価値Eが評価値Eminより小さいか否かが判断される。ここで、評価値Eが評価値Eminより小さい場合には、処理４３４５にて、評価値Eminが評価値Eに更新され、分割動きベクトルが、評価値Eに対応する分割動きベクトルに更新される。以降、処理４３４１〜処理４３４５が、探索範囲内の全ての候補予測小ブロックの探索が終了するまで、繰り返される。最後に、処理４３５にて、予測小ブロック取得部１３９が、評価値Eが最小となる分割動きベクトルに対応する予測小ブロックを、フレームメモリ１５３の復号フレームから取得することにより、小ブロック予測処理が終了する（処理４３６）。以上の小ブロック予測処理により、４個の予測小ブロックが生成される。

説明を図３０に戻す。処理４０６にて生成された４個の予測小ブロックは、処理４０７にてブロック統合部１５５によって、予測ブロックに統合される。次の処理４０８では、誤差ブロック復号部１５６が、誤差ブロック情報（量子化変換係数）を復号（逆量子化・逆変換）し、復号誤差ブロックを生成する。次の処理４０９では、加算部１５７によって予測ブロックと復号誤差ブロックとが各画素について加算され、復号ブロックが生成される。最後に、処理４１０にて、復号ブロックはフレームメモリ１５３の現在の復号フレームに保持され、ブロック復号処理は終了する（処理４１１）。

［動画像符号化処理フロー］
次に、図３３を用いて本発明の予測符号化を実現する符号化対象ブロックの符号化処理フローを説明する。最初に、図２９の符号化ブロック分割部２５１が入力フレーム２０１を分割することにより、符号化対象ブロック２０２が得られる。符号化対象ブロック２０２の符号化処理が開始されると（処理４４１）、まず、処理４４２では、復号低解像ブロック生成部２５２が、図３４の低解像ブロック符号化・復号処理を実行する。

以下、図３４を用いて低解像ブロック符号化・復号処理を説明する。低解像ブロック符号化・復号処理が開始されると（処理４５１）、まず、処理４５２にて、次の符号化対象ブロックが入力され、処理４５３では、符号化対象ブロックとフレームメモリの復号フレームとから動きベクトルが検出される。なお、ここでの動きベクトルの検出方法については、図２９の復号低解像ブロック生成部２５２の構成説明において、説明済みのため割愛する。次の処理４５４では、フレームメモリの復号フレームから動きベクトルに対応するブロックが取得される。次の処理４５５では、予測動きベクトル生成後、動きベクトルと予測動きベクトルとの間で各成分について減算処理が行われ、差分動きベクトルが生成される。動きベクトルと生成された差分動きベクトルとは、以降の符号化対象ブロックにおける動きベクトル予測のために保持される。なお、ここでの予測動きベクトルの生成方法については、図２９の動きベクトル予測・符号化部２１２の構成説明において、説明済みのため割愛する。次の処理４５６では、符号化対象ブロック（予測対象ブロック）が、例えば図３６のブロック１０６と同様に、低解像符号化対象ブロック（低解像予測対象ブロック）に変換され、さらに処理４５７では、動きベクトルに対応するブロックが、上記符号化対象ブロック（予測対象ブロック）と同様に、低解像予測ブロックに変換される。

処理４５８では、低解像符号化対象ブロック（低解像予測対象ブロック）と低解像予測ブロックとの間で各画素について減算が行われ、低解像誤差ブロックが生成される。次の処理４５９では、低解像誤差ブロックが符号化（変換・量子化）され、低解像誤差ブロックの量子化変換係数が生成される。次の処理４２７では、量子化変換係数が復号（逆量子化・逆変換）され、復号低解像誤差ブロックが生成される。次の処理４２８では、低解像予測ブロックと復号低解像誤差ブロックとの間で各画素について加算が行われ、復号低解像ブロックが生成される。最後に、処理４６０では、差分動きベクトルと量子化変換係数とが統合され、低解像ブロック情報が生成されて、低解像ブロック符号化・復号処理が終了する（処理４６１）。

説明を図３３に戻す。処理４０５では、低解像ブロック分割部１６６が、生成された復号低解像ブロックを、低解像分割ブロックに分割する。処理４０６では、小ブロック予測部１５８が、分割された低解像分割ブロックに対して小ブロック予測処理を施し、予測小ブロックを生成する。なお、ここでは、小ブロック予測処理（図３２）については、既に説明済みのため、説明を省略する。

処理４０７では、ブロック統合部１５５が、生成された予測小ブロックを、予測ブロックに統合する。次の処理４４３では、減算部２５３が符号化対象ブロックと予測ブロックとの間で各画素の減算処理を実施し、誤差ブロックを生成する。次の処理４４４では、誤差ブロック符号化部２５４が誤差ブロックを符号化（変換・量子化）し、誤差ブロック情報（量子化変換係数）を生成する。次の処理４０８では、誤差ブロック復号部１５６がに誤差ブロック情報（量子化変換係数）を復号（逆量子化・逆変換）し、復号誤差ブロックを生成する。次の処理４０９では、加算部１５７が予測ブロックと復号誤差ブロックとの間で各画素の加算処理を実施し、復号ブロックを生成する。そして、処理４１０にて、生成された復号ブロックがフレームメモリ１５３の現在の復号フレームに保持された後、処理４４５では、エントロピー符号化部２５５が、低解像ブロック情報と誤差ブロック情報とをエントロピー符号化し、ブロック符号化処理は終了する（処理４４６）。

［コンピュータシステムの構成例］
図１６は、上記実施形態の画像符号化処理に関する動画像符号化プログラム、画像復号処理に関する動画像復号プログラムを格納したフレキシブルディスク等の記憶媒体を用いて、コンピュータシステムにより実施する場合を説明するための図である。

図１６（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１６（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６個のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。

また、図１６（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化装置あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。またコンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

次に、動画像復号プログラムおよび動画像符号化プログラムの構成について説明する。

図３７に示すように、動画像復号プログラム１６１は、記録媒体１６０に形成されたプログラム格納領域１６０ａ内に格納されている。動画像復号プログラム１６１は、動画像復号処理を統括的に制御するメインモジュール１６１ａと、図２８のエントロピー復号部１５０の動作を実行するためのエントロピー復号モジュール１６１ｂと、図２８の低解像ブロック復号部１５１の動作を実行するための低解像ブロック復号モジュール１６１ｃと、図２８の低解像ブロック分割部１６６の動作を実行するための低解像ブロック分割モジュール１６１ｈと、図２８の小ブロック予測部１５８の動作を実行するための小ブロック予測モジュール１６１ｉと、図２８のブロック統合部１５５の動作を実行するためのブロック統合モジュール１６１ｇとを備えて構成される。

図３８に示すように、動画像符号化プログラム２６１は、記録媒体２６０に形成されたプログラム格納領域２６０ａ内に格納されている。動画像符号化プログラム２６１は、動画像符号化処理を統括的に制御するメインモジュール２６１ａと、図２９の符号化ブロック分割部２５１の動作を実行するための符号化ブロック分割モジュール２６１ｂと、図２９の復号低解像ブロック生成部２５２の動作を実行するための復号低解像ブロック生成モジュール２６１ｃと、図２９の低解像ブロック分割部１６６の動作を実行するための低解像ブロック分割モジュール２６１ｈと、図２９の小ブロック予測部１５８の動作を実行するための小ブロック予測モジュール２６１ｉと、図２９のブロック統合部１５５の動作を実行するためのブロック統合モジュール２６１ｇとを備えて構成される。

なお、上記の動画像復号プログラム１６１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。同様に、動画像符号化プログラム２６１も、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。

［各種の変形態様の説明］
以上、本発明の実施形態について説明したが、次のような変形を行っても良く、いずれの形態も本発明に含まれる。

（１）予測方法に関する変形態様
上述では、予測方法として、時間方向の予測に限定して説明したが、符号化対象ブロック（予測対象ブロック）又は復号ブロックと同一フレーム内の既に復号した復号済み画像を用いた空間方向の予測にも、同様の方法を適用することができる。即ち、上述した復号低解像ブロックを基に、当該復号低解像ブロックを再分割した低解像分割ブロックに対し、同じフレーム内の隣接する復号済みの画素を用いて、例えば、H.264（”Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004.）の複数のイントラ予測モードから、最適なモードを決定した上で、当該復号低解像ブロックに該当する高解像度信号のブロックを予測する場合なども本発明に含まれる。この場合、各低解像分割ブロックの予測モードを明示的に伝送する必要がないため、少ない補助情報で高精度に対象ブロックを予測できるという優れた効果がある。また、上述した時間方向の予測と空間方向の予測とを組み合わせて高精度の予測を行ってもよい。

（２）誤差ブロックの符号化に関する変形態様
予測ブロックと符号化対象ブロックとの間の誤差ブロックを符号化することは必須ではない。つまり、誤差ブロック符号化部２５４（図２９）と誤差ブロック復号部１５６（図２８と図２９）の処理は省略してもよい。また、符号化対象ブロックあるいは復号ブロック毎に符号化の有無を決めても良い。また、誤差ブロックならびに低解像誤差ブロックの具体的な符号化・復号方法については、上述の方法に限定されるものではない。

（３）複数予測モードの符号化に関する変形態様
上述の実施形態では、符号化対象ブロックの符号化処理に適用する予測方法を、本発明の予測方法のみとしているが、符号化対象ブロックを縮小しない従来の符号化方法に対し、本発明の予測方法を適用してもよい。

（４）ブロックサイズに関する変形態様
上述では、符号化対象ブロック（予測対象ブロック）ならびに復号ブロックのサイズを８x８、低解像ブロックのサイズを４x４、低解像分割ブロックを２x２としているが、本発明の予測符号化は、これらのサイズには限定されない。例えば、符号化対象ブロック及び復号ブロックのサイズをH.264と同じ１６x１６、低解像ブロックを８x８、低解像分割ブロックを２x２とするなど、低解像ブロックをさらに４分割よりも細かく分割する場合にも本発明は有効である。同様に、変換・量子化を実施するブロックサイズも限定されない。例えば、H.264のように、誤差ブロックを４x４ブロックに分割して、４x４ブロック単位で変換・量子化を行ってもよい。

（５）縮小化方法に関する変形態様
上述では、図３６のように、縮小化処理を縦・横に１ライン間引く方法としているが、ブロックの縮小化処理はこの方法には限定されない。例えば、低解像ブロックは、符号化装置と復号装置間で予め定めておけば、復号ブロック（符号化対象ブロック、予測対象ブロック）よりも画素数の少ない任意の形状としてもよく、図３６のブロック１０６の各画素を縦横方向に１画素ずらしたブロック（図３６のブロック１０６０）や、図３６のブロック１０６の画素とブロック１０６０の画素の両方を持つブロック１０６２なども含まれる。また、ブロックにローパスフィルタ処理を施した後に縦・横にダウンサンプリングする方法や、４個の隣接画素を平均化して１画素に変換する方法など、画像縮小化に適用される様々な方法を適用することができる。

（６）縮小化処理の実施手順に関する変形態様
縮小化処理部は省略してもよい。例えば、縮小化処理部の機能が、動き補償部や拡大動き推定部に含まれている場合や、低解像ブロックに属さない画素を評価に含めずに処理できる場合には、縮小化処理部は必要とされない。また、低解像ブロック復号部による縮小化処理と低解像予測ブロック生成部による縮小化処理とは、復号装置と符号化装置間で予め規定されていれば、異なる方法を用いても良い。

（７）拡大動き推定に関する変形態様
拡大動き推定処理における探索範囲、探索手順及び探索開始点は、上述の方法に限定されない。探索範囲は符号化装置と復号装置間で予め規定されていれば、任意の範囲に設定できる。探索手順についても同様で、例えば、中心からのスパイラルではなく、探索範囲を左上から右下に向かってラスタスキャン順に探索する方法なども適用できる。探索開始点についても、０ベクトルではなく、例えば、予測ベクトルを中心として探索範囲を設定することも可能である。また、動き推定・動き補償方法についても、動きベクトルを検出するブロックマッチングに限定されず、アフィンパラメータや透視投影変換パラメータなどの動きパラメータにてブロック内の画素の予測値を算出する方法でも、本発明は適用可能である。この場合も、小ブロック予測部にて検出された動きパラメータは伝送する必要がない。第１実施例の小ブロック予測も同様にブロックマッチングに限定されない。

（８）分離部、統合部に関する変形態様
図２８の分離部１３１及び図２９の統合部２１６は必ずしも必要とされない。例えば、図２８では、動きベクトル予測・復号部１３２と逆量子化部１３６が、エントロピー復号部１５０からデータを直接受け取ってもよい。図２９では、動きベクトル予測・符号化部２１２と量子化部２１５から直接、エントロピー符号化部２５５にデータを出力してもよい。

１００、３００、５００…動画像符号化装置、１３１…分離部、１３２…ベクトル予測・復号部、１３３…補償部、１３４…縮小化処理部、１３５…加算部、１３６…逆量子化部、１３７…逆変換部、１３８…推定部、１３９…予測小ブロック取得部、１４０…逆量子化部、１４１…逆変換部、１５０…エントロピー復号部、１５１…低解像ブロック復号部、１５２、１５８…小ブロック予測部、１５３…フレームメモリ、１５４…拡大ブロック生成部、１５５…ブロック統合部、１５６…誤差ブロック復号部、１５７…加算部、１５９…スイッチ、１６０…記録媒体、１６２…ブロック分割部、１６３…推定部、１６４…補償部、１６５…ブロック分割部、１６６…低解像ブロック分割部、２００、４００、６００…動画像復号装置、２１１…推定部、２１２…ベクトル予測・符号化部、２１３…減算部、２１４…変換部、２１５…量子化部、２１６…統合部、２１７…加算部、２１８…変換部、２１９…量子化部、２５１…符号化ブロック分割部、２５２…復号低解像ブロック生成部、２５３…減算部、２５４…誤差ブロック符号化部、２５５…エントロピー符号化部、２５６…判定部、２６０…記録媒体。

Claims (9)

1. 復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置であって、
   復号済み画像が保持される保持手段と、
   入力された符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、
   前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、
   前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、
   前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段と、
   を備え、
   前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像復号装置。
2. 前記エントロピー復号手段は、前記符号化データをエントロピー復号することで、当該符号化データに含まれ符号化対象ブロックと予測ブロックとの誤差を表す誤差ブロック情報をさらに生成し、
   前記動画像復号装置は、
   前記エントロピー復号手段により生成された誤差ブロック情報を復号することで、誤差ブロックを生成する誤差ブロック復号手段と、
   前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段と、
   をさらに備える請求項１記載の動画像復号装置。
3. 符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置であって、
   復号済み画像が保持される保持手段と、
   入力された画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、
   前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、
   前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、
   前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段と、
   を備え、
   前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像符号化装置。
4. 前記符号化ブロック分割手段により分割された符号化ブロックと、前記ブロック統合手段により生成された予測ブロックとの誤差を画素単位で求めることで、当該誤差を表す誤差ブロックを生成する誤差ブロック生成手段と、
   前記誤差ブロック生成手段により生成された誤差ブロックを符号化することで誤差ブロック情報を生成する誤差ブロック符号化手段と、
   前記誤差ブロック符号化手段により生成された誤差ブロック情報を復号することで、復号誤差ブロックを生成する誤差ブロック復号手段と、
   前記ブロック統合手段により生成された予測ブロックと、前記誤差ブロック復号手段により生成された復号誤差ブロックとに基づいて、復号ブロックを生成する復号ブロック生成手段と、
   をさらに備える請求項３記載の動画像符号化装置。
5. 前記復号低解像ブロック生成手段により生成された低解像ブロック情報および前記誤差ブロック符号化手段により生成された誤差ブロック情報をエントロピー符号化し、符号化データを生成するエントロピー符号化手段をさらに備える請求項４記載の動画像符号化装置。
6. 復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置における動画像復号方法であって、
   入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号工程と、
   前記エントロピー復号工程にて生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号工程と、
   前記低解像ブロック復号工程にて生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、
   前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程と、
   を有し、
   前記予測小ブロック生成工程は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像復号方法。
7. 復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置における動画像符号化方法であって、
   入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割工程と、
   前記符号化ブロック分割工程にて分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成工程と、
   前記復号低解像ブロック生成工程にて生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割工程と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割工程にて生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成工程と、
   前記予測小ブロック生成工程にて生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合工程と、
   を有し、
   前記予測小ブロック生成工程は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像符号化方法。
8. 復号済み画像が保持される保持手段を備え、復号対象となる符号化データを所定のブロック単位で復号し予測ブロックを生成する動画像復号装置、に設けたコンピュータを、
   入力された復号対象の符号化データをエントロピー復号することで、前記復号ブロックよりも画素数が少なく当該復号ブロックと時間的・空間的に同一位置の低解像ブロックを符号化した低解像ブロック情報を生成するエントロピー復号手段と、
   前記エントロピー復号手段により生成された低解像ブロック情報を復号し、前記復号済み画像を参照して、前記低解像ブロックを生成する低解像ブロック復号手段と、
   前記低解像ブロック復号手段により生成された低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、
   前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、
   として機能させ、
   前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像復号プログラム。
9. 復号済み画像が保持される保持手段を備え、符号化対象となる画像を所定のブロック単位で符号化し予測ブロックを生成する動画像符号化装置、に設けたコンピュータを、
   入力された符号化対象の画像を複数の符号化対象ブロックに分割する符号化ブロック分割手段と、
   前記符号化ブロック分割手段により分割された符号化対象ブロックよりも画素数が少なく当該符号化対象ブロックと時間的・空間的に同一位置の低解像ブロックを符号化することで、低解像ブロック情報を生成し、当該低解像ブロック情報を復号し、前記復号済み画像を参照して、復号低解像ブロックを生成する復号低解像ブロック生成手段と、
   前記復号低解像ブロック生成手段により生成された復号低解像ブロックを、所定の分割規則に基づき分割することで、複数の低解像分割ブロックを生成する低解像ブロック分割手段と、
   前記保持手段に保持されている復号済み画像と、前記低解像ブロック分割手段により生成された低解像分割ブロックとから、当該低解像分割ブロックよりも画素数が多く当該低解像分割ブロックと時間的・空間的に同一位置の予測小ブロックを生成する予測小ブロック生成手段と、
   前記予測小ブロック生成手段により生成された予測小ブロックを、前記分割規則に対応した所定の統合規則に基づき統合することで、予測ブロックを生成するブロック統合手段、
   として機能させ、
   前記予測小ブロック生成手段は、前記低解像分割ブロックと前記復号済み画像との間のブロックマッチングにより検出された前記低解像分割ブロックの動きベクトルに対応する前記復号済み画像内のブロックを前記予測小ブロックとして生成する、
   ことを特徴とする動画像符号化プログラム。

Images