JP5313326B2 - 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム - Google Patents

Description

本発明は、画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラムに関する。

ビデオ符号化データを復号することにより再生される複数の低解像画像（以下、「低解像」をＬＲとする）から高解像画像（以下、「高解像」をＨＲとする）を生成する超解像技術（以下、「超解像」をＳＲとする）が知られている（例えば、非特許文献１参照）。

ＳＲ技術では、複数のＬＲ画像と１枚のＨＲ画像との関係をモデル化し、既知情報及び推測情報を統計的処理することで、複数のＬＲ画像からＨＲ画像を生成することができる。図１は、ＬＲ画像とＨＲ画像との間のモデルを示す。このモデルでは、１枚の原画ＨＲ画像１０１から複数フレーム（Ｌ枚）の原画ＬＲ画像１０４を生成することを仮定している。この仮定では、原画ＬＲ画像１０４−１，１０４−２，…，１０４−Ｌを生成するために、原画ＨＲ画像１０１に対して動きモデル２０１−１，２０１−２，…，２０１−Ｌが適用される。この時、ＨＲ画像に対して、ローパスフィルタとダウンサンプリングによる標本化モデル２０２により標本化処理を施すと原画ＬＲ画像１０４−１，１０４−２，…，１０４−Ｌが生成される。ここで、ビデオ符号化データを復号することで生成される再生ＬＲ画像１０２−１，１０２−２，…，１０２−Ｌと原画ＬＲ画像１０４−１，１０４−２，…，１０４−Ｌとの差分を量子化ノイズ１０３−１，１０３−２，…，１０３−Ｌと仮定すると、フレームｋの原画ＨＲ画像f＿ｋ(ｘ,z)、１＜＝ｘ＜＝２Ｍ，１＜＝z＜＝２Ｎとフレームｌの再生ＬＲ画像y＿ｌ(m,n)、１＜＝ｍ＜＝Ｍ，１＜＝ｎ＜＝Ｎとの関係は次の式１でモデル化できる。
ｙ＿ｌ＝ＡＨＣ（ｄ＿ｌｋ）・ｆ＿ｋ＋ｅ＿ｌ ・・・（式１）
ただし、ｌは１からＬまでの整数、Ｃ（ｄ＿ｌｋ）はフレームｋとフレームｌのＨＲ画像間の動きモデルのマトリックス、ＡＨは標本化モデルのマトリックス（ＨはＨＲ画像のフィルタ処理を表す４ＭＮｘ４ＭＮのマトリックス、ＡはＭＮｘ４ＭＮのダウンサンプリングマトリックス）、ｅ＿ｌはフレームlの再生ＬＲ画像の量子化ノイズを表す。

このようにビデオ符号化データのある再生ＬＲ画像と１枚のＨＲ画像は、ＬＲ−ＨＲ画像間の時空間対応を示す動きモデルと、ＨＲ画像からＬＲ画像へ劣化の過程にて発生するノイズの信号モデルにてモデル化できる。従って、複数の再生ＬＲ画像から１枚のＨＲ画像を生成するには、動きモデルや信号モデルの推測値を評価するコスト関数を統計的な手段を用いて定義し、非線形な最適化処理を解けばよい。この最適化処理では、複数のＬＲ画像それぞれについてＬＲ画像−ＨＲ画像間の時空間対応を表す動き情報（ＳＲ動き情報）とＨＲ画像とを求めるべき解とする。

最適化処理の方法としては、例えばcoordinate decent法がある（非特許文献２参照）。この方法では、最初に、再生ＬＲ画像から内挿処理により仮想ＨＲ画像（反復処理を利用した最適化に伴う暫定的なＨＲ画像）を生成する。ＨＲ画像を固定して、コスト関数を利用して仮想ＨＲ画像と複数のＬＲ画像間の時空間対応を表す動き情報を求める。次に、求めた動き情報を固定して、コスト関数を利用して仮想ＨＲ画像を更新する。更に、仮想ＨＲ画像を固定して動き情報を更新する。この処理を反復して行い、解を収束させる。

C.A.Segall et.al.,"High-Resolution Images from Low-Resolution Compressed Video",IEEE Signal Processing Magazine，２００３年５月，pp.37-48 H.He，L.P.Kondi,"MAP Based Resolution Enhancement of Video Sequences Using a Huber-Markov Random Field Image Prior Model",Proc. of IEEE International Conference on Image Processing Vol.II,（スペイン）,２００３年９月,pp.933-936

従来の超解像技術では、複数の画像からより解像度の高い画像を生成する解像度拡張処理において、低解像度画像の符号化ノイズ及び標本化ボヤケ、並びに仮定とするモデルの不確かさなどの影響により、低解像度画像と高解像画像との間の動き検出を精度良く行うことが難しい。また、画像間の動き検出や最適化処理のため、解像度拡張処理に莫大な演算量が必要とされる。

本発明は、上記課題を解決するためになされたものであり、画像解像拡張処理にかかる演算量を軽減しつつ、画像間の動き検出の精度を向上させることができる画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラムを提供することを目的とする。

本発明の一側面に係る画像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、前記ビデオデータ復号手段により得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張手段と、補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段と、を備え、前記解像度拡張手段が、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成することを特徴とする。

このとき、補助動き情報が、さらに、前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、前記解像度拡張手段が、前記修正超解像動きベクトルを前記補助動き情報に基づいて修正した超解像動きベクトルとして用いてもよい。

また、補助動き情報が、さらに、前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、前記解像度拡張手段が、前記超解像動きベクトルを中間動きベクトルとし、該中間動きベクトルと前記修正超解像動きベクトルとの加算処理により前記補助動き情報に基づいて修正した動きベクトルを生成してもよい。

また、補助動き情報が、さらに、前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、前記解像度拡張手段が、前記修正超解像動きベクトルを前記超解像動きベクトルの初期動きベクトルとし、前記複数の再生画像を用いて前記初期動きベクトルを更新し、更新後の前記初期動きベクトルを前記補助動き情報に基づいて修正した動きベクトルとしてもよい。

また、補助動き情報が、前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す超解像動きベクトルを生成するために必要な条件としての超解像動きベクトル探索条件を含み、前記解像度拡張手段が、前記超解像動きベクトル探索条件に基づいて前記複数の再生画像から前記超解像動きベクトルを生成してもよい。

なお、画像復号装置は、以下の態様を採用してもよい。即ち、本発明の一側面に係る画像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、前記ビデオデータ復号手段により得られた複数の再生画像あるいは先に生成された複数の高解像画像と１枚の生成対象である高解像画像間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像あるいは先に生成された複数の高解像画像とを用いて、前記複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段と、補助データを受信し復号して前記先に生成された複数の高解像画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段と、を備え、前記解像度拡張手段が、前記補助データ復号手段により得られた補助動き情報に基づいて修正した超解像動きベクトルを生成する動きベクトル生成処理と、生成した超解像動きベクトルと先に生成された複数の高解像画像とから前記生成対象の高解像画像を生成する高解像画像生成処理とを反復して実施してもよい。

このとき、解像度拡張手段が、前記動きベクトル生成処理と高解像画像生成処理の反復処理において、毎回、前記補助動き情報に基づいて前記動きベクトル生成処理を実施してもよい。

また、補助動き情報が、前記動きベクトル生成処理と高解像画像生成処理の反復処理における特定の回を表す特定回情報を含み、前記解像度拡張手段が、前記特定回情報が表す特定の回における動きベクトル生成処理にて、前記補助動き情報に基づいた動きベクトル生成処理を実施してもよい。

さらに、画像復号装置は、以下の態様を採用してもよい。即ち、本発明の一側面に係る画像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像と再生動きベクトルとを得るビデオデータ復号手段と、補助データを受信し復号して、前記再生動きベクトルの修正に要する補助動き情報を得る補助データ復号手段と、複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルと前記ビデオデータ復号手段により得られた複数の再生画像とを用いて、前記複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段と、を備え、前記解像度拡張手段は、前記補助データ復号手段により得られた補助動き情報に基づいて前記再生動きベクトルを前記複数の再生画像間の時空間対応を表す動きベクトルに修正し、修正した動きベクトルを、前記複数の再生画像と前記高解像画像との間の時空間対応を示す超解像動きベクトルの初期動きベクトルとし、前記複数の再生画像の各画素と前記高解像画像との間の時空間関係に基づいて、前記初期動きベクトルから前記超解像動きベクトルを生成し、前記複数の再生画像と前記超解像動きベクトルとを用いて前記高解像画像を生成してもよい。

さて、本発明の一側面に係る画像符号化装置は、高解像画像を低解像画像に変換する画像標本化手段と、前記画像標本化手段にて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化手段と、前記ビデオデータ符号化手段により生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号手段と、前記ビデオデータ復号手段により得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成手段と、前記補助動き情報生成手段により生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張手段と、前記補助動き情報生成手段により生成された補助動き情報を補助データとして符号化する補助データ符号化手段と、を備えることを特徴とする。

ところで、前述した画像復号装置に係る発明は、以下のように画像復号方法に係る発明および画像復号プログラムに係る発明としても記述することができ、前述した画像符号化装置に係る発明は、以下のように画像符号化方法に係る発明および画像符号化プログラムに係る発明としても記述することができる。

即ち、本発明の一側面に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号ステップと、前記ビデオデータ復号ステップにより得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張ステップと、補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号ステップと、を備え、前記解像度拡張ステップでは、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成することを特徴とする。

本発明の一側面に係る画像復号プログラムは、コンピュータを、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、前記ビデオデータ復号手段により得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張手段と、補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段、として機能させるための画像復号プログラムであり、前記解像度拡張手段が、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成することを特徴とする。

本発明の一側面に係る画像符号化方法は、画像符号化装置により実行される画像符号化方法であって、高解像画像を低解像画像に変換する画像標本化ステップと、前記画像標本化ステップにて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化ステップと、前記ビデオデータ符号化ステップにより生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号ステップと、前記ビデオデータ復号ステップにより得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成ステップと、前記補助動き情報生成ステップにより生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張ステップと、前記補助動き情報生成ステップにより生成された補助動き情報を補助データとして符号化する補助データ符号化ステップと、を備えることを特徴とする。

本発明の一側面に係る画像符号化プログラムは、コンピュータを、高解像画像を低解像画像に変換する画像標本化手段と、前記画像標本化手段にて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化手段と、前記ビデオデータ符号化手段により生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号手段と、前記ビデオデータ復号手段により得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成手段と、前記補助動き情報生成手段により生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張手段と、前記補助動き情報生成手段により生成された補助動き情報を補助データとして符号化する補助データ符号化手段、として機能させることを特徴とする。

本発明によれば、画像間の動き検出の精度が向上し、再生高解像画像の画像品質が向上する。また、画像解像度拡張処理にかかる演算量が軽減される。

複数の再生低解像画像と高解像画像との関係を示す図である。 本発明の補助データに関わる動き情報の種類を説明する図である。 本発明の符号化装置の全体構成を説明する図である。 本発明の符号化処理の構成を説明する図である。 本発明の符号化処理を用いた解像度拡張処理を説明する図である。 本発明の復号装置の全体構成を説明する図である。 本発明の復号処理を用いた解像度拡張処理を説明する図である。 本発明の補助データのデータ構成を示した図である。 本発明の符号化処理フローを示した図である。 本発明の補助データを用いた解像度拡張処理フローを示した図である。 本発明の復号処理フローを示した図である。 本発明の実施の形態にかかる画像符号化処理又は画像復号処理をコンピュータシステムにより実現するためのプログラムを格納するデータ記憶媒体について説明する図である。 本発明の符号化処理の構成の別例を説明する図である。 本発明の符号化処理を用いた解像度拡張処理の別例を説明する図である。 本発明の復号処理を用いた解像度拡張処理の別例を説明する図である。 ブロックマッチング法を説明する図である。 復号処理における動き探索を説明する図である。 本発明の符号化処理を用いたビデオ符号化処理の構成を説明する図である。 本発明の復号処理を用いたビデオ復号処理の構成を説明する図である。 ビデオ符号化データの構成を説明する図である。 本発明の符号化処理フローの別例を説明する図である。 本発明の復号処理フローの別例を説明する図である。

本発明の実施の形態について、図２から図１２を参照しながら説明する。

図２は、各種の動き情報に含まれるデータのうち、動きベクトルを説明する図である。また、図３から図５は本発明の符号化装置の構成を示す図であり、図６及び図７は本発明の復号装置の構成を示す図である。図８は本発明における補助データのデータフォーマット構成を示す図である。また、図９から図１１は、それぞれ符号化の処理フロー、超解像画像生成の処理フロー及び復号の処理フローを説明する図である。図１２は、画像符号化処理又は画像復号処理をコンピュータシステムにより実現するためのプログラムを格納するデータ記憶媒体について説明する図である。

本発明における補助データは補助動き情報を有しており、後述するように補助動き情報には低解像動き情報（ＬＲ動き情報）、修正超解像動き情報（修正ＳＲ動き情報）、高解像動き情報（ＨＲ動き情報）がある。なお、以下、「低解像」はＬＲ、「高解像」はＨＲ、「超解像」はＳＲと適宜省略しつつ説明する。また、「低解像画像（ＬＲ画像）」よりも解像度の高い画像を「高解像画像（ＨＲ画像）」として説明する。

まず、本発明の実施形態に係る符号化装置１０について説明する。

図３は、本発明の実施形態に係る符号化装置１０の全体構成を示す。符号化装置１０は、画像標本化部３０２と、ブロック分割部３０３と、符号化処理部３０４と、復号処理部３０５と、データメモリ３０８と、フレームメモリ３０７と、データメモリ３０９と、解像度変換・符号化部３０６とを備えている。

原画ＨＲ画像１０１は、ローパスフィルタとダウンサンプリング処理部を備える画像標本化部３０２にて、原画ＨＲ画像よりも解像度の低い原画ＬＲ画像１０４に変換される。変換された原画ＬＲ画像１０４は、ブロック分割部３０３にて、符号化ブロックに分割され、例えば、画像の左上から右下に向かってラスタスキャン順で符号化処理部３０４に入力される。符号化処理部３０４は、入力ブロックを動画像符号化し、ビデオ符号化データ１２０に圧縮する。また、符号化処理部３０４は、ビデオ符号化データ１２０を復号処理部３０５に出力する。復号処理部３０５は、ビデオ符号化データ１２０を復号することで、再生ＬＲ画像１０２及び復号動き情報（以下、「ＤＥＣ動き情報」とする）１０８を生成する。なお、符号化処理部３０４は内部に局部復号処理部を有しているため、復号処理部３０５は、符号化処理部３０４内の局部復号処理部でも代用できる。

符号化処理部３０４及び復号処理部３０５は、生成した再生ＬＲ画像１０２、動き情報（ＤＥＣ動き情報）１０８及び量子化パラメータ１１４を、それぞれフレームメモリ３０７、データメモリ３０８及びデータメモリ３０９に出力する。フレームメモリ３０７、データメモリ３０８及びデータメモリ３０９は、それぞれ再生ＬＲ画像１０２、ＤＥＣ動き情報１０８及び量子化パラメータ１１４を保存すると共に、それらを解像度変換・符号化部３０６に出力する。なお、ブロック分割、符号化処理及び（局部）復号処理の詳細は、例えば、“MPEG-4 Video Verification Model version 18.0”, Output document of MPEG Pisa Meeting, January 2001（以下、参考文献１とする）に記載されている。

ＤＥＣ動き情報１０８は、予測タイプ、動きベクトル（以下、ＤＥＣ動き情報における動きベクトルを「ＤＥＣＭＶ」とする）により構成されており、符号化ブロックごとに決定された後に、符号化される。

図２（ａ）を用いつつ、ＤＥＣ動き情報の予測タイプ及びＤＥＣＭＶを説明する。予測タイプには、動きベクトルを用いて動き予測を行うインターモードと、動きベクトルを伴わず現フレーム内の符号化済み画素を用いて空間予測を行うイントラモードがある。さらにインターモードには、現フレームのＬＲ画像９１０に対して表示時刻で過去の符号化済みフレームのＬＲ画像９２０ａを参照画像として時間予測を行う前方向動き予測、未来の符号化済みフレームのＬＲ画像９２０ｂを参照画像として時間予測を行う後方向動き予測、その両方の画像を参照画像としてそれぞれ時間予測を行い内挿処理により予測画像を合成する双方向予測がある。図２（ａ）において、９２２ａは前方向予測の予測ブロック、９２１ａは前方向のＤＥＣＭＶ、９２２ｂは後方向予測の予測ブロック、９２１ｂは後方向のＤＥＣＭＶ、９２４ａと９２４ｂは双方向予測の内挿前予測ブロック、９２３ａと９２３ｂは双方向予測の前方向ＤＥＣＭＶと後方向ＤＥＣＭＶを示している。

次に解像度変換・符号化部３０６を図４及び図５を用いて説明する。解像度変換・符号化部３０６は、解像度拡張処理部３１０、補助データ生成部３５１、補助データ符号化・レート制御部３１１と、フレームメモリ３１５とを備える。また、補助データ生成部３５１は、低解像動き補償部３１２と、超解像動き補償部３１３と、高解像動き補償部３１４とを備える。低解像動き補償部３１２はＬＲ動き情報１０９（後述）を補助データとして生成し、超解像動き補償部３１３は修正ＳＲ動き情報１１１（後述）を補助データとして生成し、高解像動き補償部３１４はＨＲ動き情報１１２（後述）を補助データとして生成する。

解像度変換・符号化部３０６は、符号化処理部３０４及び復号処理部３０５において生成された複数の再生ＬＲ画像と、ＤＥＣ動き情報（ＤＥＣＭＶを含む）と、量子化パラメータとを入力として局部解像度拡張処理を行う。また、解像度変換・符号化部３０６において、解像度拡張処理部３１０は局部解像度拡張処理により再生ＨＲ画像１０６を生成し、外部からは原画ＨＲ画像１０１と原画ＬＲ画像１０４が入力される。これらの画像及び情報を用いて、解像度変換・符号化部３０６は、解像度拡張処理を補助する補助データを生成し、補助データ符号化・レート制御部３１１において補助データの符号化処理（すなわち、補助データ１１３の生成）を実施する。

本実施形態では、補助データ１１３の生成に、再生ＨＲ画像１０６と、ＳＲ動き情報（超解像動き情報）１１０と、量子化パラメータ１１４と、原画ＨＲ画像１０１と、原画ＬＲ画像１０４とが用いられる。なお、超解像動き情報とは、再生ＨＲ画像と複数のＬＲ画像との間の時空間対応を表す動き情報を意味する。

図４を参照しながら、解像度変換・符号化部３０６の内部構成を説明する。解像度変換・符号化部３０６の処理は、解像度拡張を施すフレームに表示時刻の前後の３フレームを加えた計７フレームに関わる情報を用いて実施される。つまり、３フレーム先のフレームを符号化した後に、解像度拡張処理を実施する。

本発明の実施形態に係る符号化装置１０における解像度拡張処理及び補助データの符号化処理は、７つのステップに分けられる。以下、処理順序に従って動作を説明する。

第１のステップでは、低解像動き補償部３１２にて、原画ＬＲ画像１０４を用いて、ＤＥＣ動き情報１０８を高精度のＬＲ動き情報１０９に修正する。ＬＲ動き情報は、ＬＲ画像上のブロック位置情報と補助動きベクトル（以下、ＬＲ動き情報における動きベクトルを「ＬＲＭＶ」とする）とにより構成される。低解像動き補償部３１２は、解像度拡張を施す再生ＬＲ画像にその前後の２フレームの再生ＬＲ画像（ビデオ符号化の際に動き予測の参照画像）を加えた計３枚の再生ＬＲ画像１０２と、対応する３枚の原画ＬＲ画像１０４と、ＤＥＣ動き情報１０８との入力を受けて、ＬＲ動き情報１０９を補助データ符号化・レート制御部３１１と解像度拡張処理部３１０に出力する。

図２（ｂ）を用いて、ＬＲ動き情報を説明する。ＬＲ動き情報には、ＤＥＣＭＶを持たないブロックに補助動きベクトル（ＬＲＭＶ）を新たに追加するタイプと、ＤＥＣＭＶは存在するがその値を異なる補助動きベクトル（ＬＲＭＶ）に変更するタイプとがある。

ＬＲＭＶを追加するタイプでは、ＤＥＣＭＶを持たないブロック９１５ａについて、解像度拡張を施すフレームの原画ＬＲ画像９１０と前フレームの参照画像である再生ＬＲ画像９２０ａとの間で動き検索を実施する。そして、評価値（例えば、ブロック内の画素の二乗誤差和）が最小となる動きベクトルをＬＲＭＶとして検出する。図２（ｂ）では、前フレームの再生ＬＲ画像９２０ａ上のブロック９２６ａが評価値最小となり、対応する動きベクトルＬＲＭＶ９２５ａが検出されている。なお、最小の評価値が予め設定した閾値より大きい場合には、そのブロックの動きベクトルは有効ではないと判断し、ＬＲ動き情報の追加は行わない。最小の評価値が閾値より小さい場合には、検出した動きベクトルをＬＲＭＶとするＬＲ動き情報１０９を補助データ符号化・レート制御部３１１と解像度拡張処理部３１０に出力する。

一方、ＬＲＭＶに変更するタイプでは、ＤＥＣＭＶを持つブロック９１５ｂについて、解像度拡張を施すフレームの原画ＬＲ画像９１０と参照画像の原画ＬＲ画像９２０ｂとの間で動き検索を実施する。そして、評価値（例えば、ブロック内の画素の二乗誤差和）が最小となる動きベクトルを検出する。図２（ｂ）では、後方フレームのＬＲ画像９２０ｂ上のブロック９２６ｂが評価値最小となり、対応する動きベクトル９２５ｂが検出されている。この動きベクトルとＤＥＣＭＶを比較し、差分値が予め設定した閾値より大きい場合には、検出した動きベクトルをＬＲＭＶとするＬＲ動き情報１０９を補助データ符号化・レート制御部３１１と解像度拡張処理部３１０に出力する。

後述するようにＤＥＣＭＶは、ＳＲ技術にて検出する複数のＬＲ画像とＨＲ画像間の時空間対応を示す動き情報（ＳＲ動き情報）の初期データとして使用される。この初期データが実際の動きに近いほどＳＲ動き情報の検出にかかる時間は削減できる。従って、復号動き情報を修正することで生成された低解像動き情報を用いることで、解像度拡張処理にかかる演算時間を削減できる。

第２のステップでは、解像度拡張処理部３１０にて、再生ＨＲ画像１０６とＳＲ動き情報１１０の生成処理を実施する。解像度拡張処理部３１０は、解像度拡張を施す再生ＬＲ画像１０２に前後３フレームの再生ＬＲ画像１０２（参照再生ＬＲ画像）を加えた７枚の再生ＬＲ画像と、その符号化に用いたＤＥＣ動き情報１０８とＬＲ動き情報１０９を入力して、再生ＨＲ画像１０６とＳＲ動き情報１１０を生成する。

図５は、解像度拡張処理部３１０の内部構成を示す。最初に初期データ生成部４０５にて、解像度拡張処理のための初期データを生成する。具体的には、初期データ生成部４０５は、ＤＥＣ動き情報１０８とＬＲ動き情報１０９とを入力として、解像度拡張処理部３１０にて検出するＳＲ動き情報１１０の動きベクトルの初期データを算出する。

ここでＳＲ動き情報について説明する。ＳＲ動き情報は、再生ＬＲ画像のフレーム番号と動きベクトル（以下、ＳＲ動き情報における動きベクトルを「ＳＲＭＶ」とする）により構成される。背景技術において説明したように、ＳＲ技術を用いた解像度拡張処理を実施するためには、６枚の参照再生ＬＲ画像上の各画素について、再生ＨＲ画像を参照画像とした時の動きベクトル（ＳＲＭＶ）を検出する必要がある。また、原画ＬＲ画像上の１画素は、原画ＨＲ画像上の数画素にローパスフィルタとダウンサンプリングを施すことにより生成できる。

図２（ｃ）を用いて、ＳＲＭＶを説明する。図２（ｃ）では、１マスが１画素を表している。また、６枚の参照再生ＬＲ画像の１枚の再生ＬＲ画像９２０上の画素９２７に注目すると、画素９２７は、再生ＨＲ画像９４０の上では、画素９２７に対応する画素９４１とその周辺の８画素から構成される画素ブロック９４２に相当するものと仮定する。この時、画素９２７の予測画素９４５は、再生ＨＲ画像上の画素ブロック９４２から９本の動きベクトルにて検出した９画素にて構成される画素ブロック９４４にローパスフィルタとダウンサンプリングを施すことで算出できる。従って、画素９２７のＳＲＭＶ９４３は、画素９２７と予測画素９４５との誤差が最小となる９本の動きベクトルとなる。

本実施形態における初期データ生成部４０５では、再生ＬＲ画像上の１画素の予測に要する９本のＳＲＭＶの初期値を６枚の参照再生ＬＲ画像上のすべての画素について計算する。図１に示されるように、ＬＲ画像は、ＨＲ画像にローパスフィルタとダウンサンプリングを施すことにより生成される。そのため、１枚の参照再生ＬＲ画像上の全画素と再生ＨＲ画像との対応を決めるためには、参照再生ＬＲ画像をＨＲ画像サイズに拡大した画像（参照ＨＲ画像）上の画素について、再生ＨＲ画像との対応点をＳＲＭＶの初期値として検出すれば良い。つまり、再生ＬＲ画像上の１画素の予測に要する９画素ブロック９４４の初期ＳＲＭＶのうち、再生ＬＲ画像上の隣接画素の初期ＳＲＭＶと重なるＭＶは同じ値となる。

ここで、図２（ｃ）の再生ＬＲ画像９２０を再生ＨＲ画像９４０の直前フレームと考えると、図２（ａ）及び（ｂ）の再生ＬＲ画像９２０ａが画像９２０に対応し、再生ＬＲ画像９１０が再生ＨＲ画像９４０の解像度拡張前のＬＲ画像に対応する。また、再生ＬＲ画像９２０ａを参照画像とした時の再生ＬＲ画像９１０のＤＥＣＭＶあるいはＬＲＭＶを逆方向（画像９２０ａから画像９１０の方向）にたどることにより、画像９２０ａ上の画素と画像９１０との対応点が求まる。この際、一致する対応点がない画素については、動きベクトルの空間内挿処理により対応点を計算する。さらに、対応点に相当するＬＲ画像単位の動きベクトルをＨＲ画像単位の動きベクトルに拡張する。

次に、画像９２０ａの直前フレームの再生ＬＲ画像を参照画像とした時の再生ＬＲ画像９２０ａのＤＥＣＭＶあるいはＬＲＭＶを逆方向にたどることにより、画像９２０ａの直前フレームの再生ＬＲ画像上の画素と画像９２０ａとの対応点が求まる。この際、一致する対応がない画素については、動きベクトルの空間内挿処理により対応点を求める。さらに、画像９１０と画像９２０ａとの間の対応点と画像９２０ａと画像９２０ａの直前フレームとの間の対応点から、画像９２０ａの直前フレームの再生ＬＲ画像上の画素と画像９１０との対応点を計算し、対応点に相当するＬＲ画像単位の動きベクトルをＨＲ画像単位の動きベクトルに拡張する。この処理を、６枚の参照再生ＬＲ画像すべてに対して、再生ＨＲ画像９４０から離れる方向に連続的に実施することにより、ＳＲＭＶ検索の初期データを生成する。

次に、超解像画像合成部４１０にて、再生ＨＲ画像１０６を生成する。超解像画像合成部４１０は、７枚の再生ＬＲ画像１０２と初期データ生成部４０５にて生成したＳＲＭＶ探索の初期データ、ならびに量子化パラメータ１１４を入力として、動き検索部４１１によるＳＲ動き情報１１０の最適化と符号化ノイズ推定部４１２による再生ＨＲ画像１０６の最適化の反復処理を実施し、ＳＲ動き情報１１０と再生ＨＲ画像１０６を出力する（反復処理を用いた最適化の詳細は、例えば、非特許文献１参照）。

第３のステップでは、超解像動き補償部３１３において、ＳＲ動き情報１１０を、原画像を用いて高精度の修正ＳＲ動き情報１１１に修正する。超解像動き補償部３１３は、６枚の参照再生ＬＲ画像の原画ＬＲ画像１０４と、解像度拡張処理対象の再生ＬＲ画像に６枚の参照再生ＬＲ画像を加えた計７枚の原画像である原画ＨＲ画像１０１と、ＳＲ動き情報１１０との入力を受けて、修正ＳＲ動き情報１１１を解像度拡張処理部３１０と補助データ符号化・レート制御部３１１とに出力する。

修正ＳＲ動き情報は、再生ＬＲ画像上のブロック位置情報、参照フレーム番号、ブロックサイズ、補助動きベクトル（以下、修正ＳＲ動き情報における動きベクトルを「修正ＳＲＭＶ」とする）により構成される。ブロックサイズは、数画素分を纏めて符号化することにより、補助データの符号量を削減する目的で用いる。修正ＳＲ動き情報に属する修正ＳＲＭＶの数は、ブロックサイズが１×１画素の場合は９個であるが、Ｎ×Ｎ画素の場合には（２×Ｎ＋１）×（２×Ｎ＋１）個となる。

超解像動き補償部３１３では、６枚の原画ＬＲ画像と原画ＨＲ画像とを用いて、６枚の参照再生ＬＲ画像上の画素と原画ＨＲ画像との間のＳＲＭＶを検出する。さらに原画ＬＲ画像上の対象画素とその予測画素との差分値が予め定めた閾値より大きい場合には、ローパスフィルタとダウンサンプリングによる標本化処理を行わずに原画ＨＲ画像間でＳＲＭＶを検出する。検出したＳＲＭＶと入力されたＳＲＭＶとの差分値を指定した数種類の分割ブロック毎に平均値で比較し、差分値が閾値より大きい場合には、検出したＳＲＭＶの平均値と構成要素データを修正ＳＲ動き情報１１１として出力する。また、ＳＲＭＶの差分値が閾値より小さい場合でも、検出したＳＲＭＶと入力したＳＲＭＶを適用した場合の予測画素と原画ＬＲ画素上の画素との差分値のブロック二乗誤差和が閾値より大きい場合には、検出したＳＲＭＶの平均値と構成要素データを修正ＳＲ動き情報１１１として出力する。この修正ＳＲＭＶにより、再生ＬＲ画像と解像度拡張するＨＲ画像間の対応点の推定精度が上がり、再生ＨＲ画像の画像品質が向上する。また、ＳＲＭＶの検出にかかる時間が短縮できるため、超解像画像の生成にかかる演算時間が削減される。

第４のステップでは、解像度拡張処理部３１０にて、再生ＨＲ画像１０６とＳＲ動き情報１１０を再度調整する。解像度拡張処理部３１０は、解像度拡張を施す再生ＬＲ画像１０２と前後３フレームの再生ＬＲ画像１０２、ならびに修正ＳＲ動き情報１１１を入力として、再生ＨＲ画像１０６とＳＲ動き情報１１０を更新して出力する。具体的には、超解像画像合成部４１０にて、ＳＲＭＶを修正ＳＲＭＶに置き換えた後、動き検索部４１１によるＳＲ動き情報１１０の最適化と符号化ノイズ推定部４１２による再生ＨＲ画像１０６の最適化の反復処理を実施し、ＳＲ動き情報１１０と再生ＨＲ画像１０６を更新する（反復処理を用いた最適化の詳細は、例えば、非特許文献１参照）。

第５のステップでは、高解像動き補償部３１４にて、生成済みの前３フレームの再生ＨＲ画像（参照ＨＲ画像）と原画ＨＲ画像を用いて、再生ＨＲ画像の画像品質を更に改善するための動き情報を生成する。高解像動き補償部３１４は、複数の参照ＨＲ画像１０７、再生ＨＲ画像１０６と再生ＨＲ画像の原画像である原画ＨＲ画像１０１を入力とし、参照ＨＲ画像１０７と再生ＨＲ画像１０６間のＨＲ動き情報１１２を解像度拡張処理部３１０と補助データ符号化・レート制御部３１１に出力する。

ＨＲ動き情報は、参照ＨＲ画像上のブロック位置情報、参照フレーム番号、ブロックサイズ、補助動きベクトル（以下、ＨＲ動き情報における「動きベクトル」をＨＲＭＶとする）により構成される。

図２（ｄ）を用いて、ＨＲＭＶを説明する。図２（ｄ）では、再生ＨＲ画像９４０上のブロック９４６を、直前フレームの参照ＨＲ画像９５０上のブロック９５２にて更新する場合について、参照ＨＲ画像９５０上でブロック９４６と空間的に同一位置のブロック９５１と、更新するブロック９５２との間の空間的な動きベクトルがＨＲＭＶ９５４になることを示している。ブロックサイズは、補数画素分を纏めて符号化することにより、補助データの符号量を削減する目的で用いられる。

高解像動き補償部３１４では、まず、原画ＨＲ画像と再生ＨＲ画像とを予め指定した数種類の分割ブロックについて比較し、ブロック内の画素の差分値の二乗誤差和が予め定めた閾値より大きいブロックを検出する。次に、原画ＨＲ画像から検出位置のブロックを抽出し、抽出ブロックとの差分値の二乗誤差和が最小となるブロック位置を複数の参照ＨＲ画像を対象として探索する。そして、探索の結果得られたブロックと抽出ブロックとの差分値の二乗誤差和が閾値より小さい場合には、対応するＨＲ動き情報１１２を出力する。この原画高解像画像の情報を利用するＨＲ動き情報により、過去に解像度を拡張した高品質の参照高解像画像を用いて、再生高解像画像の画質を修正することが可能となり、再生ＨＲ画像の画像品質が向上する。

第６のステップでは、解像度拡張処理部３１０にて、再生ＨＲ画像１０６の画質改善処理を実施する。解像度拡張処理部３１０は、参照ＨＲ画像１０７及びＨＲ動き情報１１２を入力として、再生ＨＲ画像１０６を更新して出力する。具体的には、図５の画像先鋭化部４２０の動き補償部４２１にて、ＨＲ動き情報１１２に基づいて参照ＨＲ画像１０７からブロック画像を１個ずつ抽出し、画質修復部４２２にて、抽出したブロック画像を再生ＨＲ画像に合成する。これをすべてのＨＲ動き情報について実施し、更新した再生ＨＲ画像１０６を出力する。合成方法には、元の再生ＨＲ画像上の対応ブロックとの重み付け内挿を用いる。

第７のステップでは、補助データ符号化・レート制御部３１１にて、補助データ生成部３５１で生成された補助情報であるＬＲ動き情報１０９と、修正ＳＲ動き情報１１１と、ＨＲ動き情報１１２とを符号化して補助データ１１３を生成し、復号装置２０へ出力する。

１枚の再生ＨＲ画像に関わる補助データのデータフォーマットを図８に示す。補助データ符号化・レート制御部３１１による符号化の対象となる補助データ１１３は、１フレーム分の補助データの先頭を検索するためのスタートコード７０１から始まる。スタートコードには、そのデータパターンが補助データ内で発生しないユニークワードを用いている。同期コード７０７は、１フレームの補助データを後述するデータタイプ毎に区別するためのユニークワードであり、スタートコード直後は省略する。データタイプ７０２から動きベクトル７０５までは可変長符号により符号化する（可変長符号については、参考文献１参照）。

ブロック位置情報７０３は、参照フレーム番号と画像（ＬＲ動き情報及び修正ＳＲ動き情報ではＬＲ画像、ＨＲ動き情報ではＨＲ画像）上の画素位置を示している。なお、データタイプがＬＲ動き情報の場合には、参照フレーム番号はＤＥＣ動き情報から決定されるため、画素位置の情報のみを符号化する。

ブロックサイズ情報７０４は、上記の画素位置を左上端とするブロックのサイズを示す。動きベクトル密度情報７０８は、上記のブロック範囲について、符号化する補助動きベクトルの画素間隔を示す。従って、画素間隔が０の場合、つまり、ブロックで符号化する補助動きベクトルが１本の場合を除いては、反復ループ７１２にて複数の補助動きベクトルが符号化される。動きベクトルは、ＬＲＭＶ、修正ＳＲＭＶあるいはＨＲＭＶのベクトル値を水平成分、垂直成分の順で符号化する。実際に符号化する動きベクトルは予測動きベクトルとの差分ベクトルとする。

ＬＲＭＶでは、ＤＥＣＭＶが存在しないブロックについては、隣接３ブロックの動きベクトル成分の中間値（動きベクトルの中間値予測は、参考文献１参照）、ＤＥＣＭＶが存在するブロックについては、ＤＥＣＭＶのベクトル値が予測値となる。修正ＳＲＭＶとＨＲＭＶでは、同じデータタイプの動きベクトルについて隣接３ブロックの動きベクトル成分の中間値が予測値となる。

補助データ符号化・レート制御部３１１は、符号化する情報量が多い場合には、優先順位に従って情報量を削減する。高速化を優先する場合には、ＬＲ動き情報、修正ＳＲ動き情報、ＨＲ動き情報の順で優先し、再生ＨＲ画像の画像品質を優先する場合には、ＨＲ動き情報、修正ＳＲ動き情報、ＬＲ動き情報の順で優先する。また、同じデータタイプ内においては、評価値（ＬＲ動き情報：ＤＥＣＭＶとの差分値、修正ＳＲ動き情報：ＳＲＭＶとの差分値、ＨＲ動き情報：参照ＳＲ画像からの抽出ブロックと再生ＨＲ画像上の対応ブロックとの間の画素単位の二乗誤差和）が大きいブロックを優先する。

続いて、本発明の実施形態に係る復号装置２０について説明する。

図６は、本発明の実施形態に係る復号装置２０の全体構成を示している。復号装置２０は、復号処理部５０１と、解像度拡張処理部５０２と、フレームメモリ５０３と、データメモリ５０４と、データメモリ５０５と、フレームメモリ５０８と、補助データ復号・分離部５３１とを備えている。

まず、ビデオ符号化データ１２０は、復号処理部５０１にて再生ＬＲ画像１０２に復号される。復号された再生ＬＲ画像１０２はフレームメモリ５０３に、復号された動き情報（ＤＥＣ動き情報）１０８はデータメモリ５０４に、復号された量子化パラメータ１１４はデータメモリ５０５にそれぞれ保存され、解像度拡張処理部５０２からの要求に応じて出力される。復号処理の詳細は、例えば“Text of ISO/IEC 14496-2 Third Edition”, March 2003（以下、参考文献２とする）に記載されている。解像度拡張処理部５０２は、再生ＬＲ画像１０２、ＤＥＣ動き情報１０８、量子化パラメータ１１４、補助データ１１３を復号した補助情報（補助データ復号・分離部５３１により復号及び分離されたＬＲ動き情報１０９、修正ＳＲ動き情報１１１及びＨＲ動き情報１１２）及び参照ＨＲ画像１０７（フレームメモリ５０８から出力される過去に生成された再生ＨＲ画像）を入力として、再生ＨＲ画像１０６を生成する。

図７は、解像度拡張処理部５０２の内部構成及び補助データ復号・分離部５３１を示す。解像度拡張処理部５０２は、再生ＬＲ画像１０２、ＤＥＣ動き情報１０８、量子化パラメータ１１４、復号された補助データ１１３及び参照ＨＲ画像１０７（既に生成されている再生ＨＲ画像）の入力を要求するが、この際、再生ＬＲ画像とＤＥＣ動き情報は、解像度拡張を施すフレームに表示時刻でその前後の３フレームを加えた計７フレームに関わる情報、また参照ＨＲ画像は前の３フレーム分の情報を必要とする。つまり、解像度拡張処理は、３フレーム先の再生ＬＲ画像を復号した後で実施される。

本発明の実施形態に係る復号装置２０における解像度拡張処理は、３つのステップに分けられる。以下、処理順序に従って動作を説明する。

第１のステップでは、ＬＲ動き情報１０９の復号とＳＲＭＶ探索の初期データ生成を行う。まず、補助データ復号・分離部５３１にて、解像度拡張対象フレームの補助データ１１３からＬＲ動き情報１０９のデータを分離し、可変長復号する。次に、初期データ生成部４０５は、復号したＬＲ動き情報１０９と７フレーム分のＤＥＣ動き情報１０８とを入力として、ＳＲＭＶ検索の初期データを生成する。初期データ生成部４０５の動作については、既に図５にて説明済みのためここでは説明を割愛する。

第２のステップでは、修正ＳＲ動き情報１１１の復号と再生ＨＲ画像１０６の生成を行う。まず、補助データ復号・分離部５３１にて、解像度拡張対象フレームの補助データ１１３から修正ＳＲ動き情報１１１のデータを分離し、可変長復号する。次に、超解像画像合成部５１０は、復号した修正ＳＲ動き情報１１１、７枚の再生ＬＲ画像１０２、ＳＲＭＶ探索の初期データ及び量子化パラメータ１１４を入力として、再生ＨＲ画像１０６を生成する。具体的には、動き検索部５１１において、ＳＲＭＶ探索の初期データを修正ＳＲ動き情報１１１によって修正した後、動き検索部５１１によるＳＲＭＶの最適化と符号化ノイズ推定部５１２による再生ＨＲ画像１０６の最適化の反復処理を実施することで、再生ＨＲ画像１０６を収束させる（反復処理を用いた最適化に関する詳細は、例えば非特許文献１参照）。但し、修正ＳＲ動き情報にて修正したＳＲＭＶについては、精度の高い値と推定できるため、整数画素以下の実数値の範囲に限定した微調整のみを行う。

第３のステップでは、ＨＲ動き情報１１２の復号と再生ＨＲ画像１０６の画質改善処理を行う。まず、補助データ復号・分離部５３１にて、解像度拡張対象フレームの補助データ１１３からＨＲ動き情報１１２のデータを分離し、可変長復号する。次に、画像先鋭化部５２０は、ＨＲ動き情報１１２と参照ＨＲ画像１０７を用いて画質改善処理を実施する。具体的には、動き補償部５２１にて、ＨＲ動き情報１１２に基づいて参照ＨＲ画像１０７からブロック画像を１個ずつ抽出し、画質修復部５２２にて、抽出したブロック画像を超解像画像合成部５１０にて生成した再生ＨＲ画像１２３に合成することで再生ＨＲ画像１０６を更新する。これをすべてのＨＲ動き情報について実施し、更新した再生ＨＲ画像１０６を出力する。合成方法には、元の再生ＨＲ画像上の対応ブロックとの重み付け内挿を用いる。

図９は、本発明を実施する符号化処理フローを示している。なお、図９の各ステップの詳細は図３、図４、図５の説明と重なるため、ここでは処理の流れのみを説明する。符号化処理開始６０１の後、処理６０２では、ローパスフィルタとダウンサンプリングによる標本化処理により、原画ＨＲ画像を原画ＬＲ画像に変換する。処理６０３では、変換した原画ＬＲ画像をビデオ符号化すると共に、局部復号処理により再生ＬＲ画像とＤＥＣ動き情報を生成する。処理６０４では、原画ＬＲ画像を用いて、ＤＥＣ動き情報の少なくとも一部を高精度のＬＲ動き情報に修正する。処理６０５では、複数フレームのＤＥＣ動き情報とＬＲ動き情報を用いて、ＳＲＭＶ検索の初期データを生成する。処理６０６では、解像度拡張処理により、複数の再生ＬＲ画像から再生ＨＲ画像とＳＲ動き情報を生成する。処理６０７では、原画ＨＲ画像と原画ＬＲ画像を用いて、処理６０６にて生成したＳＲ動き情報の一部を高精度の修正ＳＲ動き情報に修正する。処理６０８では、ＳＲＭＶを処理６０７にて生成した修正ＳＲＭＶに置き換えて、再度解像度拡張処理を実施し、再生ＨＲ画像とＳＲ動き情報を更新する。処理６０９では、参照ＨＲ画像を用いて、対象とする再生ＨＲ画像の画像品質を参照ＨＲ画像にて改善する参照ＨＲ画像と再生ＨＲ画像間の動き情報（ＨＲ動き情報）を検出する。処理６１０では、処理６０９にて検出したＨＲ動き情報と参照ＨＲ画像を用いて、再生ＨＲ画像の画像品質を改善する。処理６１１では、処理６０４にて生成したＬＲ動き情報と処理６０７にて生成した修正ＳＲ動き情報と処理６０９にて生成したＨＲ動き情報を符号化し、補助データを生成する。処理６１１が終了した後、符号化処理が終了する（処理６１２）。

図１０は、本発明を実施する復号処理内の超解像画像生成処理フローを示している。なお、図１０の各ステップの詳細は図７の説明と重なるため、ここでは処理の流れのみを説明する。超解像度画像生成処理開始８０１の後、処理８０２では、ＬＲ動き情報を復号する。処理８０３では、処理８０２にて復号したＬＲ動き情報と複数フレームのＤＥＣ動き情報を用いて、ＳＲＭＶ探索の初期データを生成する。処理８０４では、修正ＳＲ動き情報を復号する。処理８０５では、処理８０４にて復号した修正ＳＲ動き情報をＳＲＭＶ探索の初期データとして設定すると共に、修正ＳＲ動き情報の更新を整数画素以下の範囲に限定するという条件にてＳＲＭＶを探索し、複数フレームの再生ＬＲ画像から再生ＨＲ画像を生成する。処理８０６では、ＨＲ動き情報を復号する。処理８０７では、処理８０６にて復号したＨＲ動き情報に基づいて、参照ＨＲ画像から再生ＨＲ画像の画像品質を改善する。処理８０７が終了した後、超解像度画像生成処理は終了する（処理８０８）。

図１１は、本発明を実施する復号処理フローを示している。なお、図１１の各ステップの詳細は図６及び図７の説明と重なるため、ここでは処理の流れのみを説明する。復号処理開始９０１の後、処理９０２では、符号化ビデオデータを復号し、再生低解像画像とＤＥＣ動き情報と量子化パラメータとを生成する。次に、処理９０３では符号化された補助データの復号を実施し、ＬＲ動き情報と、修正ＳＲ動き情報と、ＨＲ動き情報とを生成する。その後、処理９０４では、処理９０３にて復号したＬＲ動き情報と複数フレームのＤＥＣ動き情報を用いて、ＳＲＭＶ探索の初期データを生成する。処理９０５では、処理９０３にて復号した修正ＳＲ動き情報をＳＲＭＶ探索の初期データとして設定すると共に、修正ＳＲ動き情報の更新を整数画素以下の範囲に限定するという条件にてＳＲＭＶを探索し、複数フレームの再生ＬＲ画像から再生ＨＲ画像を生成する。処理９０６では、処理９０３にて復号したＨＲ動き情報に基づいて、参照ＨＲ画像から再生ＨＲ画像の画像品質を改善する。処理９０６が終了した後、復号処理は終了する（処理９０７）。

図１２は、上記実施形態の画像符号化処理又は画像復号処理のプログラムを格納したフレキシブルディスク等の記憶媒体を用いて、コンピュータシステムにより実施する場合を説明するための図である。

図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６個のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。

また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。またコンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

以上、本発明の実施形態について説明したが、次のような変形を行っても良く、いずれの形態も本発明に含まれる。

（１）機能の部分利用に関する変形例
本発明の補助データを構成する補助動き情報であるＬＲ動き情報、修正ＳＲ動き情報、ＨＲ動き情報はすべて揃っている必要はなく、その一部の補助動き情報のみを用いて、低解像画像から高解像画像を生成する場合でも同様の効果を得ることができる。

すなわち、本発明の補助データは、原画ＬＲ画像よりも解像度の高い原画ＨＲ画像と原画ＬＲ画像との両者あるいはその一方を用いて生成された場合であっても、画像復号装置及び画像符号化装置における画像間の動き検出の精度が向上し、再生高解像画像の画像品質を向上させることができる。また、画像復号装置及び画像符号化装置における動き探索の処理量が減少するため、画像解像度拡張処理にかかる演算量を軽減させることができる。

具体的には、本発明の画像復号装置及び画像符号化装置によれば、修正ＳＲ動き情報のみを補助データとする構成とした場合、修正ＳＲ動き情報とＨＲ動き情報とを補助データとする構成とした場合、修正ＳＲ動き情報とＨＲ動き情報とＬＲ動き情報とを補助データとする構成とした場合のいずれであっても、上述したような画像品質の向上及び演算量の軽減が実現される。なお、一部の補助動き情報を用いない構成とする場合には、符号化装置１０の補助データ生成部３５１において、その補助動き情報に対応する動き情報の生成を行わないことで実現できる。

また、図５、図７の超解像画像合成処理は、ＳＲＭＶ探索の初期データがなくても実施可能である。したがって、初期データ生成とＬＲ動き情報の符号化を実施しない場合も、本発明の修正ＳＲ動き情報とＨＲ動き情報は有効である。

さらに、図５、図７の超解像画像合成処理により生成される再生ＨＲ画像は、画像先鋭化処理による再生ＨＲ画像の画質改善処理がなくても実施可能である。従って、画像先鋭化処理とＨＲ動き情報の符号化を実施しない場合も、本発明のＬＲ動き情報と修正ＳＲ動き情報は有効である。

また、ビデオ符号化データからの復号画像でなくカメラ等の手段を通じて取得した複数の画像や予めハードディスク等の装置に保存されている複数の画像からより解像度の高い超解像画像を生成する場合でも本発明の補助データは有効である。この場合、ＤＥＣ動き情報は存在しないが、修正ＳＲ動き情報とＨＲ動き情報は有効である。

（２）機能の定義の変更に関する変形例
画像先鋭化処理において抽出した参照ＨＲ画像上のブロックを再生ＨＲ画像に合成する方法は、重み付け合成処理により限定されるものでない。抽出したブロックにて再生ＨＲ画像の部分を置き換える場合などでも本発明のＨＲ動き情報は有効である。

また、ＨＲ画像からＬＲ画像に変換する際のローパスフィルタの種類は限定されない。図２（ｃ）の説明では、フィルタのタップ数を水平・垂直とも３タップとしているが、長いタップ数のフィルタや係数の異なるフィルタも有効である。加えて、ＬＲ画像上の１画素にＨＲ画像上の９画素が対応すると説明しているが、この対応も限定されない。具体的には、対応するＨＲ画像上の画素が１画素あればＬＲ画像上の１画素が生成できるため、フィルタが影響する領域内の画素の一部が欠けていてもよい。さらに図２（ｃ）では、ダウンサンプリングにて切り捨てる画素をフィルタ処理後のＨＲ画像の偶数列及び偶数ラインの画素としているが、これに限定されない。ローパスフィルタ処理にてＨＲ画像上で実数位置のサンプルをＬＲ画像上の画素サンプルとする場合でも、本発明は有効である。

さらに、ＳＲＭＶ探索の初期データ生成方法は、図５にて説明した方法には限定されない。再生ＨＲ画像から離れる方向にたどっていく方法ではなく、動きベクトルをフレーム間隔に応じてスケーリングする方法も有効である。

（３）補助データの符号化方法に関する変形例
本発明の符号化の対象となる補助データのデータフォーマットは、図８に限定されるものではない。また、動きベクトルの予測方法も図８にて説明した方法には限定されない。

また、図８のデータフォーマットにて、ブロック位置情報を参照フレーム番号情報とし、画素位置を符号化する代わりに、画像をブロック分割し、左上からラスタスキャン順に符号化する補助動き情報の有無を符号化する方法も有効である。このとき、ブロックサイズ情報は必ずしも必要としない。

さらに、図８のデータフォーマットにて、ブロック位置情報を参照フレーム番号情報とし、さらに、画素位置情報、ブロックサイズ情報、動きベクトル密度情報を符号化する代わりに、画像をブロック分割し、左上からラスタスキャン順に動きベクトルの有無を符号化する方法も有効である。

また、図８のデータフォーマットでは、１フレーム毎にデータタイプの情報を符号化するが、反復ループ７１３を削除し、補助データ情報内の各ブロックについてデータタイプを符号化する場合も考えられる。このフォーマットでは、１ブロックの補助動き情報毎に同期コードが付加されるため、補助データから特定画素の補助動き情報を検索したい場合には有効である。

さらに、動きベクトルの符号化精度は限定されない。例えば、参考文献２や“Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”, September 2004（以下、参考文献３とする）に記載されている高精度の動きベクトルも有効である。

また、図８の説明では、補助データの構成要素の符号化を可変長符号により行っているが、これに限定されない。参考文献３に記載される算術符号化方法なども有効である。

（４）補助データの構成要素に関する変形例
補助データの構成要素は、上記の実施の形態記載には限定されない。また、図８の補助動きベクトル情報は、２画像間に対応する動きベクトルがないことを示す場合も含まれる。ビデオシーケンスの任意の２画像内の画素が完全に１対１で対応しているという状況は極めて稀であり、対応点がないことを示す情報は有効である。

さらに、図８の補助動きベクトル情報は、ベクトル値ではなく、ブロックサイズ情報にて指定される範囲の動き探索範囲情報である場合も含まれる。この場合、動きベクトル密度情報は省略される。この探索範囲指定により、動きベクトルの検出時間が削減できる。

また、図８の補助動きベクトル情報は、ベクトル値ではなく、回転・拡大・変形などを表す動きパラメータの場合も有効である。動きパラメータ（アフィン変換パラメータ、射影変換パラメータ）の詳細については、参考文献１に記載されている。

さらに、図２（ｂ）では、ＬＲ動き情報の予測タイプをＤＥＣ動き情報の予測タイプあるいはデフォルト値に限定しているが、その限りではない。この場合、ＬＲ動き情報には予測タイプ（前方予測／後方予測／双方向予測など）が含まれる。また、参考文献３に記載される複数参照フレームを用いた動き予測を適用する符号化・復号方式の場合には、ＤＥＣ動き情報には参照フレーム番号が含まれる。さらに、参考文献３に記載されるように、動き予測を実施するブロックサイズを複数種類から選択できる符号化・復号方式の場合には、ＤＥＣ動き情報にはブロックサイズも含まれる。この場合、同様にＬＲ動き情報にも、参照フレーム番号とブロックサイズが含まれる。

また、ＳＲＭＶは、再生ＬＲ画像上のすべての画素について求める必要はない。オクリュージョン等の影響により、再生ＨＲ画像上により検出できない場合には、その画素を用いずに最適化処理を行う方が有効な再生ＨＲ画像が生成できる。

さらに、修正ＳＲ動き情報のブロック位置情報は、再生ＬＲ画像を基準とした値ではなく、再生ＨＲ画像を基準とした値とすることも有効である。この場合で、動き密度情報が１のとき（ブロック内のすべての画素について動きベクトルを符号化する）、ブロック内の画素数と画素単位の修正ＳＲＭＶの数は一致する。

また、補助動き情報のブロックの形状は任意形状でもよい。この場合、形状情報を符号化してもよい。形状情報の符号化方法には、例えば参考文献２に示される算術符号を使った方法がある。

（５）動き推定方法に関する変形例
上記では、修正ＳＲＭＶの検出を複数の原画ＬＲ画像と原画ＨＲ画像との間で実施しているが、原画ＬＲ画像ではなく、ＨＲ画像を用いて実施する方法もＳＲＭＶの精度が向上するので、効果が高い。この場合、ブロック位置情報の画素位置はＨＲ画像上の値となる。

また、上記では、ＳＲＭＶの検出を複数の再生ＬＲ画像と再生ＨＲ画像との間で実施しているが、再生ＬＲ画像ではなく、参照ＨＲ画像を用いて実施する方法もＳＲＭＶの精度が向上するので、効果が高い。

（６）全体構成に関する変形例
上記では、ビデオシーケンスの符号化・復号方法を参考文献１及び参考文献２としているが、これに限定されることはない。

また、上記では、解像度拡張方法及び推定モデルを非特許文献１と非特許文献２にて説明しているが、複数の低解像度画像から高解像度画像を生成する技術には、本発明の補助動き情報の符号化とそれを利用した高画質化処理は適用できるため、この方法には限定されない。

さらに、上記では、解像度拡張処理に用いる再生ＬＲ画像の数を７枚としているが、この数以外でも本発明は実施できるため、それに限定されない。また、参照ＨＲ画像の数も限定されない。

本明細書にて紹介した解像度拡張処理は、１枚の未知の高解像画像と複数の既知の低解像画像との関係を定式化し、それらの式を満足する最適な高解像画像と動き情報を推測する技術であり、非特許文献１ならびに非特許文献２は、統計的な手法を用いて評価関数を満たす最適な高次ベクトルを推定する技術の例である。文献「Sung Cheol Park et. al, “Super-Resolution Image Reconstruction: A Technical Overview”, IEEE Signal Processing Magazine, May 2003」（以下、参考文献４とする）に示されるように、解像度拡張処理には様々な方法があるが、本明細書の補助データは、高解像画像と複数の低解像画像との間の関係を動き情報を用いて表現している場合にはすべて適用できる。非特許文献１や２以外の方法としては、連立方程式を解く方法や、凸集合への投影フレームワーク（projections onto convex sets）を用いた方法（例えば「A.M.Tekalp, M.K.Ozkan and M.I. Sezan, “High-resolution image reconstruction from lower-resolution image sequences and space varying image restoration”, in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing (ICASSP), San Fransisco, CA., vol. 3, Mar. 1992, pp. 169-172」、（以下、参考文献５とする））などがある。生成される高解像画像には、既知である複数の低解像画像に対して空間的な解像度が高くなり、複数の低解像画像間の位置あわせと合成処理（たとえば、モザイキング）では発生しない高周波成分が画像上に生成されるという特徴がある。

上記では、図５と図７の符号化ノイズ推定部４１２の処理において、量子化パラメータ１１４を入力としているが、量子化パラメータを必要としない符号化ノイズ推定処理においても本発明は実施できる。そのため、本発明の実施は、解像度拡張処理における量子化パラメータの有無は影響されない。

上記では、ＤＥＣ動き情報１０８を、予測タイプ、動きベクトル（ＤＥＣＭＶ）により構成されるとしているが、この構成要素には限定されない。例えば、参考文献３のように複数の再生ＬＲ画像を参照画像とする方式では、予測ブロック毎に参照フレーム番号を選択する必要があるため、参照フレーム番号もＤＥＣ動き情報に含まれる。

（７）補助データの生成方法
上記の図４における超解像動き補償部３１３の説明では、原画ＬＲ画像上の対象画素とその予測画素との差分値が予め定めた閾値により大きい場合に、修正ＳＲＭＶの検出に用いる参照画像を原画ＬＲ画像から原画ＨＲ画像に切り替えているが、原画ＨＲ画像の利用はこの方法には限定されない。例えば、原画ＬＲ画像を使用せずに、すべての画素について原画ＨＲ画像を用いても良い。また、修正ＳＲ情報１１１の出力条件についても、図４の説明では、検出したＳＲＭＶとＳＲ情報１１０に含まれるＳＲＭＶとの差分値を指定した数種類の分割ブロック毎に平均値で比較し、差分値が閾値より大きい場合に出力すると規定としているが、この方法には限定されない。例えば、ＭＶの差分値ではなく、検出したＳＲＭＶとＳＲＭＶを適用した場合の予測値と原画像上の画素との差分値を出力条件として用いても良い。また、分割ブロックのサイズ選択方法も一つの方法には限定されない。さらに、図４の説明では出力する修正ＳＲＭＶを検出したＳＲＭＶのブロック平均値としているが、これに限定されない。例えば、検出ＭＶの平均値ではなく、ブロック内のＳＲＭＶを一定値として、ブロック単位で検出しても良い。

低解像動き補償部ならびに高解像動き補償部における補助データ選択方法についても同様に一つの手法には限定されない。

さらに、補助データ符号化・レート制御部における補助動き情報の選択に関わる優先順位ならびに評価方法についても、図４の説明にて示した方法には限定されない。例えば、符号量を考慮に入れた評価方法を用いた場合でも本発明の補助データを利用した解像度拡張処理は有効である。

（８）変形例（５）の実施形態
超解像画像合成部４１０では、複数枚の再生ＬＲ画像１０２を用いて再生ＨＲ画像１０６と複数の再生ＬＲ画像間のＳＲ動き情報１１０を生成するが、変形例（４）や（５）に示すように、ＨＲ画像間の動き推定を用いることにより、ＳＲ動き情報ならびに修正ＳＲ動き情報の推定精度向上が見込める。そこで、ＨＲ画像間の動き推定の実施形態について、図１３、図１４ならびに図１５を用いて詳細に説明する。なお、ここでは、変形例（１）について、解像度拡張処理がＳＲ動き情報のみを要する場合を例として説明する。

図１３は、解像度変換・符号化部３０６の内部構成、つまり図４の変形例を示している。解像度拡張処理部３１０は、複数の再生ＬＲ画像１０２から再生ＨＲ画像１０６とＳＲ動き情報１１０の生成する処理部であり、その内部構成を図１４に示す。

図１４は図５の変形例となる。図の入出力から分かるように解像度拡張処理部３１０と超解像動き補償部３１３の構成は図４、図５とは異なっている。つまり、本発明では、ＳＲ情報を用いる解像度拡張処理の方法は図５に限定されず、修正ＳＲ情報の生成方法も図４に限定されない。図２（ｃ）の説明では、ＳＲ情報を再生ＨＲ画像と複数のＬＲ画像との間の時空間対応を表す動き情報とした。そのため、図２（ｃ）の例では、ＬＲ画像上の１画素に対応するＳＲＭＶ（修正ＳＲＭＶ）の本数は、ＨＲ画像からＬＲ画像に変換する際に用いるローパスフィルタのタップ数により決まる（図２（ｃ）では９本）。しかしながら、ＳＲＭＶの構成は変形例（４）と（５）で示したように、図２（ｃ）の構成には限定されず、本実施形態ではＳＲ情報は再生ＨＲ画像と複数のＨＲ画像との間の時空間対応を表す情報となるため、変形例（４）で説明したようにＨＲ画像上の１画素に対応するＳＲＭＶ（修正ＳＲＭＶ）は１本となる。

２例の違いを動きモデルの観点から考えた場合、図２（ｃ）のＳＲＭＶが図１の動きモデル２０１と標本化モデル２０２までを含めて原画ＨＲ画像１０１と複数の原画ＬＲ画像１０２の時空間対応を表しているのに対して、本実施形態のＳＲＭＶは動きモデル２０１の動きベクトル、つまり原画ＨＲ画像１０１と複数の原画ＨＲ画像との時空間対応を表している。原画ＨＲ画像と原画ＬＲ画像は未知であるため、図２（ｃ）では、仮想的に作成した仮想ＨＲ画像と再生ＬＲ画像からＳＲ情報を生成する。これに対して、本実施形態では、仮想ＨＲ画像に加えて、複数の再生ＬＲ画像についても仮想的なＨＲ画像を生成し、ＨＲ間の動き推定によりＳＲ情報を生成する。従って、２例はＳＲ情報の生成方法が異なっているため、同じ動きモデルに基づいてはいるが得られる結果は異なる。本実施形態によれば、仮想ＨＲ画像を適切に選ぶことにより、再生ＨＲ画像の品質ならびに処理速度が向上すると考えられる。また、原画ＨＲ画像間の動きベクトルを修正ＳＲＭＶとして活用するため、補助データの導入効果は図２（ｃ）よりも高いと考えられる。

本実施形態では、図１３の解像度拡張処理部３１０は図５の超解像画像合成部４１０に相当する。解像度拡張処理部３１０では、図５と同様に複数の再生ＬＲ画像１０２を入力とするが、動き検索部４１１に入力される前にそれらを画像拡大処理部４０６にて拡大画像１１８に変換する。画像拡大処理部４０６の処理については、本発明では限定しないが、単純な線形内挿処理、B-spline関数を用いたスプライン内挿処理、さらに内挿処理により拡大した画像に非特許文献１に記載されるような画像修復モデルを利用して画質を改善する手法などが考えられる。

解像度拡張処理では、解像度拡張処理部３１０の処理を反復することにより、再生ＨＲ画像の高画質化を図る場合が多い。この場合、解像度拡張対象の再生ＬＲ画像について、最初（１回目の反復処理）は、画像拡大処理部４０６にて生成した拡大画像１１８を仮想ＨＲ画像１１９として動き検索部４１１に入力する。そして、仮想的な再生ＨＲ画像が生成された２回目以降の反復処理においては、スイッチ４０７にて、拡大画像１１８の替わりに、参照ＨＲ画像１０７（仮想的な再生ＨＲ画像）を仮想ＨＲ画像１１９として選択して動き検索部４１１に入力する。参照再生ＬＲ画像については、１回目の反復処理の前に、すでに解像度拡張処理により再生ＨＲ画像（参照ＨＲ画像１０７）が生成されている場合がある。この場合には、スイッチ４０７にて、参照ＨＲ画像１０７を仮想ＨＲ画像１１９として選択する。このように参照ＨＲ画像１０７を利用することにより、動き検索部４１１により生成されるＳＲ情報１１０の推定精度向上や処理演算時間短縮といった効果が期待できる。

動き検索部４１１では、２枚のＨＲ画像間の動き推定によりＳＲ情報１１０を生成する。生成したＳＲ動き情報１１０は、超解像動き補償部３１３に入力される、超解像動き補償部３１３では、ＳＲ動き情報１１０を、原画像を用いて高精度の修正ＳＲ動き情報１１１に修正する。本実施形態では、超解像動き補償部３１３は、複数（Ｌ枚）の参照再生ＬＲ画像に対応する原画ＨＲ画像に、解像度拡張処理対象の再生ＨＲ画像を加えた計（Ｌ＋１）枚の原画ＨＲ画像１０１と、ＳＲ動き情報１１０との入力を受けて、修正ＳＲＭＶを検出する。そして、ＳＲＭＶと修正ＳＲＭＶの差（あるいはＳＲＭＶと修正ＳＲＭＶを適用したときの予測誤差の差）が大きい領域や、最適なＳＲＭＶの検出に多くの演算時間を要する領域について修正ＳＲ動き情報１１１を生成し、解像度拡張処理部３１０と補助データ符号化・レート制御部３１１と解像度拡張処理部３１０に出力する。なお、変形例（７）で示したように、超解像動き補償部３１３における修正ＳＲ動き情報の生成方法は、一つの手法に限定されるものではない。修正ＳＲ動き情報は、例えば、参照ＨＲ画像（参照再生ＬＲ画像をＨＲサイズに拡大した画像）上のブロック位置情報、参照フレーム番号、ブロックサイズ、修正ＳＲＭＶにより構成されるものと考えられる。ブロックサイズは、数画素分を纏めて符号化することにより、補助データの符号量を削減する目的で用いる。修正ＳＲ動き情報に属する修正ＳＲＭＶの数は、ブロックサイズがＮ×Ｎ画素のとき１個以上Ｎ×Ｎ個以下となる。修正ＳＲＭＶの数は動きベクトル密度情報７０８などの情報を修正動きベクトル情報に追加することにより復号側に明示できる。

解像度拡張処理部３１０は、修正ＳＲ動き情報１１１を用いて動き検索部４１１にてＳＲ動き情報１１０を更新する。符号化ノイズ推定部４１２では、解像度拡張を施す再生ＬＲ画像１０２とＬ枚の再生ＬＲ画像１０２、ならび更新したＳＲ動き情報１１０を用いて仮想的な再生ＨＲ画像１０６を生成する。このように本実施形態では、解像度拡張処理と超解像動き補償処理を反復することにより、再生ＨＲ画像１０６、ＳＲ動き情報１１０ならびに修正ＳＲ動き情報１１１を最適化する。最適化方法としては、補助データの符号量を定め、その符号量において再生ＨＲ画像１０６と原画ＨＲ画像との誤差が最小となるように修正ＳＲ動き情報１１１を調整する方法などが考えられるが、本願では最適化方法は限定しない。なお、符号化側と復号側で同じ再生ＨＲ画像１０６が生成できるように、修正ＳＲ動き情報１１１の最適化後に、修正ＳＲ動き情報の適用方法に従って再生ＨＲ画像を再生成する必要がある。最適化された修正ＳＲ動き情報は、補助データ符号化・レート制御部３１１にて符号化することにより補助データ１１３となり、復号装置へ伝送される。

本実施形態においても、変形例（１）で示したようにビデオ符号化データからの復号画像ではなく、複数の画像からより解像度の高い画像を生成する場合でも本発明は有効である。また、変形例（４）に示したように、ＳＲＭＶはすべての画素について算出する必要がなく、対応点が見つからない画素については、その画素の動きデータを用いずに再生ＨＲ画像１０６を生成する。したがって、本実施形態においても、変形例（４）に説明したように、修正ＳＲ動き情報として、対象画素の動きデータを用いないことを示す情報を送ることは有効である。

図１５に本実施形態の解像度拡張処理部５０２の内部構成及び補助データ復号・分離部５３１を示す。本実施形態では、図１５の解像度拡張処理部５０２は図７の超解像画像合成部５１０に相当する。

解像度拡張処理部５０２は、再生ＬＲ画像１０２、復号された修正ＳＲ動き情報１１１および参照ＨＲ画像１０７（既に生成されている再生ＨＲ画像）を用いて、再生ＨＲ画像１０６とＳＲ動き情報１１０を生成する。まず、補助データ復号・分離部５３１にて、解像度拡張対象フレームの補助データ１１３から修正ＳＲ動き情報１１１のデータを分離し、可変長復号する。次に、解像度拡張処理部５０２は、画像拡大処理部４０６にて拡大画像１１８を生成する。図１４で示したように、拡大画像１１８と参照ＨＲ画像１０７から予め定めた手順に従って仮想ＨＲ画像１１９を選択する。そして、複数の仮想ＨＲ画像１１９と修正ＳＲ動き情報１１１を用いてＳＲ動き情報１１０と再生ＨＲ画像１０６を生成する。具体的には、動き検索部５１１によるＳＲＭＶの生成と符号化ノイズ推定部５１２による再生ＨＲ画像１０６の生成を反復処理により最適化する。

この実施形態では、ＨＲ画像間でＳＲ動き情報１１０の生成を行っているが、参照ＨＲ画像が存在しない場合（１回目の反復処理）には、画像拡大処理部の処理を省略し、再生ＬＲ画像間で動き推定を実施し、動きベクトル値の内挿処理や零次ホールド法によりＳＲＭＶに拡大しても良い。そのため、この実施形態では、反復処理の回数に応じて、修正ＳＲ動き情報の構成要素である修正ＳＲＭＶの意味や数が異なる場合がある。また、原画像間の動き探索ではなく、通常の再生画像間の動き探索にて検出した動きベクトルを修正ＳＲ動き情報として、復号側における演算量削減のために伝送する場合も考えられる。

修正ＳＲ動き情報の利用方法については、いくつかの手法が考えられ、本願では一つの手法には限定しない。修正ＳＲＭＶを利用する方法としては、ＳＲＭＶの動き探索を行わずに修正ＳＲＭＶを適用する方法、修正ＳＲＭＶを適用した後、動き探索により再調整を行う方法、そして動き探索の実施により検出したＳＲＭＶと修正ＳＲＭＶから最終的なＳＲＭＶを決める方法が考えられる。再調整については、実際に再生ＨＲ画像の生成に用いる再生ＬＲ画像の違いを考慮して再生ＨＲ画像が高品質になるように調整する場合と、ブロック単位で伝送した修正ＳＲＭＶを画素単位のＳＲＭＶに改善する場合や修正ＳＲＭＶの画素精度をなど改善する場合など、ＭＶの精度を上げる場合が考えられる。２つの動きベクトルから最終的な動きベクトルを決める方法については、修正ＳＲＭＶが動き探索の実施により検出したＳＲＭＶと最終的なＳＲＭＶとの差分ベクトルである場合や、修正ＳＲＭＶと動き探索の実施により検出したＳＲＭＶの平均値が最終的なＳＲＭＶである場合などが考えられる。即ち、修正ＳＲ動き情報が修正ＳＲＭＶを含み、当該修正ＳＲＭＶを動きベクトルとして用いる態様でもよいし、修正ＳＲ動き情報が修正ＳＲＭＶを含み、複数の再生画像を用いて中間動きベクトルを検出し、該中間動きベクトルと修正ＳＲＭＶとの加算処理により動きベクトルを生成してもよい。また、修正ＳＲ動き情報が修正ＳＲＭＶを含み、修正ＳＲＭＶを動きベクトルの初期動きベクトルとし、複数の再生画像を用いて初期動きベクトルを更新することにより動きベクトルを生成してもよい。

また、修正ＳＲ動き情報を利用する際の反復処理への対応についても、いくつかの手法が考えられる。大きく分けると、全ての回数の反復処理に同じ修正ＳＲＭＶを適用する方法と反復処理の特定の回にのみ適用する方法がある。後者については、演算量の削減のため等の理由により、さらに同じ領域やブロックに反復回に対して異なる修正ＳＲＭＶを伝送する場合も考えられる。

この変形例では、符号化装置、復号装置について説明したが、図９〜図１１に示した処理フローについても、同様に変形は可能である。この場合、図示されないが、図１０の超解像処理８０５にて上記に示した、仮想ＨＲ画像１１９の生成が上記に説明した方法により実施される。また、この変形例の画像符号化処理又は画像復号処理は、図１２に説明するように、プログラムによるコンピュータシステムによって実施することが可能である。

（９）参照ＨＲ画像の利用に関する変形例
図５と図７では、ＨＲ動き情報１１２を利用して画質先鋭化処理を実施しているが、高解像動き補償部３１４にてＨＲ補助情報を用いない方法でも、画質先鋭化処理は実施可能である。この場合、複数の参照ＨＲ画像１０７と、符号化ノイズ推定部４１２（５１２）が出力した再生ＨＲ画像１２３ならびに画質修復処理にてそれまでに修正した解像度拡張対象画像の仮想的な再生ＨＲ画像上の画素データを用いて、動き補償部４２１（５２１）にてＨＲＭＶを検出する。この際、再生ＨＲ画像上の修正済み画素データを利用することにより、探索精度が向上するものと考えられる。例えば、ブロック単位でラスタスキャン順に修正処理を実施した場合、更新した再生ＨＲ画像上の現ブロックの上端と左端の更新済み画素を探索に用いることができる。画質修復部４２２（５２２）では検出したＨＲＭＶを利用して再生ＨＲ画像１０６の画質を改善する。なお、変形例（２）で示したように、画像先鋭化処理において、参照ＨＲ画像を用いて再生ＨＲ画像の画質を改善する方法は、一つの手法に限定されるものではない。２画像（参照ＨＲ画像１０７とＨＲＭＶから生成されるＨＲ画像と仮想的な再生ＨＲ画像１１２３）の画素を部分的に重み付け合成する方法のほかにも、参照ＨＲ画像から生成されるＨＲ画像上の画素に置き換える方法や、複数の参照ＨＲ画像１０７と仮想ＨＲ画像間のＳＲＭＶを用いて再生ＨＲ画像の最適化を図る方法などがある。さらに、ここで動き補償部４２１（５２１）にて検出したＨＲＭＶをＨＲ動き情報１１２にて修正する方法も画質先鋭化処理の性能を高める方法として有効である。この場合、ＨＲ動き情報１１２に含まれる動きベクトル（修正ＨＲＭＶ）は動き補償部４２１にて検出したＨＲＭＶと最終的なＨＲＭＶとの間の差分動きベクトルとなる。また、画質先鋭化処理の方法として、図５と図７に説明したＨＲＭＶを用いる方法と、ここで説明した修正ＨＲＭＶを用いる方法と、ＨＲＭＶを動き補償部４２１（５２１）にて検出する方法などを用意し、ＨＲ動き情報の構成要素にその選択情報を含める手段も、画質先鋭化処理の処理効率を高める方法として有効と考えられる。

また、上記では、図５、図７、図１４ならびに図１５の符号化ノイズ推定部において、複数の再生ＬＲ画像１０２とＳＲ動き情報１１０を用いて再生ＨＲ画像１２３（図１４と図１５では１０６）の最適化を実施しているが、生成済みの再生ＨＲ画像が存在するフレームについては、再生ＬＲ画像１０２の替わりに参照ＨＲ画像１０７を用いることも有効である。この場合、再生ＨＲ画像１０７が図５と図１４の符号化ノイズ推定部４１２ならびに図７と図１５の符号化ノイズ推定部５１２に入力される。なお、この変形例では、図１において、標本化モデル２０２を省略したモデルを想定すれば良い。動きモデル２０１については、図１４と図１５の説明で示した仮想ＨＲ画像間のＳＲＭＶが利用できる。

（１０）補助データの構成要素の利用方法に関する変形
構成要素のデータはすべて伝送する必要はなく、符号化側と復号側で一意に決まる情報については伝送する構成要素から除外できる。例えば、符号化側と復号側が同時に有する画像の特徴などの情報を用いて、構成要素の一部を規定できる場合には、その要素データの伝送は省略できる。構成要素のデータの組み合わせにおいて、必要のないデータについても、伝送する構成要素から除外できる。例えば、ブロック毎に補助動きベクトルを伝送するかしないかを示す方法を適用するときには、ブロック位置情報を伝送する必要はなく、状況に応じて補助動きベクトルの伝送も必要としない。また、変形例（４）に説明したように、任意の領域やブロックのＳＲＭＶが再生ＨＲ画像の生成に有効でないことを示す場合にも、修正ＳＲＭＶの伝送は必要ない。さらに、符号化側と復号側の暗黙のルールに基づいて構成要素の一部のデータの伝送を抑制する方法ではなく、構成要素にどのデータの伝送を行うか示すモード情報を含め、明示的に伝送する構成要素を示す方法もある。

補助データを伝送する方法として、構成要素のデータをシーケンス単位、フレーム単位、スライス単位（複数のブロックにて構成）、ブロック単位等に分けて階層的に伝送する方法も符号量を削減するために有効な手段である。つまり、構成要素のデータをその役割に応じて階層的に伝送することにより符号量が削減できる。この場合、上位の階層で伝送されている情報は下位では伝送する必要はない。例えば、ブロックサイズをフレーム単位の補助情報として伝送している場合には、ブロック単位での補助動き情報では、その情報を送る必要はない。この場合も、ブロック単位で伝送する構成要素のデータをいくつかの伝送パターン（構成要素データの異なる組み合わせ）や伝送グループ（構成要素データの分類）に分割し、伝送パターンや伝送グループの組み合わせに応じたモード情報を明示的に復号側に示す方法が有効である。さらにモード情報をスライス単位やフレーム単位の情報として伝送する方法もあり、領域やフレーム単位での画像の傾向の変化を反映した制御を行う方法として有効と言える。

別の補助データ伝送方法としては、構成要素のデータをその局所性に応じていくつかのグループに分け、各グループの構成要素の値を変更するかしないかを示す情報を伝送する方法がある。この方法により、補助データの符号量を削減できると考えられる。変更しないグループのデータについては、直前に伝送した値やデフォルトの値を適用するという決まりを予め定めておく。変更するグループの構成要素のデータは補助データとして伝送する。

変形例（４）に示したようにＬＲ動き情報、修正ＳＲ動き情報ならびにＨＲ動き情報の構成要素は限定されない。例えば、ＬＲ動き情報、修正ＳＲ動き情報ならびにＨＲ動き情報の種別（データタイプ７０２）をブロック単位で伝送する方法も考えられる。また、変形例（８）や上記で説明したように、補助動き情報の構成要素のデータの組み合わせや伝送方法を明示するモード情報も構成要素の変形例に含まれる。このモード情報の伝送方法は修正ＳＲ動き情報に限定されるものではなく、ＬＲ動き情報やＨＲ動き情報についても適用できる。

さらに、変形例（８）で示した修正ＳＲ動き情報の利用方法を構成要素のデータとして明示的に示す方法も有効であり、復号側における処理を、原画像を用いて符号化側にて求めた情報に従って、効率良く実施することが可能となる。この補助動き情報の利用方法についても修正ＳＲ動き情報に限定されるものではなく、ＬＲ動き情報やＨＲ動き情報の利用方法に関しても同様に適用できる。利用方法の情報には、補助動き情報の適用方法（デコーダにおける動き探索を行わずに補助動き情報を反映、または補助動き情報をデコーダにて調整する）、調整する場合の調整方法（さらに細かい単位の動きベクトルを生成、動きベクトルの画素精度を調整）が含まれる。また、変形例（８）で説明した反復処理への対応を示す情報（すべての反復処理に補助動き情報を適用、特定の反復回数の処理にのみ適用）や反復処理の特定回を示す情報も含まれる。補助動き情報の利用方法を示す方法としては、補助動き情報の利用目的（演算量の削減、再生ＨＲ画像の高品質化）を示す情報を受信側に伝送することにより受信側における処理を変更する方法も考えられる。

一方、動きベクトル密度情報７０７については、受信側に伝送せず、動きベクトル数を示す方法やブロックサイズ情報に応じて一意に決まる方法が別例として考えられる。

さらに、ＬＲ動き情報については、ＤＥＣＭＶを持たないブロックにＬＲＭＶを新たに追加する方法と、ＤＥＣＭＶは存在するがその値を異なるＬＲＭＶに変更する方法とがあるため、このＬＲＭＶ利用情報をＤＥＣＭＶから生成するのではなく、明示的に伝送することも考えられる。この場合、ブロックサイズを構成要素に含めることにより、さらに精度の高い動き情報を解像度拡張処理のために提供することが可能となる。

ＨＲ動き情報の変形例としては、まず、動き推定の方法がある。再生ＨＲ画像間（変形例（９））にて実施するか、原画ＨＲ画像を用いて実施するかの適応選択とし、動き推定方法をＨＲ動き情報の構成要素のデータとして伝送することにより、ＨＲ動き情報の符号量削減と再生ＨＲ画像の画質の最適化を図ることが可能となる。また、画質改善修復処理（参照ＨＲ画像を用いて再生ＨＲ画像の画質を改善する処理）についても、重み付け合成する方法や参照ＨＲ画像に置き換える方法などいくつかの候補があるため、合成方法を示す情報を明示的に伝送することにより再生ＨＲ画像の画質改善が期待できる。

ＳＲ動き情報についても変形が考えられる。例えば、ＳＲＭＶは、図５ではＬＲ画像とＨＲ画像の時空間対応を示すデータであるが、図１４では、ＨＲ画像間やＬＲ画像間の時空間対応を示すデータを表しており、表現方法が異なる。この違いを解像度情報としてフレーム単位やブロック単位で明示的に伝送することにより局所的な特徴に応じた画質改善が可能となり、画質の更なる改善に繋がる。そこで、修正ＳＲ情報の構成要素にこの情報を追加し、修正ＳＲＭＶの変わりに伝送するということにより、修正ＳＲＭＶを伝送しなくても、ＳＲＭＶの検出精度を高めることが可能となる。また、図１４や図１５に示したように、ＳＲＭＶの検出に用いる仮想ＨＲ画像の候補には、拡大画像と参照ＨＲ画像があり、いずれかを選択できる。仮想ＨＲ画像の種類を明示的に選択するための参照画像情報を修正ＳＲ情報の構成要素に追加することによっても、ＳＲＭＶの検出精度の向上が見込める。この際にも修正ＳＲＭＶの伝送は不要である。

修正ＳＲ動き情報の変形例については、上記に示した以外に修正ＳＲＭＶの解像度情報（ＬＲ画像レベルのＭＶかＨＲ画像レベルのＭＶか）が考えられる。このデータを伝送することにより、領域の局所的な特徴に適した解像度を明示的に示すことが可能となる。また、有効な反復処理回数を明示的に示すことにより、指定した反復回数以降では、その領域のＳＲＭＶを再探索する必要がないことを受信側に伝える場合が考えられる。この情報により、無駄な動き探索処理が抑制できる。

（１１）補助データの応用
ここまでは、修正ＳＲＭＶ等の補助動きベクトルを中心に補助動き情報の伝送ならびに補助動き情報説明してきた。この場合は、有用な動きベクトルを受信側に知らせることによって、受信側は、より高品質な再生ＨＲ画像を生成することが可能となる。一方、解像度拡張処理部にて生成するＳＲＭＶ等の動きベクトルに着目すると、動きベクトルの生成に必要な条件、例えば動き探索を実施するための方法と条件は受信側にて予め定めた決まりにより実施している。以下、動き探索を例に説明する。この動き探索には、画像の各種特徴に適した数多くの方法があるが、検索した動きベクトルを受信側に伝送する場合は、動き探索のための好ましい方法ならびに条件を、原データを用いて送信側にて決めることができる。しかしながら、解像度拡張処理のように復号済み画素データを用いて動き探索を行う場合には、原データを持たない受信側にてその方法や条件を決める必要がある。そこで、ここでは、原データを有する符号化側にて、動き探索のための好ましい方法と条件の選定を実施し、その情報を受信側に補助動き情報として伝送する方法について示す。この方法も、原データを用いて、動きベクトルの精度を向上する効果ならびに動きベクトルの検出に要する時間を短縮する効果があるため、再生ＨＲ画像の高品質化ならびに高効率化の有効な手段と考えられる。また、再生ＨＲ画像を以降の処理に利用するためには、符号化側と受信側が同じ再生ＨＲ画像を生成する必要があるため、動き探索の方法と条件は符号化側と受信側で共有する必要がある。共有のためには、符号化側と受信側で予め動き探索の方法や条件を決めておく方法もあるが、ここに示したように、補助動き情報として伝送することにより、画像の局所性に応じた演算量の削減やＨＲ画像の高画質化が可能となる。

動き探索の方法や条件（以降、動き探索条件情報と呼ぶ）の種類や数については、本明細書では限定しない。その種類の例については、探索範囲や動き探索手法などがあるが、詳しくは後述する。動き探索条件情報の生成方法を図１３にて説明する。図示しないが、この場合、再生ＨＲ画像１０６は超解像動き補償部３１３にも出力されると考える。超解像動き補償部３１３は、動き探索条件情報の候補を修正ＳＲ動き情報１１１に含めて解像度拡張処理部３１０に入力する。解像度拡張処理部３１０では、修正ＳＲ動き情報１１１に含まれる動き探索条件情報に従ってＳＲ動き情報１１０と再生ＨＲ画像１０６を生成する。超解像動き補償部３１３は再生ＨＲ画像１０６と原画ＨＲ画像を用いて動き探索条件情報を評価（例えば、評価値は絶対値誤差和）する。この処理を複数の動き探索条件情報の候補に対して実施し、評価結果が最適となる条件情報を選択する。なお、動き探索条件情報の生成方法の決定方法は、この方法に限定されない。例えば、再生ＨＲ画像と原画ＨＲ画像の比較ではなく、解像度拡張処理部にて生成されたＳＲＭＶと、超解像動き補償部３１３にて生成する修正ＳＲＭＶ１１１を比較し、その差が最小となるときの動き探索条件情報を選択する方法も有効である。この場合は、再生ＨＲ画像１０６を超解像動き補償部３１３に出力する必要はない。

動き探索条件情報の伝送方法については、動きベクトル情報と同様にいくつかの方法が考えられ、フレーム単位やブロック単位に分けて階層的に伝送する方法も符号量削減のために有効な手段である。伝送するデータについては、数値をそのまま伝送する方法や、いくつかの候補を用意し、選択情報を伝送する方法が考えられる。数値を伝送する方法は、自由度は高いが、その一方で符号量の増大にも繋がる。そのため、シーケンス単位やフレーム単位などまとまった単位で伝送する場合には活用可能な方法と考えられる。ブロック単位や画素単位で伝送する場合には、基本的には候補から選択する方法を適用する。

ここで、補助動きベクトルと、動き探索条件情報を利用する解像度拡張処理に適用する方法について説明する。本変形例のように補助動き情報が動き探索条件情報を含む可能性のある場合、画像領域内の局所的な処理としては、利用できる補助動きベクトルならびに動き探索条件情報により、異なる処理を実施する必要がある。

補助動き情報が、補助動きベクトルを含み、動き探索条件情報を含まない場合には、解像度拡張処理部は復元した補助動きベクトルを利用して、その領域（ブロック）のＳＲＭＶ（ＨＲＭＶ）を検出し、再生ＨＲ画像を生成する。利用方法の詳細は、変形例（８）の修正ＳＲＭＶの利用方法のところで説明済みのため、ここでは省略する。補助動きベクトルの復元方法としては、図８の説明にて示したように、予め定めた方法により求められる予測動きベクトルと補助データの復号により得られる差分動きベクトルとを加算する方法が一般的であるが、変形例（３）で示したように本願では限定しない。例えば、復号した動きベクトルが予め定められた方法により検出されたＳＲＭＶ（ＨＲＭＶ）と最終的なＳＲＭＶ（ＨＲＭＶ）との差分動きベクトルである場合には、そのまま符号化しても符号量は少ないため、予測処理は省略できる。なお、補助動きベクトルの利用方法を複数用意している場合の選定方法については、選定情報を補助動き情報として伝送することにより、適用方法を明示的に伝える方法や、条件（例えば、補助動き情報における構成要素のデータの値）に応じて一意に決まる方法などがある。

補助動き情報が、動き探索条件情報を含み、補助動きベクトルを含まない場合には、解像度拡張処理部は、復号した動き探索方法や条件に従って、その領域（ブロック）のＳＲＭＶ（ＨＲＭＶ）を検出し、再生ＨＲ画像の生成に利用する。この際、復号した動き探索条件情報に必要とされるすべての情報が含まれていない場合には、その情報については、予め定めた値を適用する。例えば、予め定めた値よりも小さい探索範囲で十分な場合には、探索範囲の情報を送ることにより、動き探索に要する演算量を削減できるという効果がある。

また、補助動き情報が、動き探索条件情報を含み、補助動きベクトルを含まない場合の別例としては、予め定めた動き探索の条件情報に従ってＳＲＭＶ（ＨＲＭＶ）を検出した後、復号した条件情報に従って検出したＳＲＭＶ（ＨＲＭＶ）を修正する方法や、以前の反復処理により検出したＳＲＭＶ（ＨＲＭＶ）を、復号した動き探索条件情報に従って修正する方法などが考えられる。例えば、ＳＲＭＶ（ＨＲＭＶ）を修正するための小さな探索範囲を伝送することにより、演算量と探索性能のバランスを取るなどの効果がある。なお、動き探索条件情報の利用方法の候補が複数ある場合の選定方法については、選定情報を補助動き情報として伝送することにより、適用方法を明示的に伝える方法や、条件（例えば、補助動き情報における構成要素のデータの値）に応じて一意に決まる方法などがある。

補助動き情報が、補助動きベクトルと動き探索条件情報を共に含む場合には、動き探索条件情報に従って検出したＳＲＭＶ（ＨＲＭＶ）と復元した補助動きベクトルから最終的なＳＲＭＶ（ＨＲＭＶ）を決める方法がある。この場合の例には、補助動きベクトルが動き探索条件情報に従って検出したＳＲＭＶ（ＨＲＭＶ）と最終的なＳＲＭＶ（ＨＲＭＶ）の差分ベクトルである場合が含まれる。例えば、動き探索条件情報はフレーム単位やスライス単位などの大きな領域単位で切り替え、ブロック単位以上の精度が必要となる動きベクトルについては、推定値からの差分値のみを符号化することにより符号量を削減できる。動きベクトルのばらつきが大きく隣接領域の動きベクトルを用いた動きベクトル予測の性能が悪い領域には有効である。また、動き探索条件情報に従って少ない演算量で大雑把な動きベクトルを検出し、それを差分動きベクトルと加算するという手順により、動き探索の演算量を削減できるという効果もある。

補助動き情報が、補助動きベクトルと動き探索条件情報を共に含む場合の別例としては、復元した補助動きベクトルを動き探索条件情報に従って修正し、修正した補助動きベクトルを最終的な動きベクトルとする方法がある。この方法によれば、補助動きベクトルを広い領域（ブロック）に対して伝送し、動き探索条件情報に従って、伝送した補助動きベクトルをより狭い領域（ブロックや画素）の動きベクトルに修正することが可能となる。そのため、符号量を削減することが可能となる。さらに、ＳＲＭＶ（ＨＲＭＶ）を補助動きベクトルにて修正したのち、修正ＳＲＭＶ（ＨＲＭＶ）を動き探索条件情報に従って再調整する方法もある。

補助動きベクトルならびに動き探索条件情報の有無については、変形例（１０）の前半に示したようなモード情報として明示的に示す方法などが考えられる。また、動き探索条件情報に含まれる方法や条件等のパラメータについても、それぞれ階層的な伝送を用いることで符号量が削減できる。

補助動き情報が、補助動きベクトルも動き探索条件情報も含まない場合もあるので、その場合の解像度拡張処理の手順の例を説明する。一つには、補助動き情報が、その領域（ブロック）の動きベクトルが再生ＨＲ画像の生成に有効でないことを示す情報を含む場合である。この場合には、解像度拡張処理部は、その領域（ブロック）のＳＲＭＶ（ＨＲＭＶ）の動き探索を実施せず、その領域のＳＲＭＶ（ＨＲＭＶ）を用いずに再生ＨＲ画像を生成する。上記非特許文献１（図１のモデル）を例とすると、マトリックスＣ（ｄ＿ｌｋ）について、使用不可とする動きベクトルの替わりに、隣接画素の動きベクトルを用いて内挿処理により生成した動きベクトルで代用する方法や、マトリックスＨについて、使用不可とする動きベクトルに対応するフィルタ係数を０とした上で、使用不可とした動きベクトルに関連する画素に対応するフィルタ係数を調整する方法がある。また、補助動きベクトルも動き探索条件情報も含まない別のケースとしては、補助動き情報が、その領域（ブロック）のＳＲＭＶ（ＨＲＭＶ）の更新処理が有効となる反復処理の回数を含む場合がある。この場合には、解像度拡張処理部は、指定された回数以降の反復処理では、その領域のＳＲＭＶ（ＨＲＭＶ）を再探索せずに、再生ＨＲ画像の生成を実施する。

以下に、動き探索に必要な条件の例を示す。

a)動き検出方法
図２では、動き検出方法としてブロックマッチング法を用いて説明したが、動き探索方法には勾配法（例えば、特許第３２７１３６９号（参考文献６とする））、画素マッチング法（例えば、特許第２９３４１５１号（参考文献７とする））、テンプレートマッチング法（例えば、特開平１−２２８３８４（参考文献８とする））など複数の手法がある。これらの手法の有効性は、画像内の領域の特徴によって異なるため、適した手法を復号側に動き探索の条件として通知することにより、復号側での動き検出の性能が向上するものと期待できる。

b)探索範囲と探索中心
動きの探索を行う際、画像全体を探索すると莫大な演算量を要するため、通常は探索範囲を設け、その範囲内を探索する。好ましい探索範囲は、画像領域の特徴に応じて異なるため、その条件が探索結果にもたらす影響は大きい。従って、適切な探索範囲を復号側に明示的に伝送することにより、無駄のない動き探索が可能となる。また、探索範囲の中心を適切に設定することにより、探索範囲を小さくすることが可能となる。従って、探索中心を決める方法を復号側に明示的に伝送することにより、復号側での動き探索に伴う処理効率を高めることが可能となる。動き探索中心を決める方法としては、例えば、隣接する領域の動き探索結果から推測される動き量を利用する方法や動き量０を探索中心とする方法などがある。図１６にブロックマッチングの例を示す。図ではa100を現フレーム、a101を探索対象ブロックとし、a200を参照フレーム、ブロックa101と空間的に一致するa201を参照フレーム上のブロックとする。a202はa101の隣接ブロックの動きベクトルであり、ブロックa101の探索中心a204を設定するために用いる。探索範囲a206を探索中心a204の周囲に設定し、探索範囲内を探索することにより、動きベクトルa203と予測ブロックa205を検出する。探索中心を決めるための動きベクトルとしては、ブロックa101の左、上、右上の３ブロックの動きベクトルを候補として、各成分の中央値から構成される動きベクトルがエンコーダにおける動き探索では頻繁に用いられる。

c)探索ブロックサイズ
動き探索を実施する単位についても、画像領域の特徴によって適したサイズは異なる。例えばブロックマッチングの場合、複数の探索ブロックサイズを用意し、シーケンス単位、フレーム単位、スライス単位あるいはブロック単位（探索ブロックサイズよりも大きい）で探索ブロックサイズを復号側に伝送することにより、動き探索の精度は向上する。また、動き探索をブロック単位でなく、任意形状を単位として行う場合もある。この場合には、形状情報（三角パッチなど）や領域分割の方法などを伝送する。

d)動き探索方法
動きの探索を行う際、探索範囲内全体を探索すると多くの演算量を要するため、探索範囲内を間引き探索する場合が考えられる。そこで、動き探索の方法を復号側に明示的に伝送する機能を設けることにより、演算量と探索性能を調整することが可能となる。動き探索方法としては、探索範囲内をまんべんなく探索する全探索、縦横数画素間隔で探索を行ない、検索された位置の周辺をさらに狭い画素間隔で探索するという手順で動きを絞り込んでいく木探索などがある。また、探索範囲内を１回で探索するのではなく、大きな探索範囲を大きなブロックサイズで探索し、その結果に従って探索中心を定め、より小さな探索範囲を小さなブロックサイズで探索するという階層探索も演算量を削減する手法として有効である。なお、この階層探索では、探索範囲と探索ブロックサイズを階層数に応じて伝送する必要がある。

e)探索順序
動き探索を実施する際の探索順序については、動き探索の範囲内を左上から右下に向かってラスタスキャン順に探索する方法や、動き探索範囲の中心から外に向かってスパイラル順に探索する方法などいくつかの方法がある。探索順序を復号側に明示的に伝送することにより、符号化側と復号側で同様の結果が得られるようになる。また、高速化のために探索を中止する条件を設ける場合がある。この探索中止条件（予測誤差の閾値など）についても明示的に復号側に示すことにより、復号部の動き探索に要する演算時間を削減することが可能となる。

f)動き検出精度
動き探索における動き検出精度についても、複数の1画素精度、1/2画素精度、1/4画素精度さらに1/8画素精度など複数の精度がMPEG等の標準方式にて実際に用いられている。この探索精度も復号側に伝送することにより、演算時間と画質の最適化を図ることが可能となる。また、実数画素の生成方法についても、その方法を復号側に伝送することにより、画質の最適化を図ることが可能となる。

g)評価関数
動き探索を行う際の評価関数としては、予測誤差信号のブロック絶対値和、同じく二乗誤差和、予測誤差信号の絶対値和と動きベクトル符号量から算出される評価値など、複数の方法が用いられる。評価関数についても、原データを有する符号化側で選択し、復号側に伝送することにより、演算時間と動き探索性能の最適化を測ることが可能となる。これ以外にも、動きモデル（平行移動モデル、アフィン変換モデル、射影変換モデル）、動き探索方法（前方向、逆方向）など様々な条件がある。

ここまでは、解像度拡張処理を前提に動きベクトルの生成に必要な条件を符号化・伝送する方法について示したが、動きベクトルの生成に必要な条件を受信側に伝送するという手順は、受信側にて動きベクトルを生成する装置やソフトウエアには、限定なく適用可能である。例えば、動きベクトルを復号側にて生成するビデオ符号化などに適用可能である。図１６は、ビデオ符号化方式において、復号済みの画素データを用いて復号側で動きベクトルを探索する方法を説明している。a200は復号済みの前フレーム、a100は符号化対象の現フレームを示している。a100はブロック単位で左上から右下に向かってラスタスキャン順に符号化され、図は、a103の領域のブロック（７ブロック）が符号化・復号済みであることを示している。ブロックa101の動きベクトルを探索する際、復号済み領域の復号画素データからテンプレートa108を構成し、テンプレート内の誤差和が最小となる領域a208を検出する。このとき、a203が動きベクトルとして検出され、ブロックa205がブロックa101の予測ブロックとなる。符号化側では、符号化ブロックa101と予測ブロックa205の誤差ブロックを符号化し、動きベクトルは符号化しない。復号側では、符号化側と同じ条件で動き探索を行い動きベクトルを検出する。そして、復号側にて検出した動きベクトルに従って生成した予測ブロックと復号した誤差ブロックとを加算することにより、符号化ブロックの再生値を求める。従って、このように復号側にて動きベクトルに関連する情報を生成する処理を含むビデオ符号化においても、原データを有する符号化側にて動き探索を実施する条件を決め、その条件を復号側に伝えることにより、符号側における動き探索の性能を高めることが可能となる。動きベクトルの生成に必要な条件の符号化方法については、階層的な伝送方法が有効である。図２０は一般的なビデオ符号化のデータ構造を示している、一般的なビデオデータは、シーケンス全体の符号化条件を示すシーケンスヘッダb11、フレーム単位の符号化条件を示すフレームヘッダb12、スライス単位の符号化条件を示すスライスヘッダb13、動きベクトルや予測方法などのブロック単位の符号化条件を示すブロックヘッダb14、そして予測誤差信号の符号化データを含むブロックデータb15により構成される。動きベクトルの生成に必要な各種条件を、その局所性に応じて、４種類のヘッダ情報に振り分けて符号化することにより、符号化効率を高める。

図１８と図１９に動きベクトルを復号側にて生成するビデオ符号化の符号化装置ならびに復号装置の例を示す。図１８に符号化装置の構成を示す。現フレームa100はブロック分割部c102にて符号化ブロックa101に分割される。符号化ブロックa101は動き探索条件決定部c112と減算器c103に入力される。動き探索条件決定部c112は動きベクトルの生成に必要となる条件の候補c115を動き探索部c114に出力する。なお、動きベクトルの生成に必要となる条件のうち、シーケンス単位やフレーム単位で選択する条件については、原画像を用いて動き探索条件部にて事前に選択する。選択方法としては、たとえば、原画像を用いた動き探索処理を複数の条件の候補に対して実施することにより、適切な条件が選択できる。動き探索部c114は、フレームメモリc111から復号済みの前フレームa200とテンプレートa108を入力し、動きベクトルの生成に必要となる条件c115に従って、動きベクトルa203を検出する。動き補償部c113は、動きベクトルa203に対応する予測ブロックc120をフレームメモリc111の復号済みの前フレームa200から抽出し、動き探索条件決定部c112に出力する。動き探索条件決定部c112は、動きベクトルの生成に必要となる条件の複数の候補に対応する予測ブロックc120を入力ブロックa101と比較し、予測誤差絶対値和が最小となる予測ブロックa205を決定する。また、そのときの条件を、動きベクトルの生成に必要となる条件c117として動き探索条件符号化部c120に出力する。動き探索条件符号化部c120は、動きベクトルの生成に必要となる条件を符号化し、符号化した情報をエントロピー符号化部に出力する。符号化方法については限定しないが、上記に示したように階層構造やグループに分ける方法、モード情報を用いて符号化する構成要素を限定する方法、数値をそのまま伝送する方法、符号化情報の候補を複数用意して選択する方法、隣接ブロックから推定される予測値からの差分を符号化する等を用いることが可能である。

予測ブロック205は減算器c103と加算器c108に出力される。減算器c103では、入力ブロックa101と予測ブロックa205との誤差ブロックc104を算出し、誤差ブロック符号化部c105に出力する。誤差ブロック符号化部c105は誤差ブロックの符号化処理を行い、誤差符号化データc106をエントロピー符号化部c110と誤差ブロック復号部c107に出力する。誤差ブロック復号部c107は誤差符号化データを復号して再生誤差ブロックc118を復元し、加算器c108に出力する。加算器c108は再生誤差ブロックc118と予測ブロックc205の加算処理により再生ブロックc109を生成し、フレームメモリ内の現フレームの再生画像に合成する。最後にエントロピー符号化部c110は、誤差符号化データc106と動きベクトルの生成に必要となる条件を示す情報c119ならびに各種ヘッダ情報を合成し、符号化データc116を出力する。

図１９に復号装置の構成を示す。符号化データc116はエントロピー復号部にて復号データd102に復号され、分離部d103により、誤差符号化データc106と動きベクトルの生成に必要となる条件を示す情報c119に分離される。動きベクトルの生成に必要となる条件を示す情報c119は、動き探索条件復号部d109を動きベクトルの生成に必要となる条件c117に復号する。動き探索部d107は、フレームメモリd106から復号済みの前フレームa200とテンプレートa108を入力し、動きベクトルの生成に必要となる条件c117に従って、動きベクトルa203を検出する。動き補償部d108は、動きベクトルa203に対応する予測ブロックa205をフレームメモリd111の復号済みの前フレームa200から抽出し、加算器d105に出力する。誤差ブロック復号部d104は誤差符号化データを復号して再生誤差ブロックc118を復元し、加算器d105に出力する。加算器d105は再生誤差ブロックc118と予測ブロックc205の加算処理により再生ブロックc109を生成し、フレームメモリ内の現フレームの再生画像に合成する。

ビデオ符号化の例でも、ブロックが動きベクトルと動きベクトルの生成に必要となる条件を共に有する場合が考えられる。この場合、デコーダは復号した動きベクトルを動きベクトルの生成に必要となる条件に従って修正する。また、別例では、デコーダは動きベクトルの生成に必要となる条件に従って生成した動きベクトルと復号した動きベクトルから最終的な動きベクトルを生成する。この場合、復号動きベクトルは、デコーダにて生成した動きベクトルと最終的な動きベクトルとの差分動きベクトルと考えられる。このように、受信側にて動きベクトルを生成する装置やソフトウエアでは、動きベクトルの生成に必要な条件と動きベクトルを共に受信側に伝送する方法が適用できる。

この変形例では、符号化装置、復号装置について説明したが、符号化・復号処理フローについても、同様に変形は可能である。また、この変形例の画像符号化処理又は画像復号処理は、図１２に説明するように、プログラムによるコンピュータシステムによって実施することが可能である。

図２１と図２２に本変形例を実施する符号化処理フローならびに復号処理フローにおけるブロック処理を示している。シーケンスヘッダ、フレームヘッダの符号化・復号については説明を省略するが、符号化処理では、動きベクトルの生成に必要となる条件のうち、フレーム単位ならびにシーケンス単位で伝送する情報を、それらの単位で選択する。選択の方法としては、図１８の説明に示したように、原画像を用いた動き探索を利用する。復号処理では、シーケンスヘッダ、フレームヘッダの符号化データを復号後に保存し、各ブロックの復号処理を行う際に利用する。

図２１にて本変形例を実施する符号化処理フローのブロック処理を説明する。ブロック符号化の開始処理c201の後、処理c202では、次の符号化ブロックを入力される。処理c203では、動きベクトルの生成に必要となる条件の候補が選定される。処理c204では、この条件に従って、図１７に示すように復号済みの画像とテンプレートを用いて動きベクトルを検出する。処理c205では、復号済みの画像から動きベクトルに対応する予測ブロックを取得する。処理c206では、符号化ブロックと予測ブロックの予測誤差絶対値和を評価する。動きベクトルの生成に必要となる条件の複数の候補について、処理c203から処理c206を繰り返し、予測誤差絶対値和が最も小さいときの動きベクトル生成の条件と予測ブロックを選択する。処理c207では、符号化ブロックと予測ブロックの各画素を減算し、誤差ブロックを生成する。処理c208では、誤差ブロックを符号化する（例えば、離散コサイン変換、量子化）。処理c209では、誤差ブロックの復号する（例えば、量子化変換係数の逆量子化と逆離散コサイン変換）。処理c210では、復号した誤差ブロックと予測ブロックを加算して、復号ブロックを復元する。処理211では、誤差ブロックの符号化情報（量子化変換係数）と処理c206にて選択した動きベクトルの生成に必要となる条件を示す情報をエントロピー符号化し、符号化データを生成し、処理c212にてブロック符号化処理を終了する。

図２２にて本変形例を実施する復号処理フローのブロック処理を説明する。ブロック復号の開始処理d201の後、処理c202では、次の復号ブロックに対応する符号化データが入力される。処理d203では、符号化データをエントロピー復号し、動きベクトルの生成に必要となる条件と誤差ブロックの符号化情報を取得する。処理d204では、この条件に従って、図１７に示すように復号済みの画像とテンプレートを用いて動きベクトルを検出する。処理d205では、復号済みの画像から動きベクトルに対応する予測ブロックを取得する。処理d206では、誤差ブロックの符号化情報を復号する（例えば、量子化変換係数の逆量子化と逆離散コサイン変換）。処理d207では、復号した誤差ブロックと予測ブロックを加算して、復号ブロックを復元し、処理d208にてブロック符号化処理を終了する。

動きベクトルに加え、参照フレーム、予測モード（片方向予測、両方向予測）、予測ブロックの生成方法（２つの予測ブロックから１個の予測ブロックを生成する方法）などの動きベクトルに関連する情報を復号側にて生成する場合については、これらの情報を生成するために必要となる条件を符号化側にて決定し、その情報を復号側に伝送することにより、その情報の生成性能を高めることが可能となる。また、一度生成したこれらの情報を修正するための条件も含まれる。

１０１…原画HR画像、１０２…再生LR画像、１０４…原画LR画像、１０６…再生HR画像、１０７…参照HR画像、１０８…復号(DEC)動き情報、１０９…LR動き情報、１１０…SR動き情報、１１１…修正SR動き情報、１１２…HR動き情報、１１３…補助データ、１２０…ビデオ符号化データ、３１０…解像度拡張処理部、３１１…補助データ符号化・レート制御部、３１２…低解像動き補償部、３１３…超解像動き補償部、３１４…高解像動き補償部、４１１、５１１…動き検索部、４１２、５１２…符号化ノイズ推定部、４２１、５２１…動き補償部、４２２、５２２…画質修復部、４１０、４２０…超解像画像合成部、４２０、５２０…画像先鋭化部、５０２…解像度拡張処理部、５３１…補助データ復号・分離部、ｃ１０２…ブロック分割部、ｃ１０３…減算器、ｃ１０５…誤差ブロック符号化部、ｃ１０７…誤差ブロック復号部、ｃ１０８…加算器、ｃ１１０…エントロピー符号化部、ｃ１１１…フレームメモリ、ｃ１１２…動き探索条件決定部、ｃ１１３…動き補償部、ｃ１１４…動き探索部、ｃ１２０…動き探索条件符号化部、ｄ１０１…エントロピー復号部、ｄ１０３…分離部、ｄ１０４…誤差ブロック復号部、ｄ１０５…加算器、ｄ１０６…フレームメモリ、ｄ１０７…動き探索部、ｄ１０８…動き補償部、ｄ１０９…動き探索条件復号部。

Claims (14)

1. ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、
   前記ビデオデータ復号手段により得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張手段と、
   補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段と、
   を備え、
   前記解像度拡張手段が、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成する、
   ことを特徴とする画像復号装置。
2. 前記補助動き情報が、さらに、
   前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、
   前記解像度拡張手段が、前記修正超解像動きベクトルを前記補助動き情報に基づいて修正した超解像動きベクトルとして用いることを特徴とする請求項１に記載の画像復号装置。
3. 前記補助動き情報が、さらに、
   前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、
   前記解像度拡張手段が、前記超解像動きベクトルを中間動きベクトルとし、該中間動きベクトルと前記修正超解像動きベクトルとの加算処理により前記補助動き情報に基づいて修正した動きベクトルを生成することを特徴とする請求項１に記載の画像復号装置。
4. 前記補助動き情報が、さらに、
   前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す修正超解像動きベクトルを含み、
   前記解像度拡張手段が、前記修正超解像動きベクトルを前記超解像動きベクトルの初期動きベクトルとし、前記複数の再生画像を用いて前記初期動きベクトルを更新し、更新後の前記初期動きベクトルを前記補助動き情報に基づいて修正した動きベクトルとすることを特徴とする請求項１に記載の画像復号装置。
5. 前記補助動き情報が、前記複数の再生画像の各々と前記高解像画像との間の時空間対応を示す超解像動きベクトルを生成するために必要な条件としての超解像動きベクトル探索条件を含み、
   前記解像度拡張手段が、前記超解像動きベクトル探索条件に基づいて前記複数の再生画像から前記超解像動きベクトルを生成することを特徴とする請求項１に記載の画像復号装置。
6. 高解像画像を低解像画像に変換する画像標本化手段と、
   前記画像標本化手段にて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化手段と、
   前記ビデオデータ符号化手段により生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号手段と、
   前記ビデオデータ復号手段により得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成手段と、
   前記補助動き情報生成手段により生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張手段と、
   前記補助動き情報生成手段により生成された補助動き情報を補助データとして符号化する補助データ符号化手段と、
   を備える画像符号化装置。
7. ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、
   前記ビデオデータ復号手段により得られた複数の再生画像あるいは先に生成された複数の高解像画像と１枚の生成対象である高解像画像間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像あるいは先に生成された複数の高解像画像とを用いて、前記複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段と、
   補助データを受信し復号して前記先に生成された複数の高解像画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段と、
   を備え、
   前記解像度拡張手段が、前記補助データ復号手段により得られた補助動き情報に基づいて修正した超解像動きベクトルを生成する動きベクトル生成処理と、生成した超解像動きベクトルと先に生成された複数の高解像画像とから前記生成対象の高解像画像を生成する高解像画像生成処理とを反復して実施する、
   ことを特徴とする画像復号装置。
8. 前記解像度拡張手段が、前記動きベクトル生成処理と高解像画像生成処理の反復処理において、毎回、前記補助動き情報に基づいて前記動きベクトル生成処理を実施する、
   ことを特徴とする請求項７に記載の画像復号装置。
9. 前記補助動き情報が、前記動きベクトル生成処理と高解像画像生成処理の反復処理における特定の回を表す特定回情報を含み、
   前記解像度拡張手段が、前記特定回情報が表す特定の回における動きベクトル生成処理にて、前記補助動き情報に基づいた動きベクトル生成処理を実施する、
   ことを特徴とする請求項７に記載の画像復号装置。
10. ビデオ符号化データを受信し復号して複数の再生画像と再生動きベクトルとを得るビデオデータ復号手段と、
    補助データを受信し復号して、前記再生動きベクトルの修正に要する補助動き情報を得る補助データ復号手段と、
    複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルと前記ビデオデータ復号手段により得られた複数の再生画像とを用いて、前記複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段と、
    を備え、
    前記解像度拡張手段は、前記補助データ復号手段により得られた補助動き情報に基づいて前記再生動きベクトルを前記複数の再生画像間の時空間対応を表す動きベクトルに修正し、修正した動きベクトルを、前記複数の再生画像と前記高解像画像との間の時空間対応を示す超解像動きベクトルの初期動きベクトルとし、前記複数の再生画像の各画素と前記高解像画像との間の時空間関係に基づいて、前記初期動きベクトルから前記超解像動きベクトルを生成し、前記複数の再生画像と前記超解像動きベクトルとを用いて前記高解像画像を生成する、
    ことを特徴とする画像復号装置。
11. 画像復号装置により実行される画像復号方法であって、
    ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号ステップと、
    前記ビデオデータ復号ステップにより得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張ステップと、
    補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号ステップと、
    を備え、
    前記解像度拡張ステップでは、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成する、
    ことを特徴とする画像復号方法。
12. 画像符号化装置により実行される画像符号化方法であって、
    高解像画像を低解像画像に変換する画像標本化ステップと、
    前記画像標本化ステップにて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化ステップと、
    前記ビデオデータ符号化ステップにより生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号ステップと、
    前記ビデオデータ復号ステップにより得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成ステップと、
    前記補助動き情報生成ステップにより生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張ステップと、
    前記補助動き情報生成ステップにより生成された補助動き情報を補助データとして符号化する補助データ符号化ステップと、
    を備える画像符号化方法。
13. コンピュータを、
    ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、
    前記ビデオデータ復号手段により得られた複数の再生画像と前記複数の再生画像よりも空間解像度の高い１枚の生成対象である高解像画像との間の時空間対応を表す超解像動きベクトルを生成し、生成した超解像動きベクトルと前記複数の再生画像とを用いて、前記生成対象の高解像画像を生成する解像度拡張手段と、
    補助データを受信し復号して前記複数の再生画像と前記１枚の生成対象である高解像画像間の時空間対応を表す前記超解像動きベクトルの生成に要する補助動き情報を得る補助データ復号手段、
    として機能させるための画像復号プログラムであり、
    前記解像度拡張手段が、前記補助動き情報に基づいて修正した超解像動きベクトルと前記複数の再生画像とから前記高解像画像を生成する、
    ことを特徴とする画像復号プログラム。
14. コンピュータを、
    高解像画像を低解像画像に変換する画像標本化手段と、
    前記画像標本化手段にて生成された複数の低解像画像を圧縮符号化し符号化ビデオデータを生成するビデオデータ符号化手段と、
    前記ビデオデータ符号化手段により生成された符号化ビデオデータを復号して再生低解像画像を得るビデオデータ復号手段と、
    前記ビデオデータ復号手段により得られた複数の再生低解像画像と１枚の前記高解像画像との間の時空間対応を表す超解像動きベクトル、の生成に要する補助動き情報を生成する補助動き情報生成手段と、
    前記補助動き情報生成手段により生成された補助動き情報に基づいて、前記超解像動きベクトルを修正し、修正した超解像動きベクトルと前記複数の再生低解像画像とを用いて再生高解像画像を生成する解像度拡張手段と、
    前記補助動き情報生成手段により生成された補助動き情報を補助データとして符号化する補助データ符号化手段、
    として機能させるための画像符号化プログラム。
    

Images