JP4356876B2 - 動画像合成装置および方法並びにプログラム - Google Patents

Description

本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成装置および方法並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。

近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。

また、複数のフレームのうち１のフレームを基準フレームとし、基準フレームに複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。

非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
特開２０００−３５４２４４号公報 中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８

しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。この場合、パッチをより多くの矩形領域に分割することにより、被写体の移動および／または変形にパッチの移動および／または変形を追随させることができる。しかしながら、分割数をあまりに多くすると矩形領域が小さくなりすぎて、却って被写体の移動および／または変形にパッチの移動および／または変形を追随させることが困難となってしまう。

本発明は上記事情に鑑みなされたものであり、最適なパッチの分割数にて高画質の合成フレームを得ることを目的とする。

本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得するよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する比較手段と、
前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたことを特徴とするものである。

「分割数を段階的に変更する」とは、少ない分割数から予め定められた分割数まで段階的に分割数を徐々に大きくすること、および大きい分割数から予め定められた分割数まで段階的に分割数を徐々に小さくすることの双方を含む。

「相関値」は、座標変換済みフレームと基準フレームの基準パッチ内の画像とのパッチの矩形領域単位またはフレーム単位で算出すればよい。

「相関の大きさを比較する」とは、相関値がフレーム単位で算出された場合にはフレーム間での相関の大きさを比較することを意味し、相関値が矩形領域単位で算出された場合には各矩形領域間での相関の大きさを比較することを意味する。なお、比較はある分割数において算出された相関値と他の分割数において算出された相関値とで行われる。ここで、分割数が大きいほど矩形領域のサイズは小さくなるため、ある分割数において算出された相関値と他の分割数において算出された相関値との比較は、サイズが大きい方の矩形領域の相関値と、その矩形領域に対応するサイズが小さい方の複数の矩形領域の相関値の平均値および中間値等とにより行われる。

なお、本発明による第１の動画像合成装置においては、前記合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであってもよい。

また、本発明による第１の動画像合成装置においては、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段および前記合成手段を、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。

「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。

本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得するよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する比較手段と、
前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。

なお、本発明による第２の動画像合成装置においては、前記中間合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであってもよい。

また、本発明による第２の動画像合成装置においては、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段および前記合成手段を、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較、前記中間合成フレームの取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。

本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得し、
前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較し、
前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とするものである。

なお、本発明による第１の動画像合成方法においては、前記合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであってもよい。

また、本発明による第１の動画像合成方法においては、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。

本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得し、
前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較し、
前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記中間合成フレームの取得を行い、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。

なお、本発明による第２の動画像合成方法においては、前記中間合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであってもよい。

また、本発明による第２の動画像合成方法においては、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較、前記中間合成フレームの取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。

なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。

さらに、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が算出される。

そして、基準パッチおよびパッチ内の矩形領域の分割数が段階的に変更され、各段階において対応関係の推定、座標変換済みフレームの取得および相関値の算出が行われて、分割数に応じた複数の相関値が取得される。

さらに、複数の相関値に基づいて分割数毎に相関の大きさが比較され、相関が最大となる分割数において推定された対応関係に基づいて、他のフレームのパッチ内の画像および基準フレームのパッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い合成フレームが作成される。

なお、フレームが３以上サンプリングされた場合には、基準フレーム以外の全ての他のフレームについて、対応関係の推定、座標変換済みフレームの取得、相関値の算出、複数の相関値の取得および相関の大きさの比較が行われ、基準フレームと他のフレームのそれぞれとから複数の中間合成フレームが取得され、さらに複数の中間合成フレームから合成フレームが作成される。

このため、フレーム内における動いている被写体の移動および／または変形に追随可能な最適な分割数により合成フレームを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。

また、合成フレームまたは中間合成フレームの作成に用いる対応関係を矩形領域毎に推定することにより、基準パッチおよびパッチ内における分割された矩形領域毎に、合成フレームまたは中間合成フレームが作成されることとなる。このため、フレーム内の各部分に含まれる被写体の動きに追随した最適な分割数により合成フレームを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、より高画質の合成フレームを得ることができる。

また、対応関係の推定、座標変換済みフレームの取得、相関値の算出、複数の相関値の取得、相関の大きさの比較、中間合成フレームの取得（３以上のフレームがサンプリングされた場合）および合成フレームの作成をフレームを構成する少なくとも１つの成分を用いて行うことにより、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。

以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して、後述するように対応関係を推定するパッチの分割数に応じた複数の座標変換済みのフレーム（以下座標変換フレームとする）ＦｒＴ０，ＦｒＴ１を取得する座標変換手段３と、座標変換フレームＦｒＴ０，ＦｒＴ１と基準フレームとの相関を表す相関値を後述するように対応関係を推定するパッチの分割数に応じて複数算出する相関値算出手段４と、複数の相関値に基づいて分割数毎に相関の大きさを比較する比較手段５と、相関が最大となる分割数において対応関係推定手段２により推定された対応関係に基づいて、基準フレームおよび他のフレームに対して補間演算を施して各フレームよりも解像度が高い合成フレームＦｒＧを作成する合成手段６とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとして説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。

サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。

対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。

まず、対応関係推定手段２は、まず、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は２×２の矩形領域からなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。

但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数

次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。

そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。

そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。

さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。

そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。

これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。

続いて、対応関係推定手段２は、図４（ａ）に示すように分割数をさらに大きくした（ここでは４×４）基準パッチＰ０１およびパッチＰ１１を基準フレームＦｒＮおよびフレームＦｒＮ＋１の適当な位置に配置し、上記と同様にパッチＰ１１の基準パッチＰ０１に対する移動量および変形量を求め、基準パッチＰ０１内の画素とパッチＰ１１内の画素との対応関係を推定する。

なお、図４（ｂ）に示すようにさらに分割数を多くした（ここでは８×８）基準パッチＰ０２およびパッチＰ１２を用いてもよいが、本実施形態においては、２×２および４×４の２段階の分割数にて対応関係を推定するものとする。ここで、本実施形態においては、分割数が２×２の基準パッチＰ０およびパッチＰ１により推定された対応関係を第１の対応関係、分割数が４×４の基準パッチＰ０１およびパッチＰ１１により推定された対応関係を第２の対応関係と称する。

座標変換手段３は、推定された第１および第２の対応関係に基づいて、以下のようにして分割数毎にフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換フレームＦｒＴ０，ＦｒＴ１を取得する。まず、第１の対応関係に基づく座標変換フレームＦｒＴ０の取得について説明する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０，Ｐ０１内の領域およびフレームＦｒＮ＋１のパッチＰ１，Ｐ１１内の領域についてのみ変換および合成が行われる。

本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。

式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。

ここで、図５に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。

具体的には、図６に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。

但し、Ｗｊ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積

ここで、簡単のため、図６を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。

但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）

以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換フレームＦｒＴ０が取得される。

また、同様に第２の対応関係に基づいて、パッチＰ１１内の画像を基準フレームＦｒＮの座標空間に変換して座標変換フレームＦｒＴ１が取得される。

相関値算出手段４は、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値ｄ０および座標変換フレームＦｒＴ１と基準フレームＦｒＮとの相関値ｄ１を算出する。具体的には下記の式（９）に示すように、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値の基準パッチＰ０内の全画素についての加算値を基準パッチＰ０内の画素数ｍで除した値、すなわち差の絶対値の基準パッチＰ０内の全画素についての平均値を相関値ｄ０として算出する。また、下記の式（１０）に示すように、座標変換フレームＦｒＴ１と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ１（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値の基準パッチＰ０内の全画素についての平均値を相関値ｄ１として算出する。なお、相関値ｄ０，ｄ１は座標変換フレームＦｒＴ０，ＦｒＴ１と基準フレームＦｒＮとの相関が大きいほど小さい値となる。

なお、本実施形態では座標変換フレームＦｒＴ０，ＦｒＴ１と基準フレームＦｒＮとの対応する画素における画素値の差の絶対値から相関値ｄ０，ｄ１を算出しているが、差の二乗から相関値を算出してもよい。また、座標変換フレームＦｒＴ０，ＦｒＴ１と基準フレームＦｒＮとの対応する画素における画素値の差の絶対値の加算値を相関値としてもよい。また、座標変換フレームＦｒＴ０，ＦｒＴ１および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換フレームＦｒＴ０，ＦｒＴ１および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換フレームＦｒＴ０、ＦｒＴ１の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。

比較手段５は相関値ｄ０と相関値ｄ１とを比較し、相関値が小さいすなわち相関が大きい方の相関値を選択する。なお、本実施形態においては、４×４に分割された基準パッチＰ０１およびパッチＰ１１に基づいて算出された相関値ｄ１が選択されたものとする。

合成手段６は、比較手段５において選択された相関値ｄ１を得た分割数により推定された第２の対応関係に基づいて、基準フレームＦｒＮおよびフレームＦｒＮ＋１に対して補間演算を施して合成フレームＦｒＧを作成する。具体的には、まず図７に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた第２の対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（１１）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。

但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値

このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームを取得する。

ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。

すなわち、図８に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１２）により算出することができる。なお、式（１２）においてΦは荷重和演算を表す関数である。

但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積

ここで、簡単のため、図８を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１３）により算出することができる。

但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）

そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームの各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。

なお、基準フレームＦｒＮについては、基準フレームＦｒＮの画素を統合画像の整数座標に補間して直接割り当てることにより取得される。この基準フレームＦｒＮを統合画像の整数座標に割り当てることにより得られた画素値をＩ２（ｘ＾，ｙ＾）とし、画素値Ｉ２（ｘ＾，ｙ＾）を有するフレームを第２の補間フレームとする。

そして、第１および第２の補間フレームの対応する画素における画素値Ｉ１（ｘ＾，ｙ＾）およびＩ２（ｘ＾，ｙ＾）を加算または重み付け加算することにより、画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成する。なお、画素値Ｉ１（ｘ＾，ｙ＾）のみから画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成してもよい。

なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値または基準フレームの画素値（割り当てられていない座標に対応する）に対して線形補間演算、スプライン補間演算等の種々の補間演算を施して、画素値が割り当てられなかった整数座標の画素値を算出すればよい。

また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。

次いで、本実施形態の動作について説明する。図９は本実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係がパッチの分割数に応じて複数推定される（ステップＳ３）。

そして、推定された複数の対応関係のそれぞれに基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて複数の座標変換フレームＦｒＴ０，ＦｒＴ１が取得される（ステップＳ４）。そして、相関値算出手段４により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値ｄ０および座標変換フレームＦｒＴ１と基準フレームＦｒＮとの相関値ｄ１が算出される（ステップＳ５）。さらに、比較手段５により相関が大きい方の相関値が選択される（ステップＳ６）。

そして、選択された相関値ｄ１を得た分割数（ここでは４×４）により推定された対応関係（第２の対応関係）に基づいて、合成手段６により基準フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧが作成され（ステップＳ７）、処理を終了する。

このように、本実施形態においては、相関が大きい分割数により推定された対応関係に基づいて、フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧを作成しているため、フレーム内における動いている被写体の移動および／または変形に追随可能な最適な分割数により合成フレームＦｒＧを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。

次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、相関が大きい分割数により推定されたフレームＦｒＮ，ＦｒＮ＋１のパッチ内の画像全体の対応関係に基づいて合成フレームＦｒＧを作成しているが、第２の実施形態においては、パッチを分割することにより得られる矩形領域毎に相関値を算出し、矩形領域毎の対応関係に基づいて合成フレームＦｒＧを作成するようにしたものである。

図１０は矩形領域毎の相関値の算出を説明するための図である。図１０（ａ）に示すように分割数が２×２の基準パッチＰ０およびパッチＰ１の各矩形領域を矩形領域Ａ１〜Ａ４とする。一方、図１０（ｂ）に示すように分割数が４×４の基準パッチＰ０１およびパッチＰ１１の各矩形領域を矩形領域Ａ１１〜Ａ１４，Ａ２１〜Ａ２４，Ａ３１〜Ａ３４，Ａ４１〜Ａ４４とする。なお、矩形領域Ａ１が矩形領域Ａ１〜Ａ１４に、矩形領域Ａ２が矩形領域Ａ２１〜Ａ２４に、矩形領域Ａ３が矩形領域Ａ３１〜Ａ３４に、矩形領域Ａ４が矩形領域Ａ４１〜Ａ４４にそれぞれ対応する。

そして、分割数が２×２の場合には、矩形領域Ａ１〜Ａ４毎に基準フレームＦｒＮとフレームＦｒＮ＋１との相関値を算出する。矩形領域Ａ１〜Ａ４のそれぞれにおける相関値をｄ０１、ｄ０２、ｄ０３、ｄ０４とする。

一方、分割数が４×４の場合には、矩形領域Ａ１１〜Ａ１４，Ａ２１〜Ａ２４，Ａ３１〜Ａ３４，Ａ４１〜Ａ４４毎に相関値を算出し、さらに矩形領域Ａ１１〜Ａ１４の相関値の平均値を相関値ｄ１１として、矩形領域Ａ２１〜Ａ２４の相関値の平均値を相関値ｄ１２として、矩形領域Ａ３１〜Ａ３４の相関値の平均値を相関値ｄ１３として、および矩形領域Ａ４１〜Ａ４４の相関値の平均値を相関値ｄ１４として算出する。

次いで、相対応する領域毎に相関値を比較する。すなわち、矩形領域Ａ１の相関値ｄ０１と矩形領域Ａ１１〜Ａ４１の相関値ｄ１１とを、矩形領域Ａ２の相関値ｄ０２と矩形領域Ａ２１〜Ａ２４の相関値ｄ１２とを、矩形領域Ａ３の相関値ｄ０３と矩形領域Ａ３１〜Ａ３４の相関値ｄ１３とを、矩形領域Ａ４の相関値ｄ０４と矩形領域Ａ４１〜Ａ４４の相関値ｄ１４とをそれぞれ比較する。そして、比較結果に応じて相関が大きい方の領域の分割数にて推定された対応関係により、矩形領域毎に基準フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧを作成する。

例えば、本実施形態においては相関値が小さい方が相関が大きいことから、相関値ｄ０１＜相関値ｄ１１の場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋の矩形領域Ａ１に対応する領域については、２×２の分割数により推定された対応関係に基づいて補間演算を行う。また、相関値ｄ０２＜相関値ｄ１２の場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋の矩形領域Ａ２に対応する領域については、２×２の分割数により推定された対応関係に基づいて補間演算を行う。

一方、相関値ｄ０３＞相関値ｄ１３の場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋の矩形領域Ａ３に対応する領域については、４×４の分割数により推定された対応関係に基づいて補間演算を行う。さらに、相関値ｄ０４＞相関値ｄ１４の場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋の矩形領域Ａ４に対応する領域については、４×４の分割数により推定された対応関係に基づいて補間演算を行う。そして、補間演算により得られた画素からなる合成フレームＦｒＧを作成する。

このように、合成フレームＦｒＧの作成に用いる対応関係を矩形領域毎に推定することにより、基準パッチおよびパッチ内における分割された矩形領域毎に、合成フレームＦｒＧが作成されることとなる。このため、フレーム内の各部分に含まれる被写体の動きに追随した最適な分割数により合成フレームＦｒＧを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、より高画質の合成フレームＦｒＧを得ることができる。

なお、上記第１および第２の実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよい。

また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを作成してもよい。

また、上記第１および第２の実施形態においては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄ０，ｄ１を算出しているが、下記の式（１４）に示すように、例えば相関値ｄ０について、輝度成分の相関値ｄ０Ｙ、色差成分の相関値ｄ０Ｃｂ，ｄ０Ｃｒを重み係数ａ１，ｂ１，ｃ１により重み付け加算することにより、１の相関値ｄ０′を算出してもよい。

また、下記の式（１５）に示すように、座標変換フレームＦｒＴｉの輝度成分ＦｒＴｉＹ（ｘ，ｙ）および色差成分ＦｒＴｉＣｂ（ｘ，ｙ），ＦｒＴｉＣｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ２，ｂ２，ｃ２を用いたユークリッド距離を基準パッチＰ０内の各画素毎に算出し、これを各画素の相関値ｄｉ″（ｘ，ｙ）とし、第１の実施形態においてはこの相関値ｄｉ″（ｘ，ｙ）の基準パッチＰ０内の全画素についての平均値を、第２の実施形態においてはこの相関値ｄｉ″（ｘ，ｙ）の各矩形領域内の全画素についての平均値を、比較に用いる相関値としてもよい。

また、上記第１および第２の実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを作成しているが、３以上の複数のフレームから合成フレームＦｒＧを作成してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを作成する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）のそれぞれについて、基準フレームＦｒＮとの対応関係をパッチの分割数に応じて複数推定し、さらに複数の対応関係に応じて複数の座標変換フレームを取得し、複数の座標変換フレームと基準フレームＦｒＮとの相関値を算出する。そして相関値に基づいていずれの分割数により推定された対応関係に基づいて合成フレームを作成するかを選択し、選択された分割数により推定された対応関係に基づいて、上記第１の実施形態と同様に合成フレームを作成する。この合成フレームを中間合成フレームＦｒＧｔとする。なお、中間合成フレームＦｒＧｔの統合画像の整数座標における画素値をＦｒＧｔ（ｘ＾，ｙ＾）とする。

そして、全ての他のフレームＦｒＮ＋ｔについて中間合成フレームＦｒＧｔを取得し、下記の式（１６）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成する。

なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値または基準フレームの画素値（割り当てられていない座標に対応する）に対して線形補間演算、スプライン補間演算等の種々の補間演算を施して、画素値が割り当てられなかった整数座標の画素値を算出すればよい。

また、３以上の複数のフレームから合成フレームＦｒＧを作成する場合において、中間合成フレームＦｒＧｔを取得する際に、上記第２の実施形態と同様に、パッチを構成する矩形領域毎に相関値を算出し、矩形領域毎の対応関係に基づいて中間合成フレームＦｒＧｔを作成してもよい。

本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図 フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図 パッチの変形を説明するための図 分割数が異なるパッチを示す図 パッチＰ１と基準パッチＰ０との対応関係を説明するための図 双１次内挿を説明するための図 フレームＦｒＮ＋１の統合画像への割り当てを説明するための図 統合画像における整数座標の画素値の算出を説明するための図 本実施形態において行われる処理を示すフローチャート 本発明の第２の実施形態において行われる処理を説明するための図

符号の説明

１ サンプリング手段
２ 対応関係推定手段
３ 座標変換手段
４ 相関値算出手段
５ 比較手段
６ 合成手段

Claims (10)

1. 動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
   該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
   前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
   該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
   前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得するよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
   前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する比較手段と、
   前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
2. 前記合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであることを特徴とする請求項１記載の動画像合成装置。
3. 前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段および前記合成手段は、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項１または２記載の動画像合成装置。
4. 動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
   該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
   前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
   該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
   前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得するよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
   前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する比較手段と、
   前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
5. 前記中間合成フレームの作成に用いる前記対応関係は、前記矩形領域毎に推定されたものであることを特徴とする請求項４記載の動画像合成装置。
6. 前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段および前記合成手段は、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較、前記中間合成フレームの取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項４または５記載の動画像合成装置。
7. 動画像から連続する２つのフレームをサンプリングし、
   該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
   前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
   該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
   前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得し、
   前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較し、
   前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とする動画像合成方法。
8. 動画像から連続する３以上のフレームをサンプリングし、
   該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
   前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
   該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
   前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得し、
   前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較し、
   前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
   全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記中間合成フレームの取得を行い、
   全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。
9. 動画像から連続する２つのフレームをサンプリングする手順と、
   該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
   前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
   該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
   前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得する手順と、
   前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する手順と、
   前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
10. 動画像から連続する３以上のフレームをサンプリングする手順と、
    該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
    前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
    該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
    前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に変更して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行って、前記基準パッチおよび前記パッチの分割数に応じた複数の相関値を取得する手順と、
    前記複数の相関値に基づいて前記分割数毎に前記相関の大きさを比較する手順と、
    前記相関が最大となる分割数において推定された前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得する手順と、
    全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記複数の相関値の取得、前記相関の大きさの比較および前記中間合成フレームの取得を行う手順と、
    全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。

Images